이 글에서 다루는 내용
우리는 스마트폰이나 인공지능 서비스에 말을 걸어 다양한 기능을 사용할 수 있습니다. 음성으로 질문하면 AI가 내용을 파악하고, 적절한 답변을 다시 목소리로 들려주기도 합니다.
이 과정은 사람끼리 대화하는 것처럼 자연스럽게 느껴집니다.
그렇다면 음성 AI는 우리가 말을 하는 순간부터 어떤 과정을 거쳐 답변을 만들어 내는 것일까요?
이번 글에서는 사람이 말을 시작한 순간부터 AI의 답변을 듣기까지의 전체 과정을 순서대로 살펴보겠습니다.
1. 사람이 마이크에 말을 합니다
음성 AI의 작동은 사람이 마이크에 말을 하는 것에서 시작합니다.
사람의 목소리는 공기의 진동으로 전달됩니다. 마이크는 이 진동을 전기 신호로 바꾸고, 컴퓨터는 다시 이를 디지털 데이터로 변환합니다.
이때 컴퓨터에 입력되는 것은 문장이나 단어가 아닙니다. 시간에 따라 계속 변화하는 소리 데이터입니다.
사람에게는 익숙한 말소리지만, 컴퓨터에게는 아직 소리의 파형과 주파수 같은 물리적인 정보일 뿐입니다. 이 정보만으로는 어떤 말을 했는지 알 수 없기 때문에, STT가 이를 분석하여 텍스트로 변환하는 과정이 필요합니다.
2. STT가 음성을 텍스트로 변환합니다
사람의 음성을 텍스트로 바꾸는 기술을 STT(Speech-to-Text)라고 합니다.
STT는 입력된 음성 데이터를 분석하여 사람이 어떤 말을 했는지 판단하고 이를 텍스트로 변환합니다.
이 과정을 통해 컴퓨터는 사람이 말한 내용을 문자 데이터로 바꾸게 됩니다.
즉, STT는 사람이 한 말을 컴퓨터가 이해할 수 있는 형태로 바꾸는 입력 음성 기술입니다.
3. 텍스트 AI가 문장의 의미를 이해합니다
STT가 음성을 텍스트로 변환하면, 그 결과는 텍스트 AI에게 전달됩니다.
최근의 대화형 AI에서는 주로 LLM(Large Language Model)이 이 역할을 담당합니다.
LLM은 전달받은 문장을 분석하여 사용자가 무엇을 질문했는지 이해하고, 그에 맞는 답변을 생성합니다.
즉, LLM은 음성을 처리하는 기술이 아니라 텍스트를 이해하고 답변을 만드는 언어 AI입니다.
4. TTS가 AI의 답변을 목소리로 들려줍니다
텍스트 AI가 답변을 만들면, 이제 TTS(Text-to-Speech)가 동작합니다.
TTS는 텍스트 형태의 답변을 사람이 들을 수 있는 음성으로 변환합니다.
생성된 음성은 스피커나 이어폰을 통해 사용자에게 전달되며, 우리는 AI가 직접 말하는 것처럼 자연스럽게 듣게 됩니다.
즉, TTS는 컴퓨터가 만든 답변을 사람의 목소리로 바꾸는 출력 음성 기술입니다.
5. 음성 AI의 전체 구조
지금까지의 과정을 하나로 연결하면 다음과 같습니다.
사람의 음성 입력 → STT(음성 → 텍스트) → 텍스트 AI(LLM)가 의미를 이해하고 답변 생성 → TTS(텍스트 → 음성) → 사람에게 음성으로 전달
이 과정 전체를 우리는 음성 AI라고 부릅니다.
여기서 중요한 점은 STT와 TTS가 음성을 직접 처리하는 기술이라는 것입니다.
- STT는 사람의 목소리를 텍스트로 변환하는 입력 음성 기술입니다.
- TTS는 텍스트를 사람의 목소리로 변환하는 출력 음성 기술입니다.
그리고 그 사이에서 텍스트 AI(LLM)가 문장의 의미를 이해하고 답변을 생성합니다.
즉, 음성 AI는 하나의 기술이 아니라 STT, 텍스트 AI, TTS가 함께 동작하는 하나의 시스템입니다.
참고
최근에는 STT와 TTS를 각각 사용하는 대신, 하나의 AI 모델이 사람의 음성을 직접 이해하고 음성으로 답하는 End-to-End 음성 AI(Speech-to-Speech) 기술도 등장하고 있습니다.
다만 이러한 모델도 내부적으로는 언어를 이해하고 추론하는 기능을 포함하고 있으며, 음성 AI의 기본 원리를 이해하기 위해서는 STT → 텍스트 AI → TTS 구조를 먼저 알아두는 것이 가장 쉽습니다.
STT와 TTS의 가장 큰 차이는 무엇일까?
STT와 TTS는 모두 음성을 다루는 기술이지만, 해결해야 하는 문제는 서로 다릅니다.
STT의 목표는 사람이 무엇이라고 말했는지를 정확하게 인식하는 것입니다.
사람마다 목소리와 발음이 다르고, 말하는 속도와 억양도 모두 다릅니다. 또한 주변 소음이 있거나 발음이 정확하지 않은 경우도 많습니다.
따라서 STT는 이러한 다양한 음성 속에서 말의 특징을 구분하고 분석하여, 사람이 실제로 말한 문장을 최대한 정확하게 찾아내는 것이 핵심입니다.
반면 TTS의 목표는 컴퓨터가 만든 글을 사람이 듣기 자연스러운 목소리로 바꾸는 것입니다.
단순히 글자를 읽는 것이 아니라, 어디에서 잠시 멈추고 어떤 단어를 강조하며 어떤 억양으로 말할지를 결정해야 합니다. 최근에는 감정 표현이나 화자의 목소리 특징까지 구현할 정도로 발전하면서 실제 사람과 대화하는 것 같은 자연스러운 음성을 만들어 내고 있습니다.
정리하면 STT는 정확하게 듣는 기술, TTS는 자연스럽게 말하는 기술이라고 이해하면 됩니다.
DANA NOTES 해설
음성 AI는 하나의 AI가 사람의 말을 듣고 바로 대답하는 기술이 아닙니다.
먼저 STT가 사람의 목소리를 텍스트로 변환하고, 텍스트 AI가 그 의미를 이해하여 답변을 생성합니다. 마지막으로 TTS가 답변을 다시 사람의 목소리처럼 들리는 음성으로 변환합니다.
즉, 우리가 사용하는 음성 AI는 STT와 TTS라는 음성 기술, 그리고 텍스트 AI가 서로 협력하여 동작하는 시스템입니다.
DANA NOTES 한 줄 정리
음성 AI는 STT로 사람의 말을 글자로 바꾸고, 텍스트 AI가 답변을 만든 뒤, TTS로 다시 사람의 목소리로 들려주는 시스템입니다.
