카카오 음성 생성 AI, 자연어 명령으로 감정·사투리까지 제어

핵심요약

기사 핵심 요약

카카오가 자체 개발한 인공지능 모델 '카나나-오'에 적용된 새로운 음성 생성 AI 기술을 공개했다. 이 기술은 '스포츠 중계하듯'이나 '경상도 사투리로' 같은 자연어 지시를 이해하여 목소리의 감정, 억양, 속도 등을 실시간으로 제어하는 것이 특징이다. 한국어 성능 평가에서 GPT-4o를 능가하는 점수를 기록했다.

• 자연어 명령으로 음성 제어: '스포츠 중계하듯', '경상도 사투리로' 등 텍스트 지시로 감정·억양·스타일 제어 가능
• GPT-4o 넘는 한국어 성능: 발화 지시 이행 능력 평가에서 오픈AI 모델을 능가하고 구글 모델에 근접한 94.50점 기록
• 자체 개발 '음성 토크나이저': 음성을 효율적으로 압축하는 'LM-SPT' 기술로 생성 속도와 효율성 개선

카카오, 지시어만으로 목소리 톤·억양 바꾸는 새 AI 기술 공개

카카오는 사용자의 자연어 지시에 따라 목소리의 감정과 억양, 사투리까지 자유자재로 바꾸는 새로운 카카오 음성 생성 AI 기술을 공개했다. 카카오는 4일 자사 테크블로그를 통해 자체 개발 인공지능(AI) 모델 '카나나-오(Kanana-o)'에 적용된 이 기술의 원리와 주요 성능 지표를 발표했다. 이 기술은 단순히 텍스트를 음성으로 변환하는 것을 넘어, '스포츠 중계하듯 말해줘'와 같은 추상적인 명령까지 이해하고 목소리에 반영하는 것이 핵심이다.

문자를 목소리로 바꾸는 기술, TTS

음성 합성 기술(TTS, Text-to-Speech)이란 문자 정보를 사람이 이해할 수 있는 자연스러운 음성으로 변환하는 기술을 말한다. 이 기술은 스마트폰의 AI 비서(삼성 빅스비, 애플 시리 등), 내비게이션 길 안내, 스크린 리더, 오디오북 등 일상 속 다양한 서비스에 이미 널리 활용되고 있다. 초기 TTS 기술은 로봇처럼 기계적인 음성을 생성하는 데 그쳤으나, AI 기술의 발전으로 점차 사람의 목소리와 구별하기 어려울 정도로 자연스러워졌다.

"경상도 사투리로 말해줘"…자연어로 제어하는 AI 성우

이번에 공개된 카나나-오의 음성 생성 기술은 기존의 기계적 음성을 탈피하여 사용자가 원하는 스타일을 구체적인 지시어로 실시간 제어할 수 있다는 점에서 차별화된다. 복잡한 설정 없이 간단한 자연어 지시만으로 음성의 세부 속성을 제어할 수 있도록 설계되었다. 예를 들어, 사용자가 “아주 빠르게 읽어줘”라고 명령하면 속도를 조절하고, “경상도 사투리로 읽어줘”라고 하면 해당 지역의 억양을 구사하며, “스포츠 중계하듯이 읽어줘”처럼 특정 역할 기반의 발화 스타일도 구현한다.

이는 기존 음성 AI가 '밝은 목소리', '차분한 목소리'처럼 미리 정해진 몇 가지 선택지 중에서 골라야 했던 방식과 비교하면 큰 진일보다. 이 기술은 속도, 음량, 음높이 같은 기본적인 요소는 물론 감정의 강도와 미묘한 억양 차이까지 반영해 음성을 생성한다. 카카오는 이 모델이 한국어 데이터를 중심으로 학습되었지만, 영어 음성 생성 시에도 동일한 방식의 발화 지시를 이해하고 수행할 수 있다고 설명했다. 이러한 기능은 향후 AI 비서, 오디오북, 콘텐츠 제작 등 다양한 분야에서 활용될 잠재력이 크다.

GPT-4o 뛰어넘은 한국어 성능…'음성 토크나이저'가 핵심

카카오의 음성 생성 AI는 글로벌 빅테크 기업의 최신 모델과 비교해도 경쟁력 있는 성능을 입증했다. 발화 지시 이행 능력을 평가하는 벤치마크 'InstructTTSEval'의 한국어 부문(2026년 8월 기준)에서 카나나-오는 94.50점을 기록해 오픈AI의 GPT-4o-미니-tts(91.10점)를 넘어섰다. 이는 구글의 제미나이 2.5 플래시 프리뷰 TTS(95.38점)에 근접한 수치로, 한국어 표현 능력에서 높은 완성도를 보였다.

이러한 성능의 배경에는 카카오가 자체 개발한 음성 토크나이저 'LM-SPT'가 있다. 음성 토크나이저란 연속적인 음성 신호를 AI가 처리하기 쉬운 작은 단위인 '토큰(token)'으로 분할하는 기술이다. LM-SPT는 음성을 더 적은 수의 토큰으로 효율적으로 압축하여 AI가 처리해야 할 데이터 양을 줄인다. 결과적으로 이는 음성 생성 속도를 높이고 컴퓨팅 자원 사용을 최적화하는 핵심 역할을 수행한다.

주요 AI 모델 음성 생성 기술 벤치마크 점수 비교

AI 모델	개발사	InstructTTSEval 점수(점)
제미나이 2.5 플래시 프리뷰 TTS	구글	95.38
카나나-오	카카오	94.50
GPT-4o-미니-tts	오픈AI	91.10

※ 발화 지시 이행 능력을 평가하는 InstructTTSEval 벤치마크 한국어 부문 점수 기준.

웃음·한숨까지 넘본다…카카오의 AI 음성 기술 로드맵

카카오는 현재 기술에 만족하지 않고 더욱 사람에 가까운 음성 AI를 구현하기 위한 연구를 이어갈 계획이다. 단기적으로는 음성 이해와 생성을 하나의 통합된 구조로 처리하는 연구를 통해 모델의 효율성을 극대화하는 데 집중한다. 장기적으로는 웃음, 한숨, 감탄사와 같은 비언어적 표현까지 자연스럽게 생성하는 기술을 개발하는 것을 목표로 삼고 있다.

다만 AI가 생성하는 음성이 실제 사람과 구분하기 어려워지면서 발생할 수 있는 딥페이크나 보이스 피싱 등 기술 오용 문제에 대한 사회적 논의와 기술적 안전장치 마련은 과제로 남는다. 노병석 카카오 유니파이드 파운데이션모델 성과리더는 “향후 카나나-오 모델을 다양한 서비스에 적용해 더욱 자연스럽고 편리한 AI 음성 경험을 제공하겠다”고 밝혔다. 사람처럼 말하고 감정을 표현하는 AI 기술이 일상에 어떤 변화를 가져올지 주목된다.

자주 묻는 질문

카카오의 새로운 음성 생성 AI는 기존 기술과 무엇이 다른가요?

가장 큰 차이점은 '자연어 지시'를 통해 음성의 스타일을 매우 세밀하게 제어할 수 있다는 점입니다. 기존 기술이 정해진 몇 가지 목소리 톤을 제공했다면, 새로운 기술은 “스포츠 중계하듯”, “경상도 사투리로” 같은 복합적인 요구사항을 이해하고 실시간으로 음성을 생성합니다.

이 기술은 언제쯤 카카오 서비스에서 만나볼 수 있나요?

현재 기술은 연구개발 단계에 있습니다. 카카오 측은 향후 다양한 서비스에 적용할 계획이라고 밝혔으나, 구체적인 상용화 시점은 공개되지 않았습니다. 기술 안정성 검증을 거쳐 순차적으로 적용될 것으로 보입니다.

이런 AI 기술을 개발하려면 어떤 것이 중요한가요?

AI가 특정 억양이나 발화 스타일을 자연스럽게 모방하려면 해당 유형의 음성 데이터에 대한 충분한 학습이 필요합니다. 카카오 '카나나-오' 역시 방대한 한국어 데이터를 중심으로 학습하여 높은 수준의 한국어 표현 능력을 갖췄습니다.

AI가 생성한 목소리를 나쁜 곳에 사용할 위험은 없나요?

기술이 발전하면서 보이스피싱이나 딥페이크 범죄에 악용될 우려가 커지는 것은 사실입니다. 이 때문에 기술 개발과 함께 이를 방지하기 위한 사회적 논의와 기술적 안전장치 마련이 중요한 과제로 남아있습니다.