[지디넷코리아]일레븐랩스가 원본 음성 감정과 퍼포먼스를 살리는 인공지능(AI) 더빙 기술을 내놨다.
일레븐랩스는 지난 6일 새로운 AI 더빙 모델 '더빙 v2'를 '일레븐 API'로 공개했다고 10일 밝혔다. 올해 5월 사용자 인터페이스(UI) 버전으로 먼저 선보인 모델을 API로 확장해 개발자와 기업이 제품과 업무 흐름에 직접 연동할 수 있도록 했다.
더빙 v2는 음성을 음성으로 직접 변환하는 '오디오-투-오디오' 구조를 채택했다. 기존처럼 음성을 인식한 뒤 번역하고 합성 음성을 생성하는 단계를 거치는 대신 입력 보이스으로만 출력 음성을 바로 생성해 원본 감정과 뉘앙스를 반영하는 식이다.
이 기술은 화자 목소리를 복제해 다른 언어로 변환할 수도 있다. 발화 타이밍이 영상과 자연스럽게 맞도록 설계됐다. 한국어와 일본어를 포함해 전 세계 92개 언어를 지원한다. 영상 속 입 모양을 음성에 맞춰 바꾸는 AI 립싱크 기능은 포함되지 않았다.
일레븐랩스는 영상 크리에이터와 게임 스튜디오 캐릭터 대