Sierra 테스트가 측정한 것과 발견한 것
10월 21일, 미국의 고객 서비스 에이전트 기업 Sierra는 자사 테스트 세트 τ-bench를 확장한 τ-i18n을 공개했습니다. 영어 외에 스페인어, 브라질 포르투갈어, 힌디어, 한국어, 중국어(표준어) 등 5개 언어로 음성 에이전트를 평가합니다. 세 가지 음성 에이전트(GPT Live 1, Gemini 3.8 Live, Grok Voice Think Fast 2.0)로 각 언어에서 항공, 소매, 통신 분야의 같은 업무에 대해 2,700통의 통화를 진행했습니다.
주요 결과는 다음과 같습니다.
- 스페인어는 업무 처리에서 선전: 스페인어의 업무 완료율은 영어보다 2.4포인트 낮은 데 그쳤고, 포르투갈어는 6.4포인트 차이가 났습니다.
- 대화가 약점: 통화의 80 % 이상에서 GPT Live 1과 Gemini 3.8 Live는 고객의 발화에 응답하지 않거나, 느리게 답하거나, 말할 차례를 넘겨주지 않았습니다. Grok Voice Think Fast 2.0은 통화의 16 %에서 이 문제가 있었습니다.
- 반응하지 말아야 할 것에 반응: 에이전트에 따라 통화의 26 %에서 60 %가 «음» 같은 맞장구나 에이전트에게 하지 않은 말에 세 번 넘게 반응했습니다.
- 모든 면에서 이기는 에이전트는 없음: GPT Live 1은 업무 완료율(79.9 %)과 언어 품질에서 1위였고, Grok은 상호작용에서 1위였지만 언어 품질은 낮았습니다. Sierra의 말처럼 가장 빨리 답하는 에이전트가 반드시 가장 자연스럽게 말하는 에이전트는 아닙니다.
Sierra는 다른 사람들이 언어와 지역별 변형을 추가할 수 있도록 코드를 공개했습니다.
이번 주 신제품: Mistral과 ElevenLabs
10월 20일, 프랑스의 Mistral AI는 듣기, 받아쓰기, 말하기를 위한 모델 제품군 Voxtral 3를 발표했으며, LiveKit 기반의 음성 에이전트 구축 키트도 함께 내놓았습니다. Mistral에 따르면 실시간 받아쓰기의 지연 시간은 500밀리초 미만이고, 에이전트의 각 발화는 1초 안에 완료되며, 지원 언어에 스페인어가 포함되고, 전화는 SIP로 연결됩니다. 음성 에이전트 서비스는 분당 0.04달러부터이며, 유럽 서버에서 이용하거나 고객의 인프라에 설치할 수 있습니다.
같은 날 ElevenLabs는 에이전트용 첫 음성 대 음성 모델 Eleven Realtime을 출시했습니다. 저비용 대화를 위한 Mini와 고객 지원이나 잠재 고객 선별 같은 복잡한 업무를 위한 Max 두 가지입니다. 회사는 첫 음성까지 걸리는 평균 시간이 Max 0.57초, Mini 0.62초이며, 90개 이상의 언어를 지원하고 OpenAI 실시간 인터페이스와 호환된다고 밝혔습니다. 이 수치는 모두 제조사 발표입니다.
지연 시간이 통화의 성패를 가르는 이유
사람 사이의 대화에서 말과 말 사이의 공백은 매우 짧습니다. 음성 에이전트의 응답이 늦어지면 고객은 질문을 반복하거나, 에이전트의 말 위에 겹쳐 말하거나, 전화를 끊습니다. 그래서 업계는 밀리초 단위로 경쟁합니다. 듣고, 생각하고, 말하는 각 단계가 지연을 더하고, 여기에 오디오가 전화망과 인터넷을 오가는 시간이 더해집니다.
Sierra의 테스트는 속도만으로는 부족하다는 것을 보여 줍니다. 좋은 에이전트는 고객이 말을 끝냈는지 알아차리고, 소음이나 다른 사람에게 하는 말은 무시하며, 말을 끊어도 받아들일 수 있어야 합니다. Orange와 Elisa 같은 통신사가 사용자에게 더 가까운 자사 네트워크 안에서 음성 AI를 실행하기 시작한 것도 같은 이유입니다.
콜롬비아와 중남미 기업에 주는 의미
스페인어 전화 응대를 자동화하려는 기업에게는 좋은 소식입니다. 선택지가 늘고, 분당 가격이 낮아지고, 업무 성능도 영어에 가까워졌습니다. 하지만 음성 에이전트를 계약하기 전에 공급업체에 다음 질문을 해 보세요.
- 실제 통화에서 응답까지 얼마나 걸리나요? 웹 데모가 아니라 전화망에서, 고객이 말을 마친 뒤 답을 들을 때까지의 지연을 측정해 달라고 요청하세요.
- 끼어들기와 맞장구는 어떻게 처리하나요? 말을 끊어 보거나, «음»이라고 말하거나, 옆 사람과 이야기해 보세요.
- 콜롬비아 스페인어로 테스트했나요? 테스트는 일반 스페인어를 사용합니다. 억양, 고유명사, 신분증 번호(cédula), 현지 주소는 실제 통화로 검증해야 합니다.
- 음성과 녹취록은 어디서 처리되고 저장되나요? 개인정보 보호법으로 보호되는 개인 데이터입니다.
- 통화를 사람에게 어떻게 넘기나요? 이전 대화 맥락과 함께 상담원에게 연결되는 경로가 항상 있어야 합니다.
19 80 TIC Cloud는 AI 음성 에이전트를 귀사의 번호와 클라우드 PBX 또는 콜센터에 연결해, 실제 고객과 함께 테스트하고 필요할 때 상담원에게 넘길 수 있도록 합니다.



