Sierra的测试衡量了什么,发现了什么
10月21日,美国客服智能体公司Sierra发布了τ-i18n,这是其测试集τ-bench的扩展版本。除英语外,它还用五种语言评估语音智能体:西班牙语、巴西葡萄牙语、印地语、韩语和普通话。Sierra用三个语音智能体(GPT Live 1、Gemini 3.8 Live和Grok Voice Think Fast 2.0),在每种语言中针对航空、零售和电信领域的相同任务拨打了2,700通电话。
主要发现如下:
- 西班牙语在任务上表现良好:西班牙语的任务完成率仅比英语低2.4个百分点;葡萄牙语的差距为6.4个百分点。
- 对话是薄弱环节:在超过80 %的通话中,GPT Live 1和Gemini 3.8 Live没有回应客户的发言、回应缓慢或不让出话轮。Grok Voice Think Fast 2.0在16 %的通话中出现这一问题。
- 对不该回应的内容作出反应:视智能体而定,26 %至60 %的通话中出现了三次以上对«嗯哼»之类口头语或并非对智能体说话的声音作出回应的情况。
- 没有全能冠军:GPT Live 1在任务完成率(79.9 %)和语言质量上领先;Grok在交互方面领先,但语言质量较低。用Sierra的话说,回应最快的智能体不一定是说话最自然的那个。
Sierra已开源代码,方便其他人添加更多语言和地区变体。
本周新品:Mistral与ElevenLabs
10月20日,法国公司Mistral AI发布了Voxtral 3,这是一系列用于听、转写和说的模型,并附带一套基于LiveKit的语音智能体构建工具包。据Mistral介绍,实时转写延迟低于500毫秒,智能体每个话轮在一秒内完成,支持语言包括西班牙语,电话通过SIP接入。语音智能体服务每分钟0.04美元起,可通过欧洲的服务器使用,也可部署在客户自己的基础设施中。
同一天,ElevenLabs推出了Eleven Realtime,这是其首批面向智能体的语音到语音模型,分为两个版本:Mini用于低成本对话,Max用于支持服务或潜在客户筛选等复杂任务。该公司称,Max的平均首个音频输出时间为0.57秒,Mini为0.62秒,支持90多种语言,并兼容OpenAI的实时接口。以上数据均来自厂商。
为什么延迟决定一通电话的成败
在人与人的对话中,话轮之间的停顿非常短。语音智能体回应慢时,客户会重复问题、打断智能体说话,或者干脆挂断。因此,业界在以毫秒为单位竞争:每一步(听、思考和说)都会增加延迟,再加上音频在电话网络和互联网上传输的时间。
Sierra的测试表明,仅有速度还不够。一个好的智能体还必须知道客户何时说完,忽略噪音或对旁人说的话,并允许被打断。这也正是Orange和Elisa等运营商开始在自己的网络内、更靠近用户的地方运行语音AI的原因。
对哥伦比亚和拉丁美洲企业意味着什么
对于希望用西班牙语实现电话自动化的企业来说,这些都是好消息:选择更多,每分钟价格更低,任务表现也接近英语。不过,在签约语音智能体之前,建议向供应商提出以下问题:
- 在真实通话中,它需要多久回应?请对方在电话网络上、而不是在网页演示中,测量从客户说完到听到回复之间的延迟。
- 它如何处理打断和口头语?试着打断它、说«嗯哼»,或者和旁边的人说话。
- 是否用哥伦比亚西班牙语测试过?这些测试使用的是通用西班牙语;口音、专有名词、身份证号(cédula)和本地地址都必须用真实通话来验证。
- 语音和转写在哪里处理和存储?这些属于受个人数据保护法保护的个人数据。
- 它如何把电话转给真人?必须始终能够转接人工客服,并带上之前对话的上下文。
19 80 TIC Cloud将AI语音智能体接入您的号码以及云端PBX或呼叫中心,让您可以用自己的客户来测试,并在需要时转接人工客服。



