Was der Test von Sierra gemessen und herausgefunden hat
Am 21. Oktober veröffentlichte Sierra, ein US-Unternehmen für Kundenservice-Agenten, τ-i18n, eine Erweiterung seiner Testsuite τ-bench. Sie bewertet Sprachagenten in fünf Sprachen neben Englisch: Spanisch, brasilianisches Portugiesisch, Hindi, Koreanisch und Mandarin. Sierra führte 2.700 Anrufe mit drei Sprachagenten (GPT Live 1, Gemini 3.8 Live und Grok Voice Think Fast 2.0) zu denselben Aufgaben aus den Bereichen Fluggesellschaft, Handel und Telekommunikation in jeder Sprache durch.
Die wichtigsten Ergebnisse waren:
- Spanisch schneidet bei Aufgaben gut ab: Die Quote erledigter Aufgaben lag auf Spanisch nur 2,4 Punkte unter Englisch; auf Portugiesisch betrug der Unterschied 6,4 Punkte.
- Das Gespräch ist die Schwachstelle: In mehr als 80 % der Anrufe reagierten GPT Live 1 und Gemini 3.8 Live nicht auf einen Redebeitrag des Kunden, antworteten langsam oder ließen ihn nicht zu Wort kommen. Grok Voice Think Fast 2.0 hatte dieses Problem in 16 % der Anrufe.
- Sie reagieren auf das Falsche: Je nach Agent hatten zwischen 26 % und 60 % der Anrufe mehr als drei Antworten auf Füllwörter wie «aha» oder auf Stimmen, die sich nicht an den Agenten richteten.
- Keiner gewinnt in allem: GPT Live 1 führte bei erledigten Aufgaben (79,9 %) und Sprachqualität; Grok führte bei der Interaktion, allerdings mit geringer Sprachqualität. Mit den Worten von Sierra: Der Agent, der am schnellsten antwortet, ist nicht unbedingt derjenige, der am natürlichsten spricht.
Sierra hat den Code freigegeben, damit andere Sprachen und regionale Varianten ergänzen können.
Die Neuvorstellungen der Woche: Mistral und ElevenLabs
Am 20. Oktober stellte das französische Unternehmen Mistral AI Voxtral 3 vor, eine Modellfamilie zum Zuhören, Transkribieren und Sprechen, mit einem auf LiveKit basierenden Baukasten für Sprachagenten. Laut Mistral hat die Echtzeit-Transkription eine Latenz von unter 500 Millisekunden, jeder Redebeitrag des Agenten wird in weniger als einer Sekunde abgeschlossen, Spanisch gehört zu den unterstützten Sprachen und Telefonanrufe werden per SIP angebunden. Der Sprachagenten-Dienst kostet ab 0,04 US-Dollar pro Minute und kann über Server in Europa genutzt oder in der Infrastruktur des Kunden installiert werden.
Am selben Tag brachte ElevenLabs Eleven Realtime auf den Markt, seine ersten Speech-to-Speech-Modelle für Agenten, in zwei Versionen: Mini für kostengünstige Gespräche und Max für komplexe Aufgaben wie Support oder Lead-Qualifizierung. Das Unternehmen meldet eine durchschnittliche Zeit bis zum ersten Audio von 0,57 Sekunden für Max und 0,62 Sekunden für Mini, Unterstützung für mehr als 90 Sprachen und Kompatibilität mit der Echtzeit-Schnittstelle von OpenAI. Alle diese Zahlen stammen vom Hersteller.
Warum die Latenz entscheidet, ob ein Anruf funktioniert
Im Gespräch zwischen Menschen sind die Pausen zwischen den Redebeiträgen sehr kurz. Wenn ein Sprachagent lange für die Antwort braucht, wiederholt der Kunde die Frage, redet dem Agenten ins Wort oder legt auf. Deshalb konkurriert die Branche um Millisekunden: Jeder Schritt (zuhören, denken und sprechen) erhöht die Verzögerung, und hinzu kommt der Weg des Audios durch das Telefonnetz und das Internet.
Der Test von Sierra zeigt, dass Geschwindigkeit nicht reicht. Ein guter Agent muss auch erkennen, wann der Kunde zu Ende gesprochen hat, Geräusche oder Bemerkungen an andere Personen ignorieren und sich unterbrechen lassen. Aus demselben Grund beginnen Betreiber wie Orange und Elisa, Sprach-KI innerhalb ihrer Netze auszuführen, näher am Nutzer.
Was das für Unternehmen in Kolumbien und Lateinamerika bedeutet
Die Nachrichten sind gut für alle, die Anrufe auf Spanisch automatisieren möchten: Es gibt mehr Optionen, niedrigere Minutenpreise und eine Aufgabenleistung nahe am Englischen. Bevor Sie jedoch einen Sprachagenten beauftragen, sollten Sie dem Anbieter diese Fragen stellen:
- Wie lange braucht er in einem echten Anruf für die Antwort? Lassen Sie die Verzögerung messen – vom Ende der Äußerung des Kunden bis er die Antwort hört –, und zwar über das Telefonnetz, nicht in einer Web-Demo.
- Wie geht er mit Unterbrechungen und Füllwörtern um? Versuchen Sie, ihn zu unterbrechen, «aha» zu sagen oder mit jemandem neben Ihnen zu sprechen.
- Wurde er mit kolumbianischem Spanisch getestet? Die Tests verwenden allgemeines Spanisch; Akzente, Eigennamen, Ausweisnummern (cédulas) und lokale Adressen müssen mit echten Anrufen geprüft werden.
- Wo werden Stimme und Transkripte verarbeitet und gespeichert? Es handelt sich um personenbezogene Daten, die durch das Datenschutzgesetz geschützt sind.
- Wie wird der Anruf an einen Menschen übergeben? Es muss immer einen Weg zu einem menschlichen Berater geben, mit dem Kontext des bisherigen Gesprächs.
Bei 19 80 TIC Cloud verbinden wir KI-Sprachagenten mit Ihren Nummern und Ihrer PBX oder Ihrem Callcenter in der Cloud, damit Sie sie mit Ihren eigenen Kunden testen und bei Bedarf an einen Berater weiterleiten können.
