En kundebehandler fra Sunnmøre får 2 av 5 på faktisk nøyaktighet. Lederen åpner samtalen for å forstå hvorfor, hører gjennom det aktuelle minuttet, og finner at kundebehandleren sa noe helt annet enn det som står i transkripsjonen. Setningen systemet vurderte, ble aldri sagt.
Det er ikke en scoringsfeil. Modellen anvendte rubrikken helt korrekt – på feil tekst.
Dette er den vanligste og minst omtalte feilkilden i norsk kvalitetssikring av samtaler. Den diskuteres sjelden i et innkjøpsmøte, fordi transkripsjon oppfattes som infrastruktur: noe som enten virker eller ikke virker, og som uansett ligger under det man egentlig kjøper.
Men transkripsjonen er ikke under produktet. Den er produktet. En score er en rubrikk anvendt på en setning. Er setningen feil, er scoren feil – og feilen stopper ikke der. Den blir til en coachingsamtale om et problem kundebehandleren ikke hadde, en trend som peker feil vei, og til slutt en kundebehandler som har lært at systemet ikke er til å stole på.
Rubrikker henger på de minste ordene
Tenk på hva et kvalitetskriterium faktisk måler. «Bekreftet kundebehandleren prisen før avtalen ble inngått?» avgjøres av om det står 2 490 eller 2 940 i transkripsjonen. «Ga hun et forbehold der hun var usikker?» avgjøres av om «jeg tror» ble med, eller ble ryddet bort til en pen påstand. «Ble kunden avvist?» avgjøres av et «ikke» på fire bokstaver.
Det er nettopp disse ordene som forsvinner først når en modell er usikker. Talegjenkjenning som er trent på å produsere flytende tekst, har en tendens til å glatte ut: garderinger blir til påstander, avbrutte setninger blir hele, og et nøl blir borte. Resultatet ser fint ut og scorer galt.
Navn er en egen kategori. Et etternavn som blir feil, gjør det vanskelig å slå opp samtalen igjen – og i en klagesak er det den eneste inngangen dere har.
Å oversette først og score etterpå river ut akkurat det rubrikken trenger
Flere verktøy håndterer norsk ved å gå veien om engelsk: transkriber, oversett, score oversettelsen. Arkitekturen er forståelig – den lar leverandøren ha én rubrikkmotor på ett språk – og den ødelegger systematisk det norske i samtalen.
Dialekt er det første som ryker, fordi oversettelsen normaliserer. Garderinger og høflighetsmarkører er det andre; norsk gardering ligger ofte i småord som ikke har noen naturlig plass i en engelsk setning, så de faller ut. Og kodeveksling er det tredje: en norsk kundebehandler bytter til engelsk midt i en setning så snart produktordene kommer – «vi kan sette opp en trial på onboarding-flowen» – og en pipeline som antar ett språk per lydfil, håndterer den setningen dårlig uansett hvilket språk den gjetter på.
Da er dere ikke lenger uenige om en score. Dere er uenige om hva som ble sagt, og det er en langt verre diskusjon å ha med en kundebehandler.
Og hvem som sa det, er halve rubrikken
Riktige ord er ikke nok. Nesten hvert kriterium dere måler, gjelder én av de to i samtalen: kundebehandleren skulle opplyst om noe, kunden skulle fått bekreftet noe. Bytter systemet om på hvem som snakket, står ordene riktig og scoren blir like gal.
Det skjer oftere enn man skulle tro der de to snakker i munnen på hverandre – som er nettopp det som skjer i samtalene dere helst vil forstå. Ligger begge parter i samme lydspor, er skillet mellom stemmene en gjetning. Har dere to spor fra telefonisystemet, er det ikke det. Det er verdt å finne ut hvilket av de to dere faktisk har, før dere vurderer tallene som kommer ut.
Det offentlige beviset finnes, og det er norsk
At språkspesifikk trening slår generisk, trenger dere ikke stole på oss for. Nasjonalbiblioteket har gjort arbeidet i full offentlighet.
NB-Whisper er fem åpne talegjenkjenningsmodeller, publisert av Nasjonalbibliotekets AI-lab, trent videre på 23 189 timer transkribert norsk tale. Materialet er hentet fra kilder som gir bredde i stedet for studiokvalitet: taler fra Stortinget, undertekster fra NRK og innlest lydbokmateriale – med bokmål og nynorsk, dialekter fra hele landet og noe samisk i grunnlaget. Målingene som fulgte med, viser det man skulle forvente: en modell som har hørt norsk i den mengden, gjør færre feil på norsk enn en generell flerspråklig modell av samme størrelse.
Dette handler ikke om hvilke modeller vi selv kjører. Poenget er mer nyttig for dere som skal kjøpe: det finnes offentlig, etterprøvbar dokumentasjon på at språket en modell er trent på, betyr noe. Så når en leverandør sier at modellen deres «støtter norsk», er det rimelig å spørre hva den påstanden hviler på, og å be om tallene.
Det er den samme grunnen til at vi mener en utgående KI-agent må høres og vurderes på norsk, ikke på en oversettelse av seg selv.
Testen dere kan kjøre på tjue av deres egne samtaler
Dette er den delen som er verdt en ettermiddag, og som ingen leverandørdemo kan erstatte – demoen kjøres på samtaler som fungerer.
Plukk tjue samtaler fra deres eget arkiv, og velg dem skjevt med vilje. Ta med de to eller tre kundebehandlerne med sterkest dialekt. Ta med samtalene med mest produktsjargong og flest engelske termer. Ta med minst én dårlig linje, én der kunden er opprørt og snakker i munnen på kundebehandleren, og én med et tall som betyr noe – en pris, en dato, et kontonummer.
Lytt gjennom dem og skriv ned det som faktisk ble sagt på de stedene rubrikken deres faktisk måler. Kjør så de samme tjue gjennom leverandørens transkripsjon og sammenlign, ikke på helhetsinntrykk, men på fire ting: garderingene, negasjonene, tallene og navnene. Det er de fire en rubrikk faktisk henger på.
Til slutt, og dette er steget de fleste hopper over: se på scorene de feilaktige transkripsjonene ga. Ikke bare tell ordfeil – finn ut hvilke av dem som flyttet en score. En feil som ikke endrer noe kriterium, er støy. En feil som gjør 4 til 2, er en coachingsamtale dere ikke burde hatt.
Ingen modell er perfekt, og det er ikke det riktige spørsmålet
Vi skal være ærlige om grensen. Ingen talegjenkjenning håndterer alle norske dialekter like godt. Tykk dialekt kombinert med rask tale, kryssende stemmer og en dårlig mobillinje er vanskelig for enhver modell, og det vil fortsette å være det. Sjeldne fagtermer og lokale stedsnavn treffer heller ikke alltid.
Så spørsmålet til en leverandør er ikke «er den perfekt». Svaret er nei, og en leverandør som sier noe annet, forteller deg mest om seg selv. Det nyttige spørsmålet er: vis meg hvor den svikter, og fortell meg hva som skjer med scoren når den gjør det.
Fire spørsmål som skiller de to typene svar:
- Transkriberes norsk direkte, eller går det via engelsk før scoring?
- Hva skjer med en setning som veksler til engelsk midt i?
- Kan jeg klikke fra en score til lydklippet og høre om teksten stemmer?
- Hva gjør systemet når det er usikkert – gjetter det, eller merker det passasjen?
Det siste er viktigere enn det ser ut til. Et system som markerer et usikkert parti og lar kriteriet stå åpent, gir dere et hull dere kan fylle. Et system som gjetter, gir dere et tall som ser like sikkert ut som alle de andre – og som dere først oppdager er galt når noen tilfeldigvis lytter etter.
Det henger sammen med hvorfor lyden må oppbevares og brukes ryddig i utgangspunktet: uten muligheten til å gå tilbake til opptaket, kan ingen avgjøre om transkripsjonen var riktig.
Ta med tjue samtaler – gjerne de vanskeligste dere har – så transkriberer og scorer vi dem, og går gjennom hvor det treffer og hvor det ikke gjør det. Les mer om Conversation Intelligence.