En kundebehandler fra Sunnmøre får 2 av 5 på faktisk nøyaktighet. Lederen åpner samtalen for å forstå hvorfor, hører gjennom det aktuelle minuttet og oppdager at hun sa noe helt annet enn det som står i transkripsjonen. Setningen systemet vurderte, ble aldri sagt.
Modellen brukte rubrikken helt riktig, på feil tekst.
Denne feilkilden diskuteres sjelden i et innkjøpsmøte, fordi transkripsjon oppfattes som infrastruktur: noe som enten virker eller ikke virker, og som uansett ligger under det man egentlig kjøper.
En score blir aldri bedre enn transkripsjonen den bygger på. Er setningen feil, er scoren feil. Og feilen stopper ikke der. Den blir til en coachingsamtale om et problem kundebehandleren ikke hadde, en trend som peker feil vei, og til slutt en kundebehandler som har lært at systemet ikke er til å stole på. Derfor bør transkripsjonen testes på deres egne samtaler før dere kjøper noe som scorer dem.
Rubrikker står og faller på de minste ordene
Se på hva et kvalitetskriterium måler. «Bekreftet kundebehandleren prisen før avtalen ble inngått?» avgjøres av om det står 2 490 eller 2 940 i transkripsjonen. «Tok hun forbehold der hun var usikker?» avgjøres av om «jeg tror» ble med, eller ble ryddet bort til en pen påstand. «Ble kunden avvist?» avgjøres av et «ikke» på fire bokstaver.
Det er nettopp disse ordene som forsvinner først når en modell er usikker. Talegjenkjenning som er trent til å produsere flytende tekst, har en tendens til å glatte ut: garderinger blir til påstander, avbrutte setninger blir hele, og et nøl blir borte. Resultatet ser fint ut og gir feil score.
Navn er en egen kategori. Et etternavn som blir feil, gjør det vanskelig å finne samtalen igjen, og i en klagesak er det ofte den eneste inngangen dere har.
Å oversette først og score etterpå river ut akkurat det rubrikken trenger
Et verktøy som håndterer norsk ved å gå veien om engelsk, transkriberer, oversetter og scorer oversettelsen. Arkitekturen er forståelig, fordi leverandøren da kan ha én rubrikkmotor på ett språk. Men den ødelegger systematisk det norske i samtalen.
Dialekt er det første som ryker, fordi oversettelsen normaliserer. Garderinger og høflighetsmarkører er det andre; på norsk ligger garderingen ofte i småord som ikke har noen naturlig plass i en engelsk setning, så de faller ut. Kodeveksling er det tredje: en norsk kundebehandler bytter til engelsk midt i en setning så snart produktordene kommer («vi kan sette opp en trial på onboarding-flowen»), og en pipeline som antar ett språk per lydfil, håndterer den setningen dårlig uansett hvilket språk den gjetter på.
Da sitter dere med kundebehandleren og diskuterer hva som ble sagt, og det er en langt verre samtale enn en uenighet om en score.
Og hvem som sa det, er halve rubrikken
Riktige ord er ikke nok. Nesten hvert kriterium dere måler, gjelder én av de to i samtalen: kundebehandleren skulle ha opplyst om noe, kunden skulle ha fått bekreftet noe. Bytter systemet om på hvem som snakket, står ordene riktig og scoren blir like feil.
Det skjer særlig der de to snakker i munnen på hverandre, og det gjør de nettopp i samtalene dere helst vil forstå. Ligger begge parter i samme lydspor, er skillet mellom stemmene et anslag. Har dere to spor fra telefonisystemet, ligger skillet i selve opptaket. Finn ut hvilket av de to dere har, før dere vurderer tallene som kommer ut.
Det offentlige beviset finnes, og det er norsk
Dere trenger ikke ta oss på ordet når vi sier at språkspesifikk trening slår generisk. Nasjonalbiblioteket har gjort arbeidet i full offentlighet.
NB-Whisper er en familie av åpne talegjenkjenningsmodeller i fem størrelser fra Nasjonalbibliotekets KI-lab, bygd videre på OpenAIs Whisper. I artikkelen der laben beskrev modellene, fra februar 2024, består treningsmaterialet av undertekster fra NRK, lydbøker, taler fra Stortinget og taledatabasen NST. Modellkortet oppgir i dag rundt 66 000 timer tale.
Laben målte den største modellen mot Whisper Large-v3, som den er bygd på. Tallene er ordfeilrate, altså andelen ord modellen får feil:
| Testsett | Språk | Whisper Large-v3 | NB-Whisper Large |
|---|---|---|---|
| Fleurs | bokmål | 10,4 % | 6,6 % |
| NST | bokmål | 6,8 % | 2,2 % |
| Common Voice | nynorsk | 30,0 % | 12,6 % |
På NST gjør den norsktrente modellen under en tredjedel så mange feil. På nynorsk er forskjellen størst i prosentpoeng.
Vi bruker selv NB-Whisper til norsk transkripsjon, så vi har en egeninteresse her. Men tallene er offentlige og etterprøvbare, og de viser at språket en modell er trent på, betyr noe. Når en leverandør sier at modellen deres «støtter norsk», er det rimelig å spørre hva påstanden hviler på, og å be om tallene.
Av samme grunn mener vi at også en utgående KI-agent må høres og vurderes på norsk.
Testen dere kan kjøre på tjue av deres egne samtaler
Dette er den delen som er verdt en ettermiddag. Ingen leverandørdemo kan erstatte den, for demoen kjøres på samtaler som fungerer.
Plukk tjue samtaler fra deres eget arkiv, og velg dem skjevt med vilje. Ta med de to eller tre kundebehandlerne med sterkest dialekt. Ta med samtalene med mest produktsjargong og flest engelske termer. Ta med minst én med dårlig forbindelse, én der kunden er opprørt og snakker i munnen på kundebehandleren, og én med et tall som betyr noe: en pris, en dato, et kontonummer.
Lytt gjennom dem og skriv ned det som ble sagt på de stedene rubrikken deres måler. Kjør så de samme tjue gjennom leverandørens transkripsjon og sammenlign på de fire tingene en rubrikk står og faller på:
- Garderingene: står «jeg tror» og «det må jeg sjekke» der de ble sagt?
- Negasjonene: stemmer hvert «ikke» og hvert «ingen»?
- Tallene: priser, datoer og kontonumre, skrevet likt hver gang.
- Navnene: etternavn, stedsnavn og deres egne produktnavn.
Til slutt, og dette er steget de fleste hopper over: se på scorene de feilaktige transkripsjonene ga, og finn ut hvilke ordfeil som flyttet en score. En feil som ikke endrer noe kriterium, er støy. En feil som gjør 4 til 2, er en coachingsamtale dere ikke burde ha hatt.
Bestem grensen før dere begynner. Vi anbefaler denne: flytter ordfeil en score i mer enn én av tjue samtaler, er transkripsjonen ikke god nok til å score deres samtaler.
Illustrasjon: Sju av de tjue samtalene har minst én feil i en gardering, en negasjon, et tall eller et navn. I fem av dem endrer feilen ingenting. I to flytter den en score, og den ene er kundebehandleren fra Sunnmøre, som skulle ha fått 4 og fikk 2. To av tjue er over grensen, og det er de to samtalene dere legger på bordet hos leverandøren.
Spør hvor modellen svikter, og hva som skjer med scoren da
Ingen talegjenkjenning håndterer alle norske dialekter like godt. Bred dialekt kombinert med rask tale, overlappende tale og en dårlig mobillinje er vanskelig for enhver modell, og det vil fortsette å være det. Sjeldne fagtermer og lokale stedsnavn blir heller ikke alltid riktige.
En leverandør som sier at modellen er perfekt, forteller dere mest om seg selv. Det nyttige spørsmålet er: vis meg hvor den svikter, og fortell meg hva som skjer med scoren når den gjør det.
Fire spørsmål å stille leverandøren:
- Transkriberes norsk direkte, eller går det via engelsk før scoring?
- Hva skjer med en setning som veksler til engelsk midt i?
- Kan jeg klikke fra en score til lydklippet og høre om teksten stemmer?
- Hva gjør systemet når det er usikkert: gjetter det, eller merker det passasjen?
Det siste er viktigere enn det ser ut til. Et system som markerer et usikkert parti og lar kriteriet stå åpent, gir dere et hull dere kan fylle. Et system som gjetter, gir dere et tall som ser like sikkert ut som alle de andre, og som dere først oppdager er galt når noen tilfeldigvis lytter etter.
Alt dette forutsetter at opptaket finnes. Hold oversikt over hvor opptakene ligger og hvor lenge de oppbevares: uten et opptak å gå tilbake til, kan ingen avgjøre om transkripsjonen var riktig.
Hos oss scores norske samtaler på norsk, på talemodeller vi drifter selv, uten omvei via engelsk. Hver score lenker til setningen, tidspunktet og hvem som sa den, så dere kan gå fra scoren til lydklippet og høre selv.
Ta med tjue samtaler, gjerne de vanskeligste dere har. Vi transkriberer og scorer dem og går gjennom hvor det treffer og hvor det ikke gjør det. Les mer om Conversational Intelligence.
