Medarbetaren fick 2 av 5 för en mening hen aldrig sa

Medarbetaren sa ”det ingår inte i abonnemanget”. Transkriberingen säger ”det ingår i abonnemanget”, och bedömningsmallen ger 2 av 5 på korrekt information för en mening hen aldrig sa.

Kunden sa Ljungby och texten säger Jönköping. Medarbetaren garderade sig med ”jag tror det” och texten skriver ut det som ett rakt påstående. Ingen av meningarna är markerad som osäker någonstans. De ligger i transkriberingen med samma tyngd som allt annat, och mallen bedömer dem som om de sagts.

Ett fel i transkriberingen kommer ut i andra änden som en poäng, och den poängen ser ut som alla andra.

Om transkriberingen förvanskar ortnamnet, personnamnet, produkttermen eller garderingen, mäter poängen en mening ingen sa. Och till skillnad från de flesta fel i ett kvalitetssystem larmar det här inte. Poängen går vidare till ett coachningssamtal, och medarbetaren tränas på ett problem hen inte hade. Därför hör taligenkänningen hemma i upphandlingen av ett QA-verktyg: hela mätningen vilar på den, och den bör testas på era egna samtal innan ni köper.

Det är precis de svåra orden som avgör en bedömning

En bedömningsmall vilar för det mesta på ett fåtal exakta ord.

Negationer avgör faktisk korrekthet. Skillnaden mellan ”ingår” och ”ingår inte” är ett ord och hela bedömningen. En generell modell som tappar ett obetonat ”inte” i en snabb replik vänder poängen från rätt till fel.

Garderingar avgör hur säkert ett svar var. ”Jag tror”, ”jag ska bara kolla”, ”det ska nog gå bra” är precis de formuleringar en bedömningsmall är byggd för att fånga. De är också kortast, mest obetonade och lättast att transkribera bort.

Namn och ortnamn avgör om ärendet ens går att följa. Svenska ortnamn följer inte engelsk fonotax, och en modell som huvudsakligen har sett engelska gissar på det närmaste den känner igen. Personnamn är värre, eftersom en gissning ofta blir ett annat fullt trovärdigt svenskt namn.

Produkttermer avgör bedömningen av förklaringen. Era abonnemangsnamn, era paket, era interna begrepp finns inte i någon generell träningsdata. Blir de fel varje gång ser det ut som att medarbetaren pratar om något annat än hen gör.

Och till detta kommer det svenska talet självt: dialekt, sammandragningar i snabbt tal, kodväxling mitt i en mening där ett engelskt fackord dyker upp i en svensk sats.

En modell tränad på svenska gör ungefär hälften så många ordfel

Det finns offentliga, granskningsbara belägg för att språkspecifik träning slår generella modeller på svenska, och de kommer från en källa som inte säljer något.

KBLab vid Kungliga biblioteket tränade KB-Whisper på över 50 000 timmar svenskt tal. Enligt KBLabs genomgång från 7 mars 2025 kommer materialet bland annat från tv-sändningar i bibliotekets audiovisuella arkiv, inspelningar från riksdagen med protokollen som facit och dialektinspelningar från Isof.

KBLab mätte sin största modell mot OpenAI:s Whisper-large-v3. Siffrorna är ordfelsfrekvens, alltså andelen ord modellen får fel:

I genomsnitt över de tre testseten blir det 47 % färre ordfel.

Vi använder själva KB-Whisper för svensk transkribering, så vi har ett intresse här. Men siffrorna är KBLabs, och de visar att en modell tränad på svenska hör svenska väsentligt bättre än en generell modell. En leverantör som svarar att ”vår modell stöder svenska” har inte svarat på om den är tränad för svenska.

Omvägen via engelska är det andra tysta felet

Den som transkriberar och översätter till engelska innan analysen körs, för att bedömningsmodellen är byggd för engelska, tappar något på vägen.

Det som går förlorat är nyanserna som bedömningsmallen mäter. Ett artigt svenskt avståndstagande blir en neutral engelsk mening. En dialektal formulering blir standardiserad. Ordvalet som avgjorde om medarbetaren lät hjälpsam eller avfärdande jämnas ut i översättningen, eftersom översättning normaliserar.

Samtalet bör förstås och poängsättas på det språk det faktiskt fördes på.

Testet: tjugo av era egna samtal

Ingen demo avgör det här, eftersom demoljudet nästan alltid är rent. Gör i stället ett test på ert eget material innan ni skriver under något. Det tar en eftermiddag.

Välj tjugo samtal ni redan känner till, gärna en blandning: ett par från kvällspasset, ett par med tydlig dialekt, ett par korta och irriterade, minst ett där medarbetaren pratade snabbt. Kör dem genom leverantörens transkribering och läs texten bredvid ljudet.

Räkna sedan bara fyra saker:

1. Garderingarna: står ”jag tror” kvar där det sades?
2. Negationerna: stämmer varje ”inte” och varje ”ingen”?
3. Siffrorna: blev priser, avtalstider, ärendenummer och datum rätt, och skrivs de konsekvent?
4. Namnen: står Ljungby kvar som Ljungby? Kolla person- och ortnamn, plus era egna produkttermer.

De fyra är valda för att det är dem en bedömningsmall hänger på. En transkribering kan ha utmärkt allmän träffsäkerhet och ändå vara oanvändbar för poängsättning om den systematiskt missar just dem. Och omvänt: en text med några enstaka fel i ovidkommande ord kan vara helt tillräcklig.

Notera också vad som händer med överlappande tal, alltså när kund och medarbetare talar samtidigt, och om systemet överhuvudtaget håller isär vem som säger vad. En bedömning som tillskriver medarbetaren något kunden sa är ett fel av en helt annan storleksordning än ett felstavat ortnamn.

Titta sist på poängen: vilka av felen flyttade en bedömning? Bestäm gränsen innan ni börjar. Vår rekommendation: flyttar ett ordfel en poäng i mer än ett av tjugo samtal, duger transkriberingen inte för att poängsätta era samtal.

Illustration: I sju av de tjugo samtalen finns minst ett fel i en gardering, en negation, en siffra eller ett namn. I fem ändrar felet ingenting. I två flyttar det en poäng, och ett av dem är abonnemangssamtalet där ”inte” försvann och medarbetaren fick 2 i stället för 4. Två av tjugo är över gränsen, och det är de två samtalen ni tar med till leverantören.

Vad bättre transkribering inte löser

En perfekt transkribering tar bort en felkälla, och inte mer.

Den avgör inte om ni poängsätter efter er egen mall eller efter leverantörens, om varje poäng pekar tillbaka på ögonblicket som gav den, eller om något faktiskt händer med det ni upptäcker. Ett verktyg med utmärkt svensk taligenkänning och en generisk kvalitetsmodell ovanpå ger er bedömningar som bygger på rätt ord men mäter fel saker.

Ingen transkribering blir heller felfri. Riktigt dåligt ljud, tre personer som talar samtidigt, ett ord som faktiskt inte går att uppfatta: det finns en undre gräns. Det rimliga kravet är att felen är sällsynta i just de kategorier mallen hänger på, och att ni kan gå från en poäng till ljudet och höra efter själva när något ser konstigt ut.

Samma resonemang gäller förresten också den dag rösten i samtalet är en AI-agent i stället för en människa: den ska mätas mot samma mall, och den mätningen vilar på samma transkribering.

Tre frågor att ställa en leverantör

1. Är er svenska modell tränad specifikt för svenska, eller är svenska ett av många språk som stöds i en generell modell?
2. Poängsätts samtalet på svenska, eller översätts det till engelska på vägen?
3. Kan vi jämföra transkriberingen mot ljudet för ett enskilt samtal, i gränssnittet?

Våra egna svar: Conversational Intelligence poängsätter svenska samtal på svenska och transkriberar med talmodeller som vi driftar själva, hos AWS i Stockholm, i stället för att skicka ljudet till ett tredjeparts-API. Det är i första hand en kvalitetsfråga, och därefter en fråga om var era data hamnar. Varje poäng pekar på meningen, tidpunkten och talaren bakom den, så ni kan gå från poängen till ljudet.

Får ni ett svävande svar på den första frågan är det värt att köra testet innan ni går vidare. Tjugo samtal och en eftermiddag är billigare än ett kvartal med bedömningar ni senare inte kan lita på.

Ta med en veckas samtal, så transkriberar och poängsätter vi ett urval av era egna. Ni får läsa texten bredvid ljudet innan ni tar ställning till poängen. Läs mer om Conversational Intelligence.