Ett fel i en transkribering ser inte ut som ett fel. Det ser ut som en poäng.
Medarbetaren sa ”det ingår inte i abonnemanget” och texten säger ”det ingår i abonnemanget”. Kunden sa Ljungby och texten säger Jönköping. Medarbetaren garderade sig med ”jag tror det” och texten skriver ut det som ett rakt påstående. Ingen av de meningarna är markerade som osäkra någonstans. De ligger i transkriberingen med samma tyngd som allt annat, och kvalitetsmallen bedömer dem som om de sagts.
Det är därför taligenkänning inte är en teknisk fotnot i en QA-upphandling. Det är underlaget hela mätningen står på.
Om transkriberingen förvanskar ortnamnet, personnamnet, produkttermen eller garderingen, mäter poängen en mening ingen sa. Och till skillnad från de flesta fel i ett kvalitetssystem larmar det här inte. Det producerar en poäng som ser lika trovärdig ut som alla andra, den poängen går vidare till ett coachningssamtal, och medarbetaren blir tränad på ett problem hen inte hade. Felet är tyst hela vägen ner i kedjan.
Det är precis de svåra orden som avgör en bedömning
En kvalitetsmall vilar sällan på samtalets allmänna innehåll. Den vilar på ett fåtal exakta ord.
Negationer avgör faktisk korrekthet. Skillnaden mellan ”ingår” och ”ingår inte” är ett ord och hela bedömningen. En generell modell som tappar ett obetonat ”inte” i ett snabbt talat led vänder poängen från rätt till fel.
Garderingar avgör hur säkert ett svar var. ”Jag tror”, ”jag ska bara kolla”, ”det ska nog gå bra” är precis de formuleringar en kvalitetsmall är byggd för att fånga. De är också kortast, mest obetonade och lättast att transkribera bort.
Namn och ortnamn avgör om ärendet ens går att följa. Svenska ortnamn följer inte engelsk fonotax, och en modell som huvudsakligen har sett engelska gissar på det närmaste den känner igen. Personnamn är värre, eftersom en gissning ofta blir ett annat fullt trovärdigt svenskt namn.
Produkttermer avgör bedömningen av förklaringen. Era abonnemangsnamn, era paket, era interna begrepp finns inte i någon generell träningsdata. Blir de fel varje gång ser det ut som att medarbetaren pratar om något annat än vad hen gör.
Och till detta kommer det svenska talet självt: dialekt, sammandragningar i snabbt tal, kodväxling mitt i en mening där ett engelskt fackord dyker upp i en svensk sats.
Vad de offentliga siffrorna faktiskt visar
Det finns offentliga, granskningsbara belägg för att språkspecifik träning slår generella modeller på svenska, och de kommer från en källa som inte säljer något.
KBLab vid Kungliga biblioteket tränade KB-Whisper på över 50 000 timmar svenskt tal. Materialet kommer från bibliotekets egna audiovisuella samlingar – tv-sändningar, riksdagstal och dialektinspelningar – med bidrag från Riksdagsförvaltningen, SVT och Isof. Det är alltså svenskt tal i den bredd som faktiskt förekommer, inte uppläst studiotal.
Den rapporterade effekten är stor: en minskning av ordfelen med 47 procent mot OpenAI:s ursprungliga modell på svenska, med särskilda förbättringar på just svenska ortnamn, personnamn och svåra termer.
Det är värt att stanna vid vad den siffran betyder och inte betyder. Den betyder inte att ett visst verktyg är bättre än ett annat – KB-Whisper är ett publicerat forskningsarbete från ett nationalbibliotek, inte en produkt i en upphandling, och vi använder det inte som argument för vår egen plattform. Det den betyder är att frågan i princip är avgjord: det är mätbart, av en oberoende part, att en modell tränad på svenska hör svenska väsentligt bättre än en generell modell gör. En leverantör som svarar att ”vår modell stöder svenska” har inte svarat på om den är tränad för svenska.
Omvägen via engelska är det andra tysta felet
Många verktyg gör mer än att transkribera generellt – de transkriberar och översätter till engelska innan analysen körs, eftersom bedömningsmodellen är byggd för engelska.
Det som går förlorat där är sällan huvudinnehållet. Det är nyanserna som kvalitetsmallen mäter. Ett artigt svenskt avståndstagande blir en neutral engelsk mening. En dialektal formulering blir standardiserad. Tonen som avgjorde om medarbetaren lät hjälpsam eller avfärdande jämnas ut i översättningen, eftersom översättning är en process som normaliserar.
Samtalet bör förstås och poängsättas på det språk det faktiskt fördes på. Det är också skälet till att vi kör talmodeller vi driftar själva inom EU i stället för att skicka ljud till ett tredjeparts-API – det är i första hand en kvalitetsfråga, och därefter en fråga om var era data hamnar.
Testet: tjugo av era egna samtal
Ingen demo avgör det här, eftersom demoljudet alltid är rent. Gör i stället ett test på ert eget material innan ni skriver under något. Det tar en eftermiddag.
Välj tjugo samtal ni redan känner till – gärna en blandning: ett par från kvällspasset, ett par med tydlig dialekt, ett par korta och irriterade, minst ett där medarbetaren pratade snabbt. Kör dem genom leverantörens transkribering och läs texten bredvid ljudet.
Räkna sedan bara fyra saker. Garderingarna: står ”jag tror” kvar där det sades? Negationerna: stämmer varje ”inte” och varje ”ingen”? Siffrorna: priser, avtalstider, ärendenummer, datum – blev de rätt, och skrivs de konsekvent? Namnen: person- och ortnamn, plus era egna produkttermer.
De fyra kategorierna är valda av en anledning: de är precis vad en kvalitetsmall faktiskt vrider på. En transkribering kan ha utmärkt allmän träffbild och ändå vara oanvändbar för poängsättning om den systematiskt missar just dem. Och omvänt: en text med några enstaka fel i ovidkommande ord kan vara helt tillräcklig.
Notera också vad som händer med korsprat, alltså där kund och medarbetare talar samtidigt, och om systemet överhuvudtaget håller isär vem som säger vad. En bedömning som tillskriver medarbetaren något kunden sa är ett fel av en helt annan storleksordning än ett felstavat ortnamn.
Vad bättre transkribering inte löser
Det ska sägas rakt ut: en perfekt transkribering ger er ingenting i sig.
Den tar bort en felkälla. Den avgör inte om ni poängsätter efter er egen mall eller efter leverantörens, om varje poäng pekar tillbaka på ögonblicket som gav den, eller om något faktiskt händer med det ni upptäcker. Ett verktyg med utmärkt svensk taligenkänning och en generisk kvalitetsmodell ovanpå ger er bedömningar som bygger på rätt ord men mäter fel saker.
Ingen transkribering blir heller felfri. Riktigt dåligt ljud, tre personer som talar samtidigt, ett ord som faktiskt inte går att uppfatta – det finns en undre gräns. Det rimliga kravet är inte noll fel, utan att felen är sällsynta i just de kategorier mallen vrider på, och att ni kan gå från en poäng till ljudet och höra efter själva när något ser konstigt ut. Möjligheten att kontrollera är i praktiken lika viktig som träffsäkerheten.
Samma resonemang gäller förresten åt andra hållet också, den dag rösten i samtalet är en AI-agent i stället för en människa: den ska mätas mot samma mall, och den mätningen vilar på samma transkribering.
Tre frågor att ställa en leverantör
- Är er svenska modell tränad specifikt för svenska, eller är svenska ett av många språk som stöds i en generell modell?
- Poängsätts samtalet på svenska, eller översätts det till engelska på vägen?
- Kan jag jämföra transkriberingen mot ljudet för ett enskilt samtal, i gränssnittet?
Får ni ett svävande svar på den första är det värt att köra testet innan ni går vidare. Tjugo samtal och en eftermiddag är billigare än ett kvartal av bedömningar ni senare inte kan lita på.
Ta med en veckas samtal, så transkriberar och poängsätter vi ett urval av era egna – och ni får läsa texten bredvid ljudet innan ni tar ställning till poängen. Läs mer om Conversation Intelligence.