Regn på det en gang: en QA-analytiker rekker kanskje fem samtaler per kundebehandler i måneden. På en avdeling med 60 kundebehandlere er det 300 samtaler av kanskje 20 000.
Alle konklusjoner dere trekker om kvalitet den måneden, hviler på halvannen prosent: hvem som trenger oppfølging, om den nye rutinen etterleves, hva dere svarer kunder som spør. Og de 300 er samtalene noen rakk å hente ut, så utvalget er skjevt.
Automatisk scoring kan vurdere alle 20 000 samtalene etter de samme kriteriene, og da forsvinner utvalgsfeilen. Men en fulltelling er bare verdt noe hvis tre ting er på plass: samtalene scores etter deres egne kriterier, hver score peker på setningen og tidsstempelet bak den, og norske samtaler leses som norsk. Mangler én av dem, får dere et tall teamet ikke stoler på.
Raskere QA gir bare et litt større utvalg
Den vanlige reaksjonen er å effektivisere: kortere skjema, flere analytikere, strammere frist. Da går dere kanskje fra halvannen til tre prosent.
Automatisk scoring vurderer hver samtale likt, etter de samme kriteriene, samme dag som den finner sted. Da bygger månedens kvalitetsbilde på alle samtalene.
Det endrer hva slags spørsmål dere kan stille. «Hvordan ligger vi an på etterlevelse?» kan besvares med et tall og en dato. Og når tre svake samtaler havner i samme gruppe, ser dere dem som en klynge. Selv om utvalget på halvannen prosent var helt tilfeldig, ville det vært 96 % sjanse for at ingen av de tre var med.
Det hever samtidig kravet til grunnlaget: å score alt er en mer omfattende behandling enn å score fem i måneden, og opptakene må tåle spørsmålet om hvorfor de finnes før de brukes til noe nytt.
Det må være deres vurderingsskjema
Kvalitet betyr noe annet på en lojalitetsavdeling enn i førstelinjesupport. Et innebygd kvalitetsmål fra en leverandør er greit for en generell temperaturmåling, men svakt i det øyeblikket dere må forsvare en konkret standard: forklaringen som skal gis, sårbarhetssignalet som skal fanges opp, opplysningen som er pålagt.
Kriteriene dere allerede måles på, er de som skal scores.
Og hver score må vise bevisene sine
Dette er den delen som avgjør om systemet blir brukt eller omgått.
Et tall uten noe bak seg er en krangel i emning. Kundebehandleren mener 2 av 5 er urimelig, lederen kan ikke forklare hvorfor det ble 2, og etter tre slike runder har alle bestemt seg for at QA er vilkårlig.
Hvert kriterium må derfor peke på øyeblikket som ga scoren: setningen, tidsstempelet, hvem som snakket. Da åpner coachen samtalen på 02:18 og hører hva som faktisk skjedde. I Conversational Intelligence kan en kundebehandler som er uenig, bestride scoren, og en leder avgjør. Får kundebehandleren medhold, logges korreksjonen og teller mot KI-en.
Når ingen bestrider en eneste score, er det sjelden fordi alle er enige. Innsigelser er et signal verdt å ha, og det er kjernen i å innføre scoring uten at teamet føler seg overvåket: rekkefølgen på hvem som ser scoren først, avgjør hvordan den blir lest.
Norsk skal leses som norsk
Future Ready transkriberer en norsk samtale som norsk og scorer den på norsk, med talemodeller vi drifter selv, bygget av Nasjonalbibliotekets KI-lab. Går samtalen veien om engelsk først, scorer dere en oversettelse, og dialekt, navn og kodeveksling midt i en setning forsvinner ofte underveis.
En dårlig transkripsjon gir en dårlig score, og den gir coaching rettet mot et problem kundebehandleren ikke hadde. Dialekt, garderinger og engelske produktord er det som først får en norsk transkripsjon til å svikte. Test det på deres egne samtaler før dere stoler på tallene: ta 20 samtaler med dialekt, navn og produktord, og les transkripsjonen mot lyden.
Personvernombudet vil også vite hvor hvert steg kjøres, og det står på sikkerhetssiden vår.
Fire spørsmål til en leverandør
Svarene på disse fire skiller et kvalitetsverktøy fra et transkripsjonsverktøy med et dashbord oppå.
| Spørsmål | Godt svar | Faresignal |
|---|---|---|
| Scorer dere etter våre kriterier? | Ja, vårt vurderingsskjema, kriterium for kriterium | «Vår kvalitetsmodell dekker det meste» |
| Kan jeg klikke fra en score til øyeblikket som ga den? | Setningen, tidsstempelet og hvem som snakket | Et tall og en oppsummering |
| Hva skjer når en kundebehandler er uenig? | En leder avgjør, og korreksjonen logges ved siden av scoren | Scoren justeres uten spor |
| Leses norsk direkte? | Transkribert og scoret på norsk | Oversatt til engelsk før scoring |
Gevinsten kommer av det dere gjør med scorene
Dekning er i ferd med å bli hyllevare: de fleste leverandørene kan score alle samtaler nå, vi også. Det som skiller, er hva som skjer med dekningen etterpå: om det svakeste kriteriet blir til repetisjoner i stedet for en kursdag, og om gevinsten måles på samtalene som kommer etter. Kundene våre ser i snitt 3,7 ganger avkastning, målt mot kundebehandlere som ikke fikk treningen.
Hvor mange av samtalene bak forrige måneds kvalitetstall har noen faktisk lyttet på?
Ta med en uke med samtaler, så scorer vi et utvalg av deres egne og går gjennom hva scorene viser, kriterium for kriterium. Les mer om Conversational Intelligence.
