Hvor nøyaktig er KI-scoringen? Mål først hvor enige vurdererne deres er

Fire teamledere sitter rundt en skjerm og hører på den samme samtalen på sju minutter. Etterpå skriver hver av dem ned en score for empati, på en skala fra 1 til 5. Det blir 2, 3, 3 og 5.

Noen ler. Lederen som ga 5, forklarer at kunden var roligere mot slutten, så noe må ha virket. Lederen som ga 2, peker på at kundebehandleren snakket i munnen på kunden to ganger i det første minuttet. Etter ti minutter samler rommet seg om 3. Alle synes det var en god økt, og de går videre til neste samtale.

Ingen skriver ned det tallet som betydde mest: På dette kriteriet var fire erfarne folk tre poeng fra hverandre.

KI-scoring av samtaler kan aldri bli mer presis enn samsvaret mellom menneskene dere måler den mot, for på de fleste kriterier finnes det ingen annen fasit. Mål derfor vurdererne først. La to av dem score de samme samtalene uten å se hverandres scorer, og sammenlign kriterium for kriterium. Mål deretter KI-en på nøyaktig samme måte. Der KI-en er enig med vurdererne like ofte som de er enige med hverandre, kan dere stole på den. Der vurdererne selv er uenige, må dere rette opp kriteriet først.

Hvorfor kalibreringsmøtet skjuler problemet

Møtet i innledningen er slik de fleste kundesentre holder kvalitetssikringen samkjørt, og det gjør nyttig arbeid. Folk hører hvordan kollegene leser vurderingsskjemaet, og diskuterer seg fram til en felles forståelse. Som måling har det likevel to svakheter.

Scorene er ikke uavhengige. Når noen med tyngde har sagt at samtalen er en treer, trekker de andre mot 3. Møtet ender i enighet, men det var rommet som skapte den. Tirsdag ettermiddag, når hver teamleder vurderer samtaler alene, er den borte.

Dessuten blir ingenting notert. Møtet gir én omforent score for én samtale. Hvor langt fra hverandre folk var før de begynte å snakke, står ingen steder. Etter et år med kalibreringsmøter vet dere fortsatt ikke hvilke kriterier teamet leser likt, og hvilke det leser ulikt.

Skill derfor de to oppgavene. Vurder først, hver for seg og uten å se andres score. Diskuter etterpå. Ta vare på tallene.

94 % samsvar kan bety svært lite

Når to vurderere har scoret de samme samtalene blindt, er det nærliggende å telle hvor ofte de svarte det samme. For bestått/ikke bestått-kontrollene som de fleste vurderingsskjemaer bygger på, gir det tallet ofte et misvisende bilde.

Ta en kontroll som nesten alle samtaler består, for eksempel «bekreftet at kunden forsto neste steg». To vurderere scorer de samme 100 samtalene. Hver av dem merker 5 samtaler som ikke bestått, men bare 2 av dem er de samme. De 92 andre samtalene merker begge som bestått. Det gir 94 like svar av 100, altså 94 % samsvar. Det ser glimrende ut.

Se så på samtalene som teller. Til sammen merket vurdererne 8 ulike samtaler som ikke bestått, og de var enige om bare 2 av dem. Hadde én av dem gjort jobben alene, ville dere funnet andre feil avhengig av hvem som scoret den dagen. Den høye prosenten kommer nesten bare fra de opplagte beståtte samtalene, der ingen noen gang ville blitt uenige.

Når statistikere måler samsvar mellom vurderere, korrigerer de for dette med et mål som heter Cohens kappa. Det viser hvor mye oftere to vurderere er enige enn de ville vært ved en tilfeldighet. I eksempelet er kappa omtrent 0,37. På skalaen de fleste forskere bruker, fra Landis og Koch, ligger det godt under 0,61, som er grensen de kaller «betydelig» samsvar. For skalaer fra 1 til 5, som empati, finnes en vektet variant av kappa som regner ett poengs forskjell som nesten enighet i stedet for full uenighet. Dere trenger ikke regne ut noe av dette for hånd. Men på en kontroll som nesten alltid bestås, bør dere ikke stoppe ved prosenten.

To grep til gjør tallene nyttige:

• Mål hvert kriterium for seg. Et samlet tall for samsvar blander de klareste kriteriene med de mest uklare, og det er de uklare dere trenger å finne.
• Legg merke til hva slags kriterium det er. Er vurdererne uenige om en faktakontroll, for eksempel om en pålagt opplysning ble lest opp, har noen oversett noe. Da er det oppmerksomheten det skorter på, og ordlyden er i orden. Er de uenige om et skjønnsspørsmål, for eksempel om kunden forsto, er det som regel ordlyden som er årsaken.

Hvor nøyaktig er KI-scoringen?

Når dere har et menneskelig utgangspunkt for hvert kriterium, er det enkelt å vurdere KI-en. Behandle den som én vurderer til. Sammenlign scorene dens med vurderernes blinde scorer, kriterium for kriterium, med de samme målene. Kriteriene havner gjerne i tre grupper.

KI-en er omtrent like enig med vurdererne som de er med hverandre. Her gjør KI-en jobben til en ekstra vurderer, på hver eneste samtale og ikke bare på et utvalg. Det er her automatisk scoring er verdt å ha.

Vurdererne er enige med hverandre, men ikke med KI-en. Her har KI-en et reelt problem. Les begrunnelsene den gir for scorene. Bruker den kriteriet annerledes enn teamet, mangler ordlyden sannsynligvis noe alle vurdererne tar for gitt. Skriv det inn i kriteriet, og mål på nytt.

Vurdererne er uenige med hverandre. Her kan dere ikke vurdere KI-en i det hele tatt, og det er heller ikke den dere skal rette opp først. Et kriterium som «viste empati» dekker tre eller fire ulike typer atferd, alt etter hvem som lytter. Del det opp i ting en vurderer kan høre, som «anerkjente problemet før en løsning ble foreslått», så blir samsvaret som regel bedre for både mennesker og KI. Vi har skrevet om hvordan dere formulerer kriterier som kan scores likt (på engelsk).

Hvor ofte dere bør kalibrere på nytt

Samsvar er ikke noe dere oppnår én gang for alle. Et nytt produkt endrer hvordan et godt svar høres ut. Nye teamledere tar med seg egne vaner. Noen endrer vurderingsskjemaet. KI-modellen blir oppdatert. Hver av disse endringene kan flytte scorer som så stabile ut forrige kvartal, så kontrollen må bli en fast rutine.

Et ukentlig utvalg av blindvurderinger holder den i gang. Bruk ulike samtaler til ulike formål:

• Tilfeldige samtaler måler samsvaret. Rapporter samsvaret på disse, for de viser hvordan vanlige samtaler ser ut.
• Bestridte samtaler finner problemer. En kundebehandler som bestrider en score, forteller dere at vurderingsskjemaet og samtalen ikke passet sammen. (Det hjelper å ha en ordning for innsigelser som kundebehandlerne stoler på.)
• Samtaler der KI-en var usikker, finner også problemer. Det er der uenighet er mest sannsynlig, så det er der vurderernes tid lærer dere mest.

Hold de bestridte og usikre samtalene utenfor hovedtallet for samsvar. De er valgt ut fordi de er vanskelige, og tar dere dem med, ser samsvaret dårligere ut enn det er.

Slik fungerer blindvurderinger og Enighet med AI i Future Ready. Teamlederne scorer noen samtaler hver uke uten å se KI-ens score, og hver ferdighet og kontroll viser hvor godt KI-en og folkene deres er enige, fra Sterk til Trenger kalibrering. Metoden er likevel ikke avhengig av noe verktøy. Et regneark og to grundige vurderere er nok til å komme i gang.

En rutine dere kan starte denne måneden

1. Velg 50 til 100 nylige samtaler som dekker de viktigste samtaletypene. For kontroller som sjelden feiler, legger dere til samtaler dere allerede vet ikke besto. Ellers får dere for få feil å sammenligne.
2. La to vurderere score dem blindt etter vurderingsskjemaet dere bruker i dag, uten å diskutere dem.
3. Sammenlign scorene kriterium for kriterium. For bestått/ikke bestått-kontroller ser dere på samtalene som ikke besto, og ikke bare på andelen like svar.
4. Skriv om de tre kriteriene med dårligst samsvar, og test den nye ordlyden på et nytt sett samtaler. Vurderere husker samtaler de har scoret før, så med de samme samtalene ville vurderingen ikke lenger vært blind.
5. Sammenlign KI-en med vurdererne på de samme samtalene og de samme kriteriene.
6. Gjør det ukentlig, med en håndfull tilfeldige samtaler til måling og de bestridte og usikre samtalene til å finne problemer.

Etter første runde vet dere hvilke kriterier som betyr det samme for alle, og hvilke som aldri gjorde det. Det er verdt å vite, enten dere noen gang automatiserer en eneste score eller ikke.

Spørsmålet dere bør stille enhver leverandør

Vurderer dere KI-scoring, også vår, bør dere ikke be om ett samlet tall for nøyaktighet. Be om samsvar per kriterium, målt blindt mot deres egne vurderere på deres egne samtaler, ved siden av hvor godt vurdererne deres er enige med hverandre. En leverandør som kan vise dere det, har målt nøyaktigheten sin. En som ikke kan, har ikke gjort det.

Vi viser dere gjerne hvor godt KI-en og vurdererne deres er enige. Vi scorer et utvalg av samtalene deres etter deres eget vurderingsskjema og sammenligner KI-en med teamet, kriterium for kriterium, så dere ser hvilke kriterier som er klare for automatisering og hvilke som må skrives om først. Les mer om Conversation Intelligence.