Hur träffsäker är AI-bedömningen? Mät först era egna bedömare

Fyra teamledare sitter framför samma skärm och lyssnar på samma samtal, sju minuter långt. Sedan skriver var och en ner sin poäng för empati på en skala från 1 till 5. Det blir 2, 3, 3 och 5.

Någon skrattar. Den som gav en femma förklarar att kunden hade lugnat sig mot slutet, så något måste ju ha fungerat. Den som gav en tvåa påpekar att medarbetaren pratade i munnen på kunden två gånger under första minuten. Efter tio minuter enas rummet om en trea, alla tycker att genomgången gick bra, och man går vidare till nästa samtal.

Ingen skriver upp det tal som betydde mest: på det här kriteriet skilde det tre poäng mellan fyra erfarna personer.

AI-bedömning av samtal kan aldrig bli mer träffsäker än samstämmigheten mellan de människor ni jämför den med, eftersom det för de flesta kriterier inte finns något annat facit. Mät därför era bedömare först: låt två av dem poängsätta samma samtal utan att se varandras poäng, och jämför kriterium för kriterium. Mät sedan AI:n på exakt samma sätt. Där AI:n håller med era bedömare lika ofta som de håller med varandra kan ni lita på den. Där bedömarna inte är överens är det kriteriet som ska ses över först.

Kalibreringsmötet döljer problemet

Mötet i inledningen är så de flesta kontaktcenter håller ihop sina bedömare, och det fyller en funktion. Man hör hur kollegorna läser bedömningsmallen och resonerar sig fram till en gemensam syn. Som mätning har det däremot två brister.

Poängen är inte oberoende av varandra. När någon med tyngd har sagt att samtalet är en trea drar sig de andra mot trean. Mötet slutar i enighet, men det var rummet som skapade den. Den finns inte kvar en tisdagseftermiddag när varje teamledare bedömer samtal på egen hand.

Dessutom sparas ingenting. Mötet ger en överenskommen poäng för ett samtal, men inte hur långt isär man låg innan diskussionen började. Efter ett år av möten vet ni fortfarande inte vilka kriterier teamet läser likadant och vilka det läser olika.

Dela därför upp de två uppgifterna. Poängsätt först, var för sig och utan att se någon annans poäng. Diskutera efteråt. Och spara siffrorna.

94 % överensstämmelse kan betyda väldigt lite

När två bedömare har poängsatt samma samtal blint ligger det nära till hands att räkna hur ofta de svarade likadant. För de kontroller med godkänd eller missad som de flesta bedömningsmallar vilar på är det måttet ofta missvisande.

Ta en kontroll som nästan alla samtal klarar, till exempel ”bekräftade att kunden förstod nästa steg”. Två bedömare går igenom samma 100 samtal. Var och en markerar 5 samtal som missade, men bara 2 av dem är samma samtal. De övriga 92 har båda markerat som godkända. Det blir 94 lika svar av 100, alltså 94 % överensstämmelse, och det ser utmärkt ut.

Titta nu på de samtal som spelar roll. Tillsammans markerade bedömarna 8 olika samtal som missade, och de var överens om 2. Hade någon av dem gjort jobbet ensam hade ni hittat olika brister beroende på vem som bedömde den dagen. Den höga procentsatsen kommer nästan helt från de självklart godkända samtalen, där ingen någonsin skulle ha varit oense.

Statistiker korrigerar för det med ett mått som heter Cohens kappa. Det anger hur mycket bättre två bedömare stämmer överens än de skulle göra av ren slump. I exemplet blir kappa ungefär 0,37. På den skala som de flesta forskare använder, från Landis och Koch, ligger det långt under 0,61, där det de kallar betydande överensstämmelse (”substantial”) börjar. För skalor från 1 till 5, som empati, finns en viktad variant av kappa som räknar en poängs skillnad som en nära miss snarare än som full oenighet. Ni behöver inte räkna fram något av det här för hand, men på en kontroll som nästan alltid klaras ska ni inte nöja er med den råa procentsatsen.

Två saker till gör siffrorna användbara:

• Mät varje kriterium för sig. En samlad siffra blandar era tydligaste kriterier med de vagaste, och det är de vaga ni behöver hitta.
• Lägg märke till vilken sorts kriterium det är. Är bedömarna oense om en faktakontroll, till exempel om en obligatorisk upplysning lästes upp, har någon missat något. Då handlar det om uppmärksamhet, och formuleringen är inte problemet. Är de oense om en bedömningsfråga, till exempel om kunden förstod, ligger orsaken oftast i formuleringen.

Så bedömer ni hur träffsäker AI:n är

När ni har en mänsklig referens för varje kriterium är det enkelt att bedöma AI:n. Behandla den som ytterligare en bedömare: jämför dess poäng med bedömarnas blinda poäng, kriterium för kriterium och med samma mått. Kriterierna brukar då hamna i tre grupper.

AI:n håller med era bedömare ungefär lika ofta som de håller med varandra. Här gör AI:n samma arbete som en extra bedömare, fast på varje samtal i stället för på ett urval. Det är här automatisk bedömning lönar sig.

Bedömarna är överens med varandra men inte med AI:n. Här har AI:n ett verkligt problem. Läs motiveringarna den ger för sina poäng. Tillämpar den kriteriet annorlunda än teamet gör saknas förmodligen något i formuleringen som alla era bedömare tar för givet. Skriv in det i kriteriet och mät igen.

Bedömarna är inte överens med varandra. Här går det inte att bedöma AI:n alls, och det är inte där ni ska börja. Ett kriterium som ”visade empati” rymmer tre eller fyra olika beteenden beroende på vem som lyssnar. Dela upp det i sådant en bedömare kan höra, som ”bekräftade problemet innan en lösning erbjöds”, så brukar samstämmigheten öka för både människor och AI. Vi har skrivit om hur ni formulerar kriterier som går att bedöma konsekvent (på engelska).

Hur ofta ni behöver kalibrera om

Samstämmighet är inget ni slår fast en gång för alla. En ny produkt ändrar hur ett bra svar låter. Nya teamledare har med sig egna vanor. Någon redigerar bedömningsmallen. AI-modellen uppdateras. Vilket som helst av det kan flytta poäng som såg stabila ut förra kvartalet, så kontrollen behöver bli en rutin.

Ett litet urval blindgranskningar varje vecka håller den igång. Välj olika samtal för olika syften:

• Slumpvis valda samtal mäter samstämmigheten. Det är på dem ni redovisar siffran, eftersom de visar hur vanliga samtal ser ut.
• Ifrågasatta samtal hittar problem. En medarbetare som bestrider en poäng säger att mallen och samtalet inte passade ihop. (Det hjälper att ha en process för invändningar som medarbetarna litar på, på engelska.)
• Samtal där AI:n var osäker hittar också problem. Där är oenighet mest sannolik, så det är där en bedömares tid lär er mest.

Håll de ifrågasatta och osäkra samtalen utanför den siffra ni redovisar. De är utvalda just för att de är svåra, och tar ni med dem ser samstämmigheten sämre ut än den är.

Så här fungerar blindgranskningar och samstämmighet med AI i Future Ready: chefer poängsätter några samtal i veckan utan att se AI:ns poäng, och varje färdighet och kontroll visar hur väl AI:n och era medarbetare stämmer överens, från Stark till Behöver kalibreras. Metoden är ändå inte bunden till något verktyg. Ett kalkylblad och två noggranna bedömare räcker för att komma i gång.

En rutin att börja med den här månaden

1. Välj 50 till 100 färska samtal som täcker era vanligaste samtalstyper. För kontroller som sällan missas lägger ni till samtal där ni redan vet att kontrollen missades. Annars får ni för få missar att jämföra.
2. Låt två bedömare poängsätta dem blint mot er nuvarande bedömningsmall, utan att diskutera dem.
3. Jämför poängen kriterium för kriterium. För kontroller med godkänd eller missad tittar ni på de missade samtalen och inte bara på den samlade andelen lika svar.
4. Skriv om de tre kriterier som har sämst samstämmighet och pröva den nya formuleringen på en ny omgång samtal. Bedömare minns samtal de redan har bedömt, så med samma samtal igen vore granskningen inte blind.
5. Jämför AI:n med era bedömare på samma samtal och samma kriterier.
6. Gör det varje vecka, med en handfull slumpvis valda samtal för att mäta och de ifrågasatta och osäkra samtalen för att hitta problem.

Efter första omgången vet ni vilka kriterier som betyder samma sak för alla, och vilka som aldrig gjorde det. Det är värt att veta oavsett om ni någonsin automatiserar en enda poäng.

Frågan att ställa varje leverantör

Utvärderar ni AI-bedömning, vår egen inräknad, ska ni inte nöja er med en enda siffra för träffsäkerhet. Be om samstämmigheten för varje kriterium, mätt blint mot era egna bedömare på era egna samtal, bredvid hur väl era bedömare stämmer överens med varandra. En leverantör som kan visa det har mätt sin träffsäkerhet. En leverantör som inte kan det har inte gjort det.

Ta med ett urval av era samtal, så poängsätter vi dem på er mall och jämför AI:n med ert team, kriterium för kriterium. Då ser ni vilka kriterier som är redo att automatiseras och vilka som behöver skrivas om först. Läs mer om Conversation Intelligence.