NKI gick från 71 till 76 efter utbildningen. Det bevisar nästan ingenting

Det ser övertygande ut i en styrgrupp. Utbildningsinsatsen kördes i mars, NKI gick från 71 till 76 i april, och där står slutsatsen på sidan fyra: coachningen gav fem enheter.

Sedan frågar någon vad mer som hände i mars. Kötiden kortades med fyrtio sekunder efter att bemanningen justerades. En kampanj tog slut, och med den försvann samtalstypen med de mest irriterade kunderna. Och april är alltid bättre än mars.

Ingen av de invändningarna motbevisar att coachningen hjälpte. Men mätningen kan inte skilja de fyra förklaringarna åt, och därför bevisar den ingen av dem.

En före-och-efter-jämförelse på ett nöjdhetsindex visar ett sammanträffande som ni hoppas är ett resultat. Och väljer ni de svagaste till coachning stiger deras snitt ändå. NKI rör sig med säsong, produktlanseringar, kötider, kampanjmix och vem som råkade svara den veckan. Coachningen är en av många saker som drar i siffran, och den enda ni betalar för separat. Det som håller är att jämföra de tränade med matchade otränade kollegor, poängsatta mot samma mall, på jämförbar samtalsmix, före och efter.

NKI mäter för mycket på en gång

Svenska kontaktcenter styr efter NKI av goda skäl. Det är begripligt, det finns redan, och det är det tal ledningen känner igen. Problemet uppstår när samma tal ska bära bevisbördan för en enskild insats:

• Svarsfrekvensen är låg och skev. Ofta är det de mycket nöjda och de mycket missnöjda som svarar. En förändring i vilka som orkar fylla i formuläret flyttar indexet utan att ett enda samtal har blivit bättre.
• Frågan handlar sällan bara om samtalet. Kunden betygsätter också väntetiden, priset, fakturan som var fel från början och appen som inte fungerade i förrgår. Medarbetaren kan bara påverka en liten del av det som mäts.
• Det rör sig långsamt och i klump. Ett index på hundratals svar är trögt. När det väl rör sig går det inte att spåra tillbaka till vad som orsakade rörelsen, eftersom allt annat också har hunnit förändras.

Det betyder inte att NKI ska bort. Det är ett rimligt hälsotal för verksamheten, men olämpligt som kvitto på om en coachningsinsats fungerade.

Regressionen mot medelvärdet gör jobbet åt er

Det andra problemet brukar överraska mer, eftersom det sitter i hur grupperna väljs.

Coachning riktas nästan alltid mot dem som ligger lägst. Operativt är det rätt prioritering. Statistiskt ställer det till det: en del av anledningen till att någon hamnade lägst en viss månad är att just den månaden gick dåligt, med svåra samtal, en dålig vecka eller en slumpmässigt hård samtalsmix. Nästa månad ligger de närmare sitt eget normalläge, alltså högre, helt utan att någon har lärt dem något.

Väljer ni ut de tio lägsta av sextio och mäter dem igen, kommer gruppen som helhet att se förbättrad ut. Det gäller även om utbildningen ställdes in.

Därför är ”de coachade förbättrade sig med 9 %” ett svagt påstående. Det som behöver visas är att de förbättrade sig mer än de skulle ha gjort ändå.

Det enda påståendet som håller

Kvar finns jämförelsen som är obekväm att göra och svår att argumentera bort: de tränade mot matchade kollegor som inte tränade.

Allt hänger på matchningen. Jämförelsegruppen ska likna de tränade på det som betyder något: ungefär samma utgångsnivå på kriteriet som tränas, samma kö eller samtalstyp, ungefär samma anställningstid. Väljer ni jämförelsegruppen bland dem som redan låg högt, har ni byggt in svaret i urvalet.

Effekten är skillnaden mellan grupperna:

Upplägget tar hand om exakt de invändningar som kom i styrgruppen. Kötiden blev fyrtio sekunder kortare, kampanjen tog slut och april kom för båda grupperna lika. Det som skiljer dem åt är övningen, och regressionen mot medelvärdet drabbar båda ungefär lika, eftersom båda valdes på samma utgångsnivå.

NKI har på vägen blivit en av de miljöfaktorer som upplägget neutraliserar. Rörde sig indexet fem enheter i april, rörde det sig för båda grupperna. Kvar blir frågan om den tränade gruppen drog ifrån, och den frågan går att svara på.

Utgående samtal är enklare i det här avseendet. Där finns ett bokat möte eller inget, och när en AI-agent tar mötesbokningen i B2B är utfallet känt samma dag. Kundtjänstkvalitet har ingen sådan naturlig utfallsvariabel, och därför måste upplägget runt mätningen bära mer.

Vad som krävs för att det ska gå att göra alls

Med manuell kvalitetssäkring går mätningen knappt att göra. Med fem granskade samtal per medarbetare och månad finns det för få observationer för att skilja en verklig förändring från brus, och urvalet gjordes dessutom av en människa som kanske visste vem som var på väg in i en coachningsinsats. Mätningen kräver att alla samtal poängsätts mot samma mall, före och efter, i båda grupperna. Det är ett av de tyngre skälen till att poängsätta alla samtal och inte ett urval.

Det kräver också att ni mäter samma kriterium som ni tränade. Byggdes övningen ur ett samtal där medarbetaren garderade sig kring en produktdetalj, vilket är hela idén med att bygga rollspelet från era egna samtal, är det faktisk korrekthet som ska mätas efteråt och inte totalpoängen. Totalpoängen späder ut effekten med alla kriterier som ingen har tränat på.

Och det kräver att ni bestämmer er i förväg: vilket kriterium, vilken jämförelsegrupp, hur många samtal, vilket datum. En analys som utformas efter att ni har sett utfallet hittar alltid något.

Den ärliga siffran blir mindre

Metoden ger nästan alltid ett lägre tal än den enkla före-och-efter-jämförelsen. En insats som såg ut att ge 9 % ger kanske 3 eller 4 % när jämförelsegruppens egen förbättring har räknats bort.

Tre procent som håller är ändå värt mer än nio som faller vid första frågan, av ett rent praktiskt skäl. Den enkla siffran överlever fram till första gången någon utanför avdelningen tittar på den, och den personen är oftast en ekonomichef som har sett den här sortens material förut. Hen frågar vad mer som hände under perioden. Har ni ett svar blir talet en post i budgeten. Har ni det inte blir hela insatsen ”sånt vi inte riktigt kan mäta”, och i den kategorin brukar utbildningsbudgetar försvinna.

”Varför skulle en leverantör argumentera för sin sämsta siffra?”

Rimlig fråga. Vi säljer coachningsprogramvara, och den här metoden ger oss lägre siffror att visa. I första mötet får vi mer motstånd med den, eftersom siffran är lägre.

Men vi tjänar pengar på förlängda avtal, och förlängningar avgörs av om någon på kundsidan kan försvara utgiften i ett budgetmöte där vi inte är med i rummet. Ett smickrande tal som faller sönder vid första kritiska frågan är en risk för oss, och det förtroende det bränner får vi inte tillbaka.

Så räknar vi också vår egen siffra: våra kunder ser i genomsnitt en avkastning på 3,7 gånger insatsen, mätt som vinsten jämfört med kollegor som inte tränades. I Conversational Intelligence visar varje kurs ett lyft justerat för kollegor, alltså förändringen utöver vad kollegor utan kursen gjorde under samma veckor.

Vi kan inte lova att metoden alltid ger er ett tal ni gillar. Ibland visar den att en insats inte gjorde något mätbart. Då är det övningen som ska bytas, och mätmetoden får ligga kvar.

Frågor att ställa oss, och alla andra

Om ni utvärderar plattformar som lovar mätbar effekt av coachning finns det fyra frågor som skiljer verktyg åt snabbare än en demo gör:

1. Mot vad jämförs de tränade: förra kvartalet, eller matchade kollegor som inte tränade under samma period?
2. Hur väljs jämförelsegruppen, och kan vi se den innan insatsen startar?
3. Mäts kriteriet som tränades, eller totalpoängen?
4. Vad händer i rapporten när en insats inte gav någon effekt?

Är svaret på den sista ”det brukar inte hända”, är det en rapportgenerator ni tittar på.

NKI ska ligga kvar där det hör hemma, som ett brett och trögt hälsotal som visar om kunderna sammantaget har det bättre med er i år än i fjol, och om det finns ett problem någonstans som ingen har rapporterat in. Det kan bara inte peka ut vilken av förändringarna i mars som var er.

Ta med en veckas samtal, så visar vi hur en jämförelsegrupp skulle sättas ihop hos er och hur ett ärligt tal skulle kunna se ut. Läs mer om AI Coaching.