Det ser övertygande ut i en styrgrupp. Utbildningsinsatsen kördes i mars, NKI gick från 71 till 76 i april, och där står slutsatsen på sidan fyra: coachningen gav fem punkter.
Sedan frågar någon vad mer som hände i mars. Kön kortades med fyrtio sekunder efter att bemanningen justerades. En kampanj tog slut, och med den den mest irriterade samtalstypen. Och april är alltid bättre än mars.
Ingen av de invändningarna motbevisar att coachningen hjälpte. Det är precis problemet: mätningen kan inte skilja på de fyra förklaringarna, och därför bevisar den ingen av dem.
En före-och-efter-jämförelse på ett nöjdhetsindex är inte ett resultat, det är ett sammanträffande ni hoppas är ett resultat. NKI är ett index som rör sig med säsong, produktlanseringar, kötider, kampanjmix och vem som råkade svara den veckan. Coachningen är en av tio saker som drar i den siffran, och den enda som ni betalar för separat. Det gör den till ett dåligt ställe att lägga hela bevisbördan på.
NKI är ett index, inte ett resultat
Svenska kontaktcenter styr på NKI av goda skäl. Det är begripligt, det finns redan, och det är det tal ledningen känner igen. Problemet uppstår när samma tal ska bära bevisbördan för en enskild insats.
Svarsfrekvensen är låg och skev. Det är oftast de mycket nöjda och de mycket missnöjda som svarar. En förändring i vilka som orkar fylla i formuläret flyttar indexet utan att ett enda samtal har blivit bättre.
Frågan handlar sällan bara om samtalet. Kunden betygsätter också väntetiden, priset, fakturan som var fel från början och appen som inte fungerade i förrgår. Medarbetaren äger en liten del av det som mäts.
Det rör sig långsamt och i klump. Ett index på hundratals svar är trögt. När det väl rör sig går det inte att spåra tillbaka till vad som orsakade rörelsen, eftersom allt annat också har hunnit ändra sig.
Det betyder inte att NKI ska bort. Det är ett rimligt hälsotal för verksamheten. Det är bara olämpligt som kvitto på om en coachningsinsats fungerade.
Regressionen mot medelvärdet gör jobbet åt er
Det andra problemet är strukturellt, inte säsongsbetonat, och det är det som brukar överraska.
Coachning riktas nästan alltid mot dem som ligger lägst. Det är rimligt operativt och förödande statistiskt. En del av anledningen till att någon hamnade lägst en viss månad är att den månaden gick dåligt: svåra samtal, en dålig vecka, en slumpmässigt hård samtalsmix. Nästa månad ligger de närmare sitt eget normalläge – uppåt – helt utan att någon har lärt dem något.
Effekten är inte liten. Väljer ni ut de tio lägsta av sextio och mäter dem igen kommer gruppen som helhet att se förbättrad ut. Det gäller även om utbildningen ställdes in.
Det är därför ”de coachade förbättrade sig med nio procent” är ett svagt påstående. Frågan är inte om de förbättrade sig. Frågan är om de förbättrade sig mer än de skulle ha gjort ändå.
Det enda påståendet som håller
Kvar finns en jämförelse som är obekväm att göra och svår att argumentera bort: den tränade gruppen mot matchade otränade kollegor, poängsatta mot samma mall, på jämförbar samtalsmix, före och efter.
Matchningen är det som gör arbetet. Jämförelsegruppen ska likna de tränade på det som betyder något: ungefär samma utgångsnivå på kriteriet som tränas, samma kö eller samtalstyp, ungefär samma anställningstid. Väljer ni jämförelsegruppen bland dem som redan låg högt har ni byggt in svaret i urvalet.
Poängen med konstruktionen är att den tar hand om exakt de invändningar som kom i styrgruppen. De fyrtio sekunderna försvann ur kön för båda grupperna. Kampanjen tog slut för båda. April var april för båda. Det som skiljer grupperna åt är övningen, och regressionen mot medelvärdet drabbar dem ungefär lika, eftersom båda valdes på samma sätt.
Notera vad som hänt med NKI på vägen: indexet är inte längre beviset, utan en av de miljöfaktorer konstruktionen neutraliserar. Rörde sig NKI fem punkter i april rörde det sig för båda grupperna, och frågan är inte längre vad som drev indexet utan om den tränade gruppen drog ifrån inuti det. Det är en betydligt mindre fråga, och till skillnad från den stora går den att svara på.
Utgående samtal är enklare i det här avseendet, vilket är värt att säga rakt ut. Där finns ett bokat möte eller inget bokat möte, och när en AI-agent tar mötesbokningen i B2B är utfallet räknat samma dag. Kundtjänstkvalitet har ingen sådan naturlig utfallsvariabel, och det är just därför konstruktionen runt mätningen måste bära mer.
Vad som krävs för att det ska gå att göra alls
Den här mätningen är omöjlig med manuell kvalitetssäkring, och det är värt att vara tydlig med varför.
Med fem granskade samtal per medarbetare och månad finns det inte tillräckligt många observationer för att skilja en verklig förändring från brus, och urvalet gjordes dessutom av en människa som kanske visste vem som var på väg in i en coachningsinsats. Mätningen kräver att alla samtal poängsätts mot samma mall, före och efter, i båda grupperna – vilket är ett av de tyngre skälen till att poängsätta alla samtal och inte ett urval. Det är också hela grunden till att vi bygger mätningen ovanpå Conversation Intelligence i stället för att lägga den i ett kalkylblad vid sidan om.
Det kräver också att kriteriet som mäts är detsamma som tränades. Om övningen byggdes ur ett samtal där medarbetaren garderade sig kring en produktdetalj – vilket är hela idén med att bygga rollspelet från era egna samtal – är det faktisk korrekthet som ska mätas efteråt, inte totalpoängen. Totalpoängen späder ut effekten med fem kriterier som ingen rörde.
Och det kräver att ni bestämmer er i förväg. Vilket kriterium, vilken jämförelsegrupp, hur många samtal, vilket datum. En analys som utformas efter att ni har sett utfallet hittar alltid något.
Siffran blir mindre – och det är därför den överlever
Här är det obehagliga: den här metoden ger nästan alltid ett lägre tal än den enkla före-och-efter-jämförelsen. En insats som såg ut att ge nio procent ger kanske tre eller fyra när jämförelsegruppens egen förbättring har räknats bort.
Tre procent som håller är värt mer än nio som inte gör det, av ett skäl som är rent praktiskt. Den enkla siffran överlever fram till första gången någon utanför avdelningen tittar på den, och den personen är oftast en ekonomichef som har sett den här sortens material förut. Frågan kommer: vad mer hände under perioden? Har ni ett svar på den blir talet en post i budgeten. Har ni det inte blir hela insatsen ”sånt vi inte riktigt kan mäta”, och det är den kategori utbildningsbudgetar dör i.
Ett mindre tal som ni själva har försökt kullkasta och som stod kvar går att bygga vidare på. Ett större tal som ingen har prövat gör det inte.
”Varför skulle en leverantör argumentera för sin sämsta siffra?”
Rimlig fråga. Det finns ett kortsiktigt och ett långsiktigt svar, och vi ska vara ärliga med att det första skulle vara osant.
Det korta: vi säljer inte hårdare med kausala tal än med före-och-efter-tal. Vi säljer med lite mer motstånd i första mötet, eftersom siffran är mindre.
Det långa: vi tjänar pengar på förnyelser, och förnyelser avgörs av om någon på kundsidan kan försvara utgiften i ett budgetmöte där vi inte är med i rummet. Ett smickrande tal som faller sönder vid första kritiska frågan är en aktiv risk för oss. Det förtroende vi bränner går inte att tjäna in igen med ett bättre stapeldiagram.
Vi kan inte lova att metoden alltid ger er ett tal ni gillar. Ibland visar den att en insats inte gjorde något mätbart. Det är också ett resultat – det ska leda till en annan övning, inte till en annan mätmetod.
Frågor att ställa oss, och alla andra
Om ni utvärderar plattformar som lovar mätbar effekt av coachning finns det fyra frågor som skiljer verktyg åt snabbare än en demo gör:
- Mot vad jämförs de tränade – förra kvartalet, eller matchade kollegor som inte tränade under samma period?
- Hur väljs jämförelsegruppen, och kan vi se den innan insatsen startar?
- Mäts kriteriet som tränades, eller totalpoängen?
- Vad händer i rapporten när en insats inte gav någon effekt?
Är svaret på den sista ”det brukar inte hända” har ni fått veta något om mätningen, inte om produkten.
Och NKI, då? Det ska ligga kvar där det hör hemma. Ett index som rör sig med allt är ett bra mått på allt: om kunderna sammantaget har det bättre med er i år än i fjol, om det finns ett problem någonstans som ingen har rapporterat in. Ett hälsotal ska vara trögt och brett. Det ni inte ska begära av det är att det pekar ut vilken av tio samtidiga förändringar som var er. NKI säger att temperaturen ändrades. Jämförelsegruppen säger vem som vred på kranen.
Ta med en veckas samtal, så visar vi hur en jämförelsegrupp skulle sättas ihop hos er – och hur ett ärligt tal skulle kunna se ut. Läs mer om AI Coaching.