Snittet steg fra 3,4 til 3,8 etter coachingen. Det beviser nesten ingenting

Lysbildet er alltid det samme. Snittscore i mars: 3,4. Snittscore i juni: 3,8. Pil oppover, treningen virket, og kan vi få fornye avtalen?

Tallene stemmer. Problemet er at de ikke svarer på spørsmålet noen faktisk stilte, nemlig om pengene dere brukte på coaching, hadde noen effekt. Den første som leser lysbildet med et snev av skepsis, ofte økonomisjefen og av og til den nye kvalitetslederen, finner hullet på under et minutt.

Hullet er at et snitt flytter seg av et dusin grunner som ikke har noe med trening å gjøre. Samtalemiksen endret seg: juni har flere enkle spørsmål og færre reklamasjoner. Sesongen endret seg. Dere lanserte en produktendring som fjernet den vanskeligste forklaringen fra manuset. To av de svakeste sluttet. Turnusen ble lagt om, og de mest erfarne var på vakt i den travleste uken.

Et snitt som stiger, er en observasjon som venter på en forklaring. Og velger dere de svakeste til coaching, stiger snittet deres uansett. Det eneste tallet som overlever en gjennomgang, er den trente gruppen målt mot sammenlignbare kolleger som ikke ble trent, på sammenlignbar samtalemiks, med samme vurderingsskjema, før og etter. Alt annet er en historie som passer like godt med at treningen virket som med at den ikke gjorde det.

Før og etter gir et systematisk for høyt tall

Se på hvordan dere velger hvem som skal coaches. Dere plukker ut dem som scorer lavest. Operativt er det riktig prioritering, for det er der forbedringspotensialet ligger. Men det er også en utvelgelse basert på ett måletidspunkt, og en score for én måned inneholder både ferdighet og tilfeldigheter: hvilke kunder kundebehandleren fikk, om hen var forkjølet, om tre av de tjue samtalene tilfeldigvis var de vanskeligste i køen.

De som havner nederst i mars, er derfor en blanding av folk som faktisk er svake og folk som hadde en dårlig måned. Måler dere de samme personene i juni, vil de som bare hadde uflaks, ligge nærmere sitt eget normalnivå. Gruppesnittet stiger. Det ville ha steget uten en eneste treningsøkt.

Fenomenet heter regresjon mot gjennomsnittet, og det har lurt folk lenge før noen scoret samtaler med språkmodeller. For dere betyr det at hvis dere velger dem med lavest score og måler dem mot seg selv, får dere en oppgang uansett.

Den samme mekanismen virker den andre veien og forklarer et mønster mange kjenner igjen: den som scoret høyest i mars, faller ofte i juni, og lederen leter etter en forklaring i motivasjon eller utbrenthet. Ofte skyldes mye av fallet den samme statistikken.

Alt står og faller på referansegruppen

Løsningen er litt kjedelig. Dere trenger en gruppe som ikke ble trent, og som ligner nok på dem som ble det.

Gruppen bør ha samme utgangsnivå på kriteriet dere trener, for det er der treningen skal virke, og totalscoren kan skjule det. Den bør ha samme type kø og samme samtalemiks, siden en lojalitetssamtale og en enkel fakturahenvendelse ikke scores likt på noe rimelig kriterium. Omtrent samme fartstid. Og samme periode, slik at en produktendring eller en sesong treffer begge gruppene likt.

Så måler dere det samme på begge, før og etter, med samme vurderingsskjema. Effekten er differansen mellom gruppene:

Regresjonen mot gjennomsnittet forsvinner ikke av dette. Når begge gruppene starter på samme nivå, treffer den begge, og den trekkes fra når dere sammenligner dem.

To praktiske detaljer avgjør om dette lar seg gjennomføre:

• Vurderingsskjemaet må ikke endres midt i perioden. Justerer dere ett kriterium i mai, sammenligner dere to ulike målestokker og vet ikke lenger hva differansen betyr.
• Målingen må omfatte alle samtaler. Med tre hundre manuelt gjennomgåtte samtaler i måneden blir gruppene så små at ingen differanse er til å stole på. Det er den praktiske grunnen til automatisk kvalitetssikring av hver samtale: når hver samtale scores, blir gruppene store nok til at differansen er verdt å regne på.

Det holdbare tallet er mindre

Vær forberedt på hvordan dette føles internt. Den flatterende versjonen ga «snittet opp 12 %». Den holdbare versjonen gir kanskje «0,25 poeng på ett kriterium, mot referansegruppe, over åtte uker». Det ser mindre imponerende ut på et lysbilde.

Men det er det eneste av de to tallene som fortsatt står seg om et år, når noen spør hva dere fikk igjen for coachingbudsjettet, og ingen lenger husker at mai hadde en produktlansering.

Det er dessuten det eneste tallet dere kan bruke til noe. Et snitt som steg, forteller dere ikke hva dere skal gjøre videre. En differanse mellom to grupper på ett kriterium forteller dere at akkurat den øvelsen virket på akkurat den ferdigheten, og da vet dere hva neste kull skal trene på.

Det motsatte utfallet er like nyttig og langt sjeldnere rapportert. Er differansen null, virket ikke øvelsen. Da har dere spart et halvår med bred utrulling, og dere kan prøve en annen.

Hvorfor skulle en leverandør argumentere for det minste tallet?

Innvendingen fortjener et ærlig svar. Vi selger coachingprogramvare, og den strenge metoden gir oss konsekvent lavere tall å vise fram enn den løse. Hvorfor foreslår vi den?

Svaret handler mest om hvordan avtaler fornyes. Et oppblåst tall kan overleve den første fornyelsen, men sjelden den andre. Når en ny økonomisjef eller kvalitetsleder plukker fra hverandre «snittet opp 12 %», noe de klarer med ett spørsmål om samtalemiks, mister hele programmet troverdigheten, også delene som faktisk virket.

Vi viser heller 0,25 poeng som holder i tre år, enn 12 % som holder til noen ser nærmere etter. Slik regner vi også vårt eget tall: kundene våre får i snitt 3,7 ganger avkastning, målt som gevinsten sammenlignet med kolleger som ikke ble trent. I opplæringsfanen viser hvert kurs en forbedring justert for kolleger, altså endringen utover det kolleger uten kurset oppnådde de samme ukene.

Og vi har en egeninteresse til: hvis en øvelse ikke virker, vil vi vite det mens vi kan endre den. En målemetode som alltid viser grønt, sier oss ingenting om hva vi skal bygge neste kvartal.

Metoden er heller ikke perfekt. Dette er ikke et randomisert forsøk: dere velger hvem som trenger coaching, og det valget er ikke tilfeldig. En matchet referansegruppe reduserer skjevheten, men fjerner den ikke. Si det selv i presentasjonen, før noen andre gjør det.

Fire spørsmål til leverandøren

1. Måles effekten mot en referansegruppe, eller mot gruppen selv før og etter?
2. Hvordan matches referansegruppen: på utgangsnivå, samtalemiks og kø?
3. Hva skjer med målingen hvis vi endrer vurderingsskjemaet midt i perioden?
4. Kan systemet vise et resultat der en øvelse ikke hadde effekt?

Er svaret på det siste nei, har dere kjøpt en rapportgenerator.

Det siste som avgjør tallet, er om folk prøver å omgå det. En scoring som kundebehandlerne selv opplever som legitim, gir tall som ingen bruker krefter på å lure, og da er det ferdigheten dere måler.

Ta med tre måneder med scorede samtaler, så setter vi opp én kohort og én referansegruppe på ett kriterium og viser dere differansen, også hvis den er null. Les mer om AI Coaching.