Lysbildet er alltid det samme. Snittscore i mars: 3,4. Snittscore i juni: 3,8. Pil oppover, treningen virket, og kan vi få fornye avtalen.
Det er ikke løgn. Tallene stemmer. Problemet er at de ikke svarer på spørsmålet noen faktisk stilte, som var om pengene dere brukte på coaching, utgjorde en forskjell. Og den første som leser lysbildet med et snev av skepsis – ofte økonomisjefen, av og til den nye kvalitetslederen – kommer til å finne hullet på under et minutt.
Her er hullet: et snitt flytter seg av et dusin grunner som ikke har noe med trening å gjøre. Samtalemiksen endret seg – juni har flere enkle spørsmål og færre reklamasjoner. Sesongen endret seg. Dere lanserte en produktendring som fjernet den vanskeligste forklaringen fra manuset. To av de svakeste sluttet. Turnusen ble lagt om, og de mest erfarne var på vakt i den travleste uken.
Et snitt som stiger, er ikke et bevis – det er en observasjon som venter på en forklaring. Det eneste tallet som overlever en gjennomgang, er den trente gruppen målt mot sammenlignbare kolleger som ikke ble trent, på sammenlignbar samtalemiks, etter samme rubrikk, før og etter. Alt annet er en historie som er forenlig med at treningen virket, og like forenlig med at den ikke gjorde det.
Før-og-etter er ikke bare svakt – det er strukturelt oppblåst
Dette er den delen som er verdt å bruke fem minutter på, for den er ikke intuitiv, og den gjør at det vanlige oppsettet ikke bare er upresist, men systematisk for høyt.
Se på hvordan dere velger hvem som skal coaches. Dere plukker dem som scorer lavest. Det er den riktige prioriteringen operativt – det er der forbedringspotensialet er. Men det er også en utvelgelse basert på et måletidspunkt, og en score på en enkelt måned inneholder både ferdighet og tilfeldigheter: hvilke kunder du fikk, om du var forkjølet, om tre av de tjue samtalene tilfeldigvis var de vanskeligste i køen.
De som havner nederst i mars, er derfor en blanding av folk som faktisk er svake og folk som hadde en dårlig måned. Måler du de samme personene i juni, kommer de som bare hadde uflaks, til å ligge nærmere sitt eget normalnivå. Gruppesnittet stiger. Det ville ha steget uten en eneste treningsøkt.
Fenomenet heter regresjon mot gjennomsnittet, og det har lurt folk lenge før noen scoret samtaler med språkmodeller. Konsekvensen for dere er konkret: hvis dere velger de laveste og måler dem mot seg selv, får dere en oppgang uansett. Tallet er ikke oppdiktet, men det måler ikke det dere tror.
Den samme mekanismen virker den andre veien og forklarer et mønster mange kjenner igjen: den som scoret høyest i mars, faller ofte i juni, og lederen leter etter en forklaring i motivasjon eller utbrenthet. Som regel er det bare statistikk.
Referansegruppen er hele forskjellen
Løsningen er ikke komplisert, den er bare litt kjedelig: dere trenger en gruppe som ikke ble trent, og som ligner nok på dem som ble det.
Ligner hvordan? Samme utgangsnivå på det kriteriet dere trener – ikke samme totalscore, men samme startpunkt der treningen skal virke. Samme type kø og samme samtalemiks, siden en lojalitetssamtale og en enkel fakturahenvendelse ikke scores likt på noe rimelig kriterium. Omtrent samme fartstid. Og samme periode, slik at en produktendring eller en sesong treffer begge gruppene likt.
Så måler dere det samme på begge, før og etter, etter samme rubrikk. Effekten er differansen mellom gruppene – ikke oppgangen i den trente gruppen. Steg den trente gruppen 0,6 og referansegruppen 0,35, er effekten 0,25. Ikke 0,6.
Regresjonen mot gjennomsnittet forsvinner ikke av dette. Den treffer bare begge gruppene, og trekkes derfor fra når dere sammenligner dem. Det er hele poenget med å ha den.
To praktiske detaljer avgjør om dette blir gjennomførbart. Rubrikken må ikke endres midt i perioden. Justerer dere ett kriterium i mai, sammenligner dere to ulike målestokker og vet ikke lenger hva differansen betyr. Og målingen må skje på alle samtaler, ikke på et utvalg – med tre hundre manuelt gjennomgåtte samtaler i måneden blir kohortene så små at ingen differanse er til å stole på. Det er den praktiske grunnen til at fulltelling betyr noe: ikke at dekning i seg selv er verdifullt, men at det er det som gjør scoringen presis nok til å bære en sammenligning.
Tallet blir mindre. Det er meningen
Vær forberedt på hvordan dette føles internt. Den flatterende versjonen ga «snittet opp 12 prosent». Den holdbare versjonen gir kanskje «0,25 poeng på ett kriterium, mot referansegruppe, over åtte uker». Det ser mindre imponerende ut på et lysbilde.
Det er også det eneste av de to tallene som fortsatt står seg i november, når noen spør hva dere fikk igjen for coaching-budsjettet, og du ikke lenger husker at mai hadde en produktlansering.
Det er dessuten det eneste tallet dere kan bruke til noe. Et snitt som steg, forteller dere ikke hva dere skal gjøre videre. En differanse mellom to grupper på ett kriterium forteller dere at akkurat den øvelsen virket på akkurat den ferdigheten – og da vet dere hva neste kohort skal kjøre. Målingen slutter å være en rapport og blir en beslutning.
Det motsatte utfallet er like nyttig og langt sjeldnere rapportert: hvis differansen er null, virket ikke øvelsen. Da har dere spart dere et halvår med bred utrulling, og dere kan prøve en annen. Et måleoppsett som ikke kan gi et negativt svar, måler ingenting.
Hvorfor skulle en leverandør argumentere for det minste tallet?
Det er innvendingen som fortjener et ærlig svar, ikke en ydmyk omskrivning. Vi selger coaching-programvare. Den strenge metoden gir oss konsekvent lavere tall å vise fram enn den løse gjør. Hvorfor foreslår vi den?
Det ærlige svaret har lite med prinsipper å gjøre og mye med hvordan avtaler fornyes. Et oppblåst tall overlever den første fornyelsen og dør i den andre. Når en ny økonomisjef eller en ny kvalitetsleder plukker fra hverandre «snittet opp 12 prosent» – og det tar dem ett spørsmål om samtalemiks – er det ikke bare tallet som mister troverdighet. Det er hele programmet, inkludert delene som faktisk virket.
Vi vil heller levere 0,25 poeng som holder i tre år enn 12 prosent som holder til noen ser nærmere etter. Og det finnes en egeninteresse til: hvis en øvelse ikke virker, vil vi vite det mens vi kan endre den. En målemetode som alltid gir grønt, forteller oss ingenting om hva vi skal bygge neste kvartal.
Det betyr ikke at metoden er perfekt. Dette er ikke et randomisert forsøk – dere velger hvem som trenger coaching, og det er ikke tilfeldig. En matchet referansegruppe reduserer skjevheten kraftig, men fjerner den ikke. Si det høyt i presentasjonen. Et forbehold som du selv har nevnt, er et forbehold som ikke kan brukes mot deg.
Fire spørsmål til leverandøren
- Måles effekten mot en referansegruppe, eller mot gruppen selv før og etter?
- Hvordan matches referansegruppen – på utgangsnivå, samtalemiks og kø?
- Hva skjer med målingen hvis vi endrer rubrikken midt i perioden?
- Kan systemet vise et resultat der en øvelse ikke hadde effekt?
Er svaret på det siste nei, har dere ikke et måleverktøy. Dere har en rapportgenerator.
Resten henger sammen med hvordan dere ruller ut i utgangspunktet. En scoring som kundebehandlerne selv opplever som legitim, gir tall ingen bruker energi på å omgå – og et tall folk spiller mot, måler spillet, ikke ferdigheten. Og en rubrikk som kjøres på hver eneste samtale i stedet for på et utvalg er det som gjør begge gruppene store nok til at differansen mellom dem er verdt å regne på.
Ta med tre måneder med scorede samtaler, så setter vi opp én kohort og én referansegruppe på ett kriterium – og viser deg differansen, også hvis den er null. Les mer om AI Coaching.