Det er tid for månedens oppfølgingsmøter, og QA-arket har fem vurderte samtaler for hver kundebehandler. Ett av punktene er avslutningskontrollen: fikk kunden vite hva som skjer videre? Kundebehandler A besto i alle fem samtalene. Kundebehandler B bommet én gang. B går ut av møtet med en coachingplan, A med et klapp på skulderen.
Gjennom hele måneden glemte A avslutningskontrollen i 3 av 10 samtaler, og B i 1 av 20. Ingen i rommet kunne vite det. Hver vurdering bygde på fem samtaler, og med fem samtaler får en kundebehandler som A et feilfritt utvalg omtrent én måned av seks.
Ingen standard sier hvor mange samtaler QA bør vurdere per kundebehandler, og det vanligste utvalget er tre til fem i måneden. Det holder til å finne noe å coache på, men er altfor lite til å rangere eller sammenligne kundebehandlere. Med fem samtaler kan snittet til en kundebehandler havne 0,7 poeng over eller under det reelle nivået. Skal dere skille to kundebehandlere som ligger et halvt poeng fra hverandre, trenger dere rundt 40 vurderte samtaler hver, og en feil som skjer i 1 av 100 samtaler, fanger dere bare ved å vurdere alle. Riktig antall avhenger av hva utvalget skal svare på.
Ingen har regnet seg fram til tre til fem samtaler
Den britiske bransjesiden Call Centre Helper skriver at det ikke finnes noen bransjeretningslinjer for hvor mange samtaler som bør vurderes, og at det vanligste er 3 til 5 samtaler per kundebehandler i måneden. Antallet forklarer de med hvor mange QA-medarbeidere kundesenteret har budsjett til. Hva fem samtaler kan bevise, er ikke en del av regnestykket.
Med fem samtaler er hver samtale en femtedel av måneden. Si at en kundebehandler får 3,6 på fire samtaler og 1,6 på én med en kunde som ville krangle. Månedssnittet blir 3,2, og kundebehandleren faller fra «På rett vei» til «Coachingmulighet» på grunn av én samtale.
Fem samtaler skiller ikke en kundebehandler på 3,2 fra en på 3,8
Scorene til en kundebehandler varierer fra samtale til samtale, fordi kundene gjør det. Ta som eksempel et vurderingsskjema fra 1 til 5 og en kundebehandler der samtalescorene har et standardavvik på 0,8. Deres eget tall får dere med formelen STDAV i Excel på forrige måneds scorer for én kundebehandler.
Ta snittet av fem tilfeldig valgte samtaler fra denne kundebehandleren, så havner resultatet innenfor 0,7 poeng fra det reelle nivået 95 ganger av 100. En kundebehandler som egentlig ligger på 3,2, kan vise alt fra 2,5 til 3,9, og en på 3,8 alt fra 3,1 til 4,5. Omtrent én måned av åtte scorer kundebehandleren på 3,2 høyere enn den på 3,8.
Teamtallene er en annen sak. Tretti kundebehandlere med fem samtaler hver gir teamsnittet 150 samtaler, og det havner innenfor omtrent ±0,13 fra det reelle nivået. Problemet er tallet per kundebehandler, det som avgjør hvem som blir coachet.
Flere samtaler snevrer inn spennet, men sakte, fordi presisjonen øker med kvadratroten av antall samtaler:
| Samtaler per kundebehandler i måneden | Snittet til én kundebehandler havner innenfor | Forskjell mellom to kundebehandlere dere oppdager 4 av 5 ganger |
|---|---|---|
| 5 | ±0,7 | 1,4 |
| 10 | ±0,5 | 1,0 |
| 20 | ±0,35 | 0,7 |
| 40 | ±0,25 | 0,5 |
| 100 | ±0,16 | 0,3 |
Tabellen forutsetter et standardavvik på 0,8, tilfeldig valgte samtaler og 95 % konfidensnivå. Deres eget antall regner dere ut slik: samtaler ≈ (2 × standardavvik ÷ presisjonen dere trenger)². Med 0,8 og ±0,5 blir det 10 samtaler. Med ±0,25 blir det 41.
Og dette er i beste fall. Ekte utvalg er sjelden tilfeldige: vurdererne velger lange samtaler, klager og samtaler der opptaket lar seg spille av. Når ulike teamledere vurderer de fem samtalene til en kundebehandler, gjør uenigheten mellom dem spredningen enda større. Fire teamledere kan gi samme samtale 2, 3, 3 og 5.
Fem beståtte av fem betyr mindre enn det ser ut til
Bestått/ikke bestått-kontroller, som å bekrefte kundens identitet eller lese opp en pålagt opplysning, er enda mer utsatt, fordi én feil avgjør hele resultatet.
Tilbake til de to kundebehandlerne. A består avslutningskontrollen i 7 av 10 samtaler. Sjansen for at alle fem tilfeldige samtaler består, er 0,7⁵, altså 17 %: et feilfritt utvalg omtrent én måned av seks, eller to feilfrie måneder i et vanlig år. B består i 19 av 20 samtaler. Sjansen for at fem samtaler inneholder minst én feil, er 1 − 0,95⁵, altså 23 %: B blir flagget i nesten tre måneder i året.
Etter et år med utvalg på fem samtaler kan kundebehandleren som bommer seks ganger så ofte, se like pålitelig ut på papiret, og i noen måneder mer pålitelig.
Et utvalg finner ikke feilen som skjer i 1 av 100 samtaler
Noen feil er sjeldne og dyre: et oversett tegn på at kunden er sårbar, et gebyr som oppgis feil, en klage som aldri blir registrert. Si at en slik feil skjer i 1 av 100 samtaler for en gitt kundebehandler. Et tilfeldig utvalg på fem samtaler fanger den omtrent én måned av 20. Ti samtaler fanger den i 10 % av tilfellene, 20 samtaler i 18 % og 50 samtaler i 39 %.
Et manuelt utvalg dere har råd til, vil ikke finne den. Et utvalg beskriver den typiske samtalen til en kundebehandler godt og den verste dårlig, og det er den verste samtalen compliance-avdelingen, eller styret, kommer til å spørre om. Derfor har vi skrevet om hva dere får ut av å score alle samtalene.
Til coaching holder fem samtaler godt
Fem samtaler gjør én jobb godt. En coachingøkt trenger to eller tre samtaler som kundebehandleren og teamlederen kan høre på sammen: én der ferdigheten glapp, og én der den satt. Er de håndplukket, gir fem samtaler mer enn nok å jobbe med.
Problemet oppstår når de samme fem samtalene også gir scoren som går inn i medarbeidersamtalen, rangeringen i teamet og bonusen. Å håndplukke samtaler å lære av og å trekke tilfeldige samtaler for å måle er to ulike oppgaver, og et utvalg laget for den ene løser den andre dårlig.
Velg antallet etter spørsmålet
| Hva dere vil vite | Samtaler per kundebehandler i måneden | Hvorfor |
|---|---|---|
| Hva bør vi coache på denne måneden? | 3 til 5, håndplukket | Dere trenger eksempler å høre på, og et snitt tilfører ingenting |
| Hvor ligger denne kundebehandleren, pluss/minus et halvt poeng? | Rundt 10, tilfeldig valgt | ±0,5 ved et standardavvik på 0,8 |
| Er kundebehandler A virkelig bedre enn B? | Rundt 40 hver, tilfeldig valgt | Oppdager en forskjell på et halvt poeng 4 av 5 ganger |
| Løftet coachingen scoren til denne kundebehandleren et halvt poeng? | Rundt 40 før og 40 etter, pluss en referansegruppe | Scoren til svake kundebehandlere stiger selv om coachingen ikke har noen effekt |
| Skjer dette noen gang? | Alle samtaler | En feil i 1 av 100 samtaler slipper gjennom ethvert utvalg dere har råd til |
Den fjerde raden trenger referansegruppen fordi en kundebehandler som blir plukket ut til coaching etter en dårlig måned, som regel får en bedre måned uansett. Vi forklarer hvorfor scoren til svake kundebehandlere stiger uten hjelp, og hvordan dere måler hva coachingen faktisk bidro med.
Førti vurderte samtaler per kundebehandler i måneden er omtrent ti ganger det vanlige utvalget. Få QA-budsjetter strekker seg så langt, så de fleste team lar fem samtaler svare på alle fem spørsmålene.
Hva som endres når alle samtaler scores
Conversational Intelligence scorer hver samtale etter deres eget vurderingsskjema, så måneden til en kundebehandler bygger på alle samtalene i stedet for fem, og hver score lenker til setningen, tidsstempelet og hvem som snakket. Coachene velger fortsatt to eller tre samtaler å høre på, nå fra hele måneden i stedet for en håndfull.
Den fjerde raden blir også enklere. Effekten av coaching måles på ferdigheten som ble trent, i alle samtalene kundebehandleren hadde før og etter kurset, og sammenlignes med kundebehandlere som ikke ble coachet.
Hvor mange samtaler ligger bak den laveste scoren på det siste QA-arket deres?
Vil dere se hvor langt utvalget deres ligger fra hele bildet? Vi scorer en uke med deres egne samtaler etter deres eget vurderingsskjema, så dere kan sette hver kundebehandlers score på alle samtalene ved siden av scoren fra QA-utvalget. Les mer om Conversational Intelligence.
