En ukentlig kalibrering i kvalitetsteamet i en bank går ofte slik. Tre eller fire vurderere scorer den samme håndfullen samtaler hver for seg. Så bruker de en time på å diskutere hvorfor én ga 4 på «viste empati» og en annen ga 2. De blir noenlunde enige, skriver en merknad i scoringsveiledningen og gjør det hele igjen neste uke.
Det kalles gjerne beste praksis. Det fungerer mer som en skatt: Kvalitetsledere sitter i møter i det uendelige for å lappe på kriterier som ikke sier tydelig hva de betyr. Når vurdererne stadig er uenige om det samme kriteriet, løser et nytt møte sjelden det. Skarpere ordlyd gjør det.
Skriv hvert kriterium som atferd dere kan peke på i transkripsjonen, og score prosess og resultat hver for seg. Kan én vurderer sitere setningen som ga scoren, og ville en annen vært enig etter å ha lest den samme setningen, blir kriteriet scoret likt av to mennesker og av en KI. Det gjør det også mulig å bestride hver score. Det blir viktig når KI står for scoringen, og når noen av dem som scores, selv er KI-agenter.
Testen hvert kriterium må bestå
Still det samme spørsmålet til hver linje på vurderingsskjemaet: Hvis jeg trakk ned en kundebehandler på dette, kunne jeg pekt på nøyaktig det øyeblikket i transkripsjonen som begrunner det? Og ville en annen som leser det samme øyeblikket, vært enig?
Er svaret ja, fungerer kriteriet. Merker dere at dere tyr til «tja, det er mer en helhetsfølelse gjennom samtalen», beskriver kriteriet et inntrykk. Det er i inntrykkene vurdererne spriker, og der faller en score sammen så snart noen bestrider den.
Start med de tre kriteriene vurdererne er minst enige om. Vet dere ikke hvilke det er, bør dere måle hvor ofte vurdererne er enige før dere skriver om noe.
Et eksempel: fra «viste empati» til noe dere kan peke på
Ta et kriterium nesten alle vurderingsskjemaer har i en eller annen form: Kundebehandleren viste passende empati.
En menneskelig vurderer vet omtrent hva det betyr, og det er i «omtrent» krangelen om 2 eller 4 oppstår. En nyansatt vet ikke hva det betyr i det hele tatt, og det vet heller ikke en KI som scorer. Dere får sprik hos folkene og støy i automatiseringen, og dere kan ikke se hvilke samtaler som gikk galt.
Skriv det så om til atferd:
Bekreftet problemet kunden beskrev, med kundens egne ord, før hen gikk over til en løsning.
Det kan dere finne i en transkripsjon. Kunden sier at hen er bekymret for et uventet gebyr. Kundebehandleren gjentar enten den bekymringen før hen begynner på prosessen, eller ikke. To vurderere blir enige fordi det er lite igjen å tolke, og en maskin scorer det likt av samme grunn. Når en kundebehandler bestrider scoren, kan dere peke på setningen.
Illustrasjon: På den ukentlige kalibreringen scorer fire vurderere de samme 10 samtalene. På «viste passende empati» gir alle fire samme score på 3 av dem. På den omskrevne versjonen er de enige om 9. Den tiende er en samtale der kunden aldri sa hva hen var bekymret for, og det er den ene merknaden som er verdt å skrive i scoringsveiledningen.
To typer kriterier, og hvorfor dere trenger begge
Når et kriterium kan spores, avgjør dere om det scorer hva kundebehandleren gjorde, eller hva samtalen oppnådde. Begge hører hjemme på skjemaet, og de har ulike oppgaver.
Prosesskriterier scorer stegene som ble tatt, og atferden som ble vist. Bekreftet kundebehandleren identiteten, ga hen den pålagte opplysningen, anerkjente hen kundens bekymring før hen gikk videre? Mange av disse er entydige: Steget skjedde, eller det skjedde ikke. Score dem som bestått eller ikke bestått, og ikke finn opp en skala. Prosessen er den delen dere coacher, fordi den er konkret nok til å øve på, og det er her scoringen blir til trening i automatisk kvalitetssikring.
Resultatkriterier scorer hva samtalen oppnådde for kunden. Forsto kunden gebyret hen nettopp hadde sagt ja til? Ble saken løst, eller tok samtalen bare slutt? Ble en kunde som viste tegn på å være sårbar, sendt videre til riktig hjelp? En kundebehandler kan krysse av for hvert steg og likevel etterlate en forvirret kunde, og et skjema som bare sjekker stegene, regner den samtalen som vellykket.
Resultatet alene forteller at samtalen gikk galt, men ikke hvor, så dere kan ikke coache på det. Prosessen alene forteller at alle boksene er krysset av, men ikke om det virket. Score begge mot transkripsjonen, så ser dere både at resultatet ble feil, og hvilket steg det glapp i.
De tre grepene de fleste vurderingsskjemaer trenger
Når vi ser på et vurderingsskjema fra finansbransjen for første gang, dukker de samme problemene opp igjen og igjen. Å rette dem er det meste av jobben.
Del opp kriterier som samler to ting. En linje som «stilte relevante spørsmål og beroliget kunden» er to former for atferd med én score. En kundebehandler kan gjøre det første godt og hoppe over det andre, og vurdereren må slå sammen to ting som ikke har med hverandre å gjøre, til et tall ingen kan tolke.
Slå sammen kriterier som måler det samme. Mange skjemaer har en klynge som «lyttet aktivt», «forsto behovet» og «stilte gode spørsmål», der en kundebehandler som scorer godt på ett, scorer godt på alle. Den klyngen skaper mye diskusjon i kalibreringen, fordi vurdererne ikke vet hvilken bås et gitt øyeblikk hører hjemme i. Slå den sammen til ett godt avgrenset kriterium, så stopper de fleste diskusjonene.
Ta ut det som ikke er atferd. Samtaletid, tid på vent og stillhet havner ofte på vurderingsskjemaet. Det er driftstall og verdt å følge med på, men de er ikke noe en kundebehandler gjør godt eller dårlig, slik hen gir en pålagt opplysning eller løser en sak. Blander dere dem inn, straffer dere en kundebehandler for en samtale som tok tid fordi hen gjorde det riktige.
En første gjennomgang av et typisk skjema ser slik ut:
| Kriteriet slik det står | Hva er galt | Omskrevet |
|---|---|---|
| Viste passende empati | Et inntrykk, vurdererne spriker mellom 2 og 4 | Bekreftet problemet kunden beskrev, med kundens egne ord, før hen gikk over til en løsning |
| Stilte relevante spørsmål og beroliget kunden | To former for atferd, én score | To kriterier, ett for hver |
| Lyttet aktivt, forsto behovet, stilte gode spørsmål | Én atferd under tre navn | Ett kriterium: oppsummerte behovet for kunden før hen løste saken |
| Ga den pålagte opplysningen | Scoret fra 1 til 5, finner opp en skala | Bestått eller ikke bestått |
| Samtaletid innenfor målet | Ikke atferd | Fjernes fra skjemaet og følges som driftstall |
Scoren må tåle å bli utfordret
En kvalitetsscore er en påstand om hvordan noen gjorde jobben sin, og før eller siden spør noen: Hvem sier det? En kundebehandler mener samtalen viste noe annet. En teamleder spør hvorfor en i teamet ble trukket ned. KI-scoring legger til en ny måte å feile på: Modellen kan ta feil med stor selvsikkerhet og flagge en manglende opplysning som kundebehandleren ga 30 sekunder tidligere i samtalen.
Forsvaret er det samme hver gang, og for en regulert virksomhet er det det viktigste valget i hele skjemaet. Hver score kan spores tilbake til øyeblikket som ga den. Åpner dere scoren, ser dere setningen i transkripsjonen. Kundebehandleren, teamlederen og, om det skulle bli aktuelt, tilsynsmyndigheten ser på det samme grunnlaget som dere scoret ut fra. Da kan en feil score, fra menneske eller maskin, fanges opp og rettes. En score dere ikke kan spore til et øyeblikk, kan verken forsvares eller bestrides, og ingen bør stole på den.
I Conversational Intelligence lenker hver score til setningen, tidsstempelet og hvem som snakket. En kundebehandler kan bestride scoren, et menneske avgjør, og rettelsen logges ved siden av den opprinnelige scoren (slik fungerer innsigelser). Vurderingsskjemaet viser hvor godt KI-en er enig med folkene deres på hvert kriterium, så ordlyden som må skrives om, viser seg før neste kalibrering.
Det samme skjemaet vurderer KI-agentene, og finner andre hull
KI-agentene som tar de enklere henvendelsene, er en del av arbeidsstyrken deres. Et vurderingsskjema bygget på denne måten fungerer på dem uten endringer, fordi atferd som kan observeres, kan observeres uansett hvem som sto for den. Er «bekreftet problemet kunden beskrev, før hen gikk over til en løsning» standarden for folkene deres, er det standarden for boten også. Da får dere samme kvalitetskrav for mennesker og KI, i stedet for et eget kvalitetssystem for programvaren og et håp om at de to standardene stemmer overens.
Regn med at hullene havner på forskjellige steder. KI-agenter klarer som regel prosesskriteriene glimrende: De glemmer ikke en pålagt opplysning og hopper ikke over identitetssjekken. Det er på resultatet de glipper: De gir et feil svar med stor selvsikkerhet, eller de overser nølingen som burde avslørt en sårbar kunde. Mennesker feiler oftere motsatt vei. De får resultatet riktig, men hopper over et steg under press. Ett skjema for begge viser hvor hver av dem trenger oppfølging.
Spørsmålet til en leverandør som scorer sine egne agenter
Bygger en leverandør KI-agenter og scorer dem også, slik Future Ready gjør, er «agentene våre scorer godt» det samme som å rette sin egen prøve. Behandle det deretter. Scorene betyr bare noe hvis standarden er deres: scoret på deres vurderingsskjema, hver score knyttet til øyeblikket i transkripsjonen, hver score åpen for innsigelser, og enhver forbedring målt mot kolleger som ikke fikk treningen. Eier ikke kunden standarden, er scoren markedsføring. Den testen bør dere sette oss på, og alle andre som vil selge dere agenter.
Vil dere ha et ekstra blikk på vurderingsskjemaet dere bruker i dag? Vi tar kriteriene deres og viser hvor de ville fått en maskin til å snuble, og hvor de ville fått en annen vurderer til å snuble. Som regel er det på samme sted.







