Tilbake til bloggen

AI-agenter

Kunden som ga opp, telles som en seier for KI-en. Score KI-en som dere scorer folkene

Kundebehandlerne scores på kvalitet og KI-en på avlastning, så den mest risikable køen ser tryggest ut å automatisere. Ett skjema for begge, overføringen med.

To rapporter havner på samme pult samme mandag. Den første er kundesenterets kvalitetsrapport: Kundebehandlerne ligger i snitt på 84 av 100 på vurderingsskjemaet, med de vanlige merknadene om glemte pålagte opplysninger og empati under press. Den andre er resultatoversikten for KI-agenten: 78 % avlastningsgrad, 61 % av det innkommende volumet håndtert og en gjennomsnittlig samtaletid på en tredjedel av kundebehandlernes. Driftsdirektøren skal ta en beslutning ut fra dem. Køen for betalingsproblemer går fortsatt til mennesker, KI-en er billigere og avlaster godt, så det opplagte grepet er å sende mer av den køen til boten.

De to tallene foran henne har ikke samme enhet. Det ene sier hvor godt folkene hennes tok seg av kundene. Det andre sier hvor ofte KI-en holdt kundene unna folkene hennes. Hun er i ferd med å rute noen av de mest ømtålige samtalene sine, kunder som ikke klarer å betale, på grunnlag av en sammenligning som ikke er en sammenligning.

Samme kvalitetskrav betyr at hver samtale scores på det samme vurderingsskjemaet, uansett om et menneske eller en KI håndterte den. De fleste virksomheter måler kundebehandlerne på et vurderingsskjema og KI-en på avlastningsgrad, og to målestokker kan ikke sammenlignes, selv ikke på samme dashbord. Kravet er ett vurderingsskjema brukt på selve samtalen: de samme kriteriene, de samme bevisene bak hver score, den samme retten til å bestride og den samme effektmålingen mot et sammenligningsgrunnlag, for hele arbeidsstyrken.

Et felles dashbord kan fortsatt romme to standarder

Leverandører av plattformer for styring av arbeidsstyrken selger nå én konsoll for den hybride arbeidsstyrken, med mennesker og KI side om side. Det er nyttig å samle dem: Kvalitetsdata, resultatdata og KI-drift har ligget i verktøy som ikke snakker sammen.

Men å legge kvalitetsrapporten for kundebehandlerne og resultatoversikten for KI-en på samme skjerm gjør dem ikke til samme måling. Nå kan dere se to tall som ikke lar seg sammenligne, uten å bytte fane. Standarden ligger under skjermen: hva dere måler, etter hvilke kriterier og med hvilke bevis. Det er der mange hybride virksomheter fortsatt har to separate systemer, lenge etter at dashbordet ble samlet.

De to målestokkene måler forskjellige ting

Se på hva hver halvdel av arbeidsstyrken scores på. Kundebehandlerne scores på et vurderingsskjema. Bekreftet de identiteten, ga de den pålagte opplysningen, anerkjente de kundens problem før de løste det, holdt de seg rolige da samtalen ble vanskelig? KI-agenten scores med et helt annet ordforråd: avlastningsgrad (containment), avledningsgrad, automatiseringsgrad, treffsikkerhet i intensjonsgjenkjenningen og andel reservesvar. Dette er driftstall, og de fleste av dem koker ned til ett spørsmål: Avsluttet KI-en samtalen uten å sende den videre til et menneske?

Det spørsmålet måler unngåelse: hvor ofte kunden ikke nådde et menneske. Avlastningsgraden kan ikke skille «KI-en løste problemet» fra «kunden ga opp å nå et menneske». En avlastet samtale teller som en seier, enten kunden la på fornøyd eller rasende. Kundetilfredsheten fanger heller ikke opp forskjellen: Et samlet tilfredshetstall kan stå stille mens opplevelsen i de avlastede samtalene blir verre, fordi de få avlastede kundene som la på misfornøyde, blir utvannet av de mange KI-en aldri trengte å hjelpe.

Så «78 % avlastningsgrad» forteller direktøren nesten ingenting om hvorvidt samtalene gikk bra. Hun har et kvalitetstall for folkene og et volumtall for KI-en, og hun behandler dem som sammenlignbare fordi de står på samme skjerm.

To målestokker gjør automatiseringen til et kostnadsspørsmål

Dette svir mest der det er dyrest å ta feil: når dere bestemmer hvilke samtaler som skal automatiseres, og hvilke som skal bli hos mennesker. Den beslutningen er selve hybridstrategien, og en feil beslutning setter de vanskeligste samtalene foran den agenten som er dårligst rustet til å ta dem.

Dere kan bare ta den beslutningen godt hvis begge sider måles på det samme: hvor godt kunden ble hjulpet. Med to målestokker faller dere tilbake på det ene tallet som faktisk kan sammenlignes, og det er kostnad. Boten er billigere per henvendelse og avlaster godt, så køen flyttes.

Se hvordan det slår ut i køen for betalingsproblemer. Den lar seg automatisere uten problemer. Avlastningsgraden stiger, kostnaden per henvendelse faller, og dashbordet blir grønt. Det avlastningsgraden ikke kan vise, er kunden i økonomisk krise som stilte et spørsmål, fikk et halvt svar, ikke forsto det og la på: avlastet, logget som løst og sviktet. På et vurderingsskjema er den samtalen en åpenbar bom. Målt på avlastning er den en suksess.

Illustrasjon: KI-en tar 1 000 samtaler om betalingsproblemer i løpet av en måned og avlaster 780 av dem. Score de 780 på vurderingsskjemaet kundebehandlerne holdes til, og si at 120 ender med at kunden ikke fikk svar på spørsmålet sitt.

Én måned, køen for betalingsproblemerAvlastningsgradVurderingsskjemaet deres
Samtaler KI-en håndterte1 0001 000
Regnet som en suksess780 (78 %)660 (66 %)
Kunder som ble sviktet, men logget som løst0120

Køen som trengte mest omsorg, er den avlastningsgraden fikk til å se tryggest ut å automatisere.

Ett vurderingsskjema, brukt på hver samtale

Med samme kvalitetskrav er det samtalen som scores, uansett hvem som håndterte den. Vurderingsskjemaet er det dere ville målt et menneske etter, atferd som kan observeres, skrevet slik at scoren blir lik og kan spores, og det brukes på hver samtale på begge sider.

Mange virksomheter tar stikkprøver av kundebehandlerne og kvalitetsscorer ikke KI-en i det hele tatt. Den delen av arbeidsstyrken som vokser raskest, måles minst, og på det ene tallet som skjuler feilene dens. Sett begge på samme vurderingsskjema, så ser dere den delen for første gang.

Mekanismen er den samme som i automatisk kvalitetssikring av kundesamtaler: Score på ett vurderingsskjema, rett hullet, og mål effekten på nytt mot sammenlignbare agenter som ikke fikk tiltaket. Det eneste som har endret seg, er hvem den brukes på, nå som ordet «agent» også omfatter programvare. For driftsdirektøren betyr det ett sammenlignbart mål på hvor godt kundene ble hjulpet, så mandagens beslutning handler om kvalitet.

Ingen scorer overføringen

To separate systemer måler aldri én del av den hybride arbeidsstyrken: overføringen. Mange samtaler starter hos KI-en og slutter hos et menneske. Kunden opplever én samtale. De to systemene ser to bruddstykker: KI-ens del, scoret på om den avlastet (så selve overføringen logges som en feil), og kundebehandlerens del, scoret på vurderingsskjemaet fra det øyeblikket hen tok over. Ingen scorer skjøten mellom dem.

Den blindsonen koster. En kunde som har forklart et dødsfall eller en manglende betaling til KI-en, og så må forklare alt på nytt for mennesket hen blir satt over til, har hatt én dårlig håndtert samtale, selv om hvert system scorer sin halvdel godt. For et forsikringsselskap eller en bank er overføringen det verste stedet å miste grepet om en samtale.

Score hele samtalen, fra start til slutt, så blir overføringen noe dere kan se og forbedre. Vår anbefaling for en første runde er å flagge hver samtale, med menneske eller KI, der

  1. den pålagte opplysningen mangler;
  2. kunden måtte stille det samme spørsmålet to ganger, eller la på uten svar;
  3. kunden måtte gjenta for et menneske det hen allerede hadde sagt til KI-en;
  4. kunden ba om et menneske, og KI-en fortsatte, fordi en overføring teller mot avlastningsgraden;
  5. kunden nevnte en manglende betaling, sykdom eller et dødsfall, og samtalen fortsatte som vanlig.

«Men dere selger jo agentene også»

Det er en opplagt innvending mot et selskap som selger KI-agenter og samtidig selger kravet agentene måles mot. Future Ready er det selskapet, så innvendingen treffer oss. Vurderer vi agentene vi har solgt dere, er «de scorer godt» i seg selv nesten ingenting verdt.

Vi er ingen nøytral dommer, og fordi vi selger agenter, markedsfører vi ikke dette som leverandøruavhengig kontroll. Kravet betyr bare noe hvis det tilhører dere: scoret på deres vurderingsskjema, hver score knyttet til øyeblikket i transkripsjonen som ga den, hver score åpen for innsigelser, og enhver forbedring målt mot et sammenligningsgrunnlag. Hold enhver leverandørs agenter til det, også våre. Spørsmålene dere stiller andre som selger KI-agenter, gjelder våre egne taleagenter like mye. Kan en leverandør ikke vise dere én eneste automatisert samtale scoret mot deres egne kriterier, har dere bare leverandørens ord å gå på.

Én arbeidsstyrke, eller to som deler en kø

En driftsleder som styrer mennesker etter et vurderingsskjema og KI etter en avlastningsgrad, har to driftsenheter som tilfeldigvis deler en kø, bedømt med tall som aldri ble laget for å sammenlignes. Et nytt dashbord flytter de to tallene nærmere hverandre på skjermen. Ett vurderingsskjema under begge får hver samtale til å svare på det samme spørsmålet: Ble denne kunden godt hjulpet, og hvordan vet vi det?

Future Ready er bygget rundt denne sløyfen, og kundene våre ser i snitt 3,7 ganger avkastning på den. Den brukes på hele arbeidsstyrken: Det samme vurderingsskjemaet som holder de beste kundebehandlerne deres til en standard, holder KI-agentene til den samme.

Hvilke av de automatiserte køene deres ville bestått på avlastningsgrad og strøket på deres eget vurderingsskjema?

Vil dere se hele arbeidsstyrken målt med samme krav? Vi scorer en uke med ekte samtaler, fra mennesker og KI, på deres eget vurderingsskjema og viser dere begge halvdelene på samme mål, kø for kø: hvor hver av dem er sterk, og hvor hver av dem må bli bedre.