Alla i den svenska branschen har samma referenspunkt, så vi kan lika gärna börja där. Klarna byggde ut sin AI-assistent i kundtjänsten, kommunicerade den som att den gjorde arbetet som annars hade krävt hundratals medarbetare – och backade sedan offentligt. Sebastian Siemiatkowski har själv sagt att man fokuserade för mycket på effektivitet och kostnad, och att resultatet blev sämre kvalitet. Bolaget började åter bemanna med människor för de kunder som vill ha en.
Historien har återberättats som en sensmoral om att AI i kundtjänst inte fungerar. Det är fel läsning, och det är dessutom en dyr sådan för alla som nu skjuter upp något de borde göra.
Titta i stället på vad som faktiskt gick sönder. Ingen på Klarna beslutade att kvaliteten skulle sjunka. Beslutet som fattades var att flytta mer volym till AI, och det beslutet fattades på siffror som såg jämförbara ut. De var det inte.
En organisation som bedömer sina medarbetare på kvalitet och sin AI på containment och kostnad har två mått som inte delar enhet. Varje beslut om vad som ska automatiseras vilar då på en jämförelse som inte är en jämförelse. Botemedlet är inte färre AI-agenter, utan en mall som läggs på samtalet självt – samma kriterier, samma bevis, samma rätt att bestrida – oavsett vem eller vad som tog det.
Två mått som inte delar enhet
Titta på vad varje halva av arbetsstyrkan faktiskt mäts på.
Era kundtjänstmedarbetare bedöms mot en kvalitetsmall. Kontrollerade de identiteten, gav de rätt upplysning, bekräftade de kundens problem innan de började lösa det, höll de ihop när samtalet blev jobbigt. Er AI-agent bedöms på ett helt annat ordförråd: containment, deflection, automationsgrad, andel överlämningar. De flesta av de måtten kokar ner till en enda fråga – slutförde AI:n ärendet utan att skicka det vidare till en människa?
Det är inget kvalitetsmått. Det är ett undvikandemått. Containment kan inte skilja ”AI:n löste problemet” från ”kunden gav upp försöket att nå en människa”. Ett avslutat ärende räknas som en vinst oavsett om kunden lade på nöjd eller rasande. Nöjdhetsmätningen fångar det sällan heller: en aggregerad siffra kan stå helt stilla medan upplevelsen i just de automatiserade ärendena långsamt försämras, eftersom de få missnöjda späds ut av alla dem AI:n aldrig behövde hjälpa på riktigt.
Så när en driftchef på måndagsmorgonen har ett kvalitetssnitt på 84 för människorna och 78 procents containment för AI:n framför sig, har hon inte två jämförbara tal. Hon har ett tal om hur väl kunder blev hjälpta och ett tal om hur ofta kunder inte nådde fram.
Ett självsäkert fel svar loggas som en framgång
Konsekvensen blir tydligast i den kö där det är dyrast att ha fel.
Betalningsproblem automatiseras rent. Ärendena är repetitiva, formuleringarna liknar varandra och containment stiger snabbt när kön flyttas. Instrumentpanelen blir grön. Det containment-talet inte kan visa är kunden i ekonomisk knipa som ställde en fråga, fick ett halvt svar, inte förstod det och lade på. Avslutat utan överlämning, loggat som löst, och tyst misslyckat.
Poängsatt mot en kvalitetsmall är det samtalet en uppenbar miss. Poängsatt på containment är det en framgång. Just den kö ni hade mest anledning att vara försiktig med är den som containment fick att se tryggast ut att automatisera.
Lägg till att ett språkmodellsvar som är fel nästan alltid låter lika säkert som ett som är rätt. Är en människa osäker hör man det – hon garderar sig, hon säger ”jag tror”. Det är faktiskt en signal, och det är en av anledningarna till att kvalitetsgranskning av mänskliga samtal fungerar. Den signalen finns inte i AI-svaret. Om ni inte läser innehållet i samtalet finns det ingenting som skiljer ett bra svar från ett självsäkert felaktigt.
Vad en gemensam kvalitetsribba faktiskt är
En gemensam ribba innebär att ni bedömer samtalet, inte kanalen.
Mallen är densamma som ni redan mäter era medarbetare mot, uttryckt som observerbara beteenden så att poängen går att spåra, och den körs på hundra procent av konversationerna på båda sidor. Inte ett urval av människorna plus ett containment-tal för boten. Det är samma automatiserade kvalitetssäkring som gör 1–5 procents stickprov överflödigt, riktad mot hela arbetsstyrkan i stället för halva.
Stanna kvar i den asymmetrin ett ögonblick. De flesta verksamheter tar stickprov på sina människor och kvalitetsbedömer sin AI inte alls. Den halva som växer snabbast är den som mäts minst, och den mäts på det enda mått som är byggt för att dölja dess misslyckanden.
Praktiskt betyder det två saker som är lätta att underskatta. Det ena är att ni behöver innehållet i samtalet, vilket i sin tur betyder att inspelning och transkribering måste vara i ordning – och det har sina egna krav i Sverige. Det andra är att bedömningen måste ske på svenska, på det språk samtalet fördes på, och inte på en engelsk översättning där tonfall, dialekt och det som faktiskt sades tappas på vägen. Svensk taligenkänning som förstår riktiga kundsamtal är inte en trevlig extrafunktion här; utan den är poängen gissad.
När mallen väl är gemensam blir nästa steg symmetriskt också. En lucka hos en människa blir en röstövning i AI Coaching; en lucka hos AI-agenten blir en ändring i dess instruktioner. Samma mall pekar ut båda, och båda mäts om på samtalen som följer.
Sömmen ingen mäter
Det finns en del av den hybrida arbetsstyrkan som två separata system aldrig mäter alls: överlämningen.
Väldigt många ärenden tillhör varken AI:n eller människan ensam. De börjar hos AI:n och avslutas av en medarbetare. Kunden upplever ett samtal. Två mätsystem ser två fragment – AI:ns del bedömd på om den lyckades slutföra ärendet, vilket gör själva överlämningen till ett misslyckande, och människans del bedömd från den punkt hon tog över.
Kostnaden är konkret. En kund som har förklarat ett dödsfall i familjen eller en utebliven betalning för AI:n, och sedan får börja om från början för människan, har haft ett dåligt hanterat ärende – inte två välhanterade halvor. Frågorna som avgör är enkla att ställa och omöjliga att besvara med containment: lämnade AI:n över hela sammanhanget, och lämnade den över vid rätt tillfälle, eller höll den kvar för länge eftersom en överlämning räknades emot den?
”Men ni säljer ju agenterna själva”
Invändningen ligger nära till hands och den landar rakt på oss. Future Ready säljer AI-agenter och säljer samtidigt ribban de mäts mot. Att vi rättar vårt eget prov är precis vad det ser ut som, och ”våra agenter får bra poäng” är i sig värt ungefär ingenting.
Det ärliga svaret är inte att påstå att vi är en neutral domare. Det är vi inte, och därför säljer vi inte det här som leverantörsoberoende tillsyn. Den version som håller är enklare: standarden är er. Mallen är era kriterier, inte våra. Varje poäng pekar tillbaka på ögonblicket i transkriberingen som gav den, så att den går att öppna och läsa. Varje poäng går att bestrida, av en medarbetare eller av er kvalitetsansvarige. Och varje förbättring mäts mot en jämförelsegrupp i stället för att påstås.
Mät våra agenter mot den ribban, så har de ingenstans att gömma sig de heller. Det är hela poängen. Om en leverantör – vi eller någon annan – inte kan visa er ett enskilt automatiserat samtal poängsatt mot era egna kriterier, har ni fått ett påstående och inte ett bevis.
En arbetsstyrka, eller två som delar kö
En driftchef som kör människorna på en kvalitetsmall och AI:n på containment leder inte en arbetsstyrka mot en standard. Hon leder två verksamheter som råkar dela kö, bedömda med tal som aldrig var byggda för att jämföras. Ännu en instrumentpanel löser inte det; den flyttar bara talen närmare varandra på skärmen.
Det som löser det är en mall under båda, lagd på samtalet i stället för på kanalen, så att frågan alltid är densamma: blev den här kunden väl hjälpt, och hur vet vi det? Lärdomen efter Klarna är inte att dra ner på AI. Det är att inte fatta automatiseringsbeslut på ett tal som aldrig mätte kvalitet.
Vill du se båda halvorna på samma ribba? Vi poängsätter en veckas riktiga konversationer – människa och AI – mot er egen mall och visar var vardera sidan är stark och svag. Läs mer om Conversation Intelligence.