Räkna på det en gång. En avdelning har tjugo medarbetare, och teamledaren hinner lyssna igenom kanske två samtal per person i månaden. Det blir fyrtio samtal av tjugotusen, två promille, och de fyrtio är samtalen någon hann plocka fram innan veckan tog slut.
Den kalkylen bestrider ingen, och det behövs ingen leverantör för att göra den.
”Vi ligger på 84 på vår bedömningsmall” sägs ändå i ett ledningsmöte utan asterisk, och det som egentligen sagts är att 84 var medelvärdet på de fyrtio samtal någon valde ut. Skillnaden mellan en uppskattning och en mätning märks först när någon ifrågasätter siffran: en kund, en kravställare i en upphandling eller en medarbetare som inte känner igen sig i sin egen bedömning.
Ett stickprov på fyrtio samtal är en uppskattning med urvalsfel, men det rapporteras uppåt som en mätning. Att poängsätta alla samtal tar bort urvalsfelet, och det klarar de flesta verktyg i dag. Om resultatet går att använda avgörs av tre saker: att poängen sätts utifrån er egen mall, att varje poäng pekar på meningen och tidsstämpeln bakom den, och att en medarbetare kan bestrida den.
Ett stickprov är en uppskattning som redovisas som en mätning
Osäkerheten i ett stickprov följer aldrig med siffran uppåt.
En kvalitetsrapport ser likadan ut vare sig den bygger på fyrtio samtal eller tjugotusen. Ingenstans i den står det att en förändring från 81 till 84 ligger väl inom vad ett annat urval av fyrtio samtal skulle ha gett av ren slump.
Ni fattar alltså beslut om bemanning, utbildning och rutiner utifrån rörelser som kanske inte finns. Och när något faktiskt rör sig, som en ny prislista som ingen riktigt förstod eller en rutin som infördes i mars och inte följs, syns det först flera månader senare, om det syns alls.
Ett större stickprov har samma urvalsfel
Den vanliga reaktionen är att effektivisera stickprovet: kortare bedömningsmallar, fler bedömare, snävare tidsfrister. Det gör möjligen stickprovet dubbelt så stort.
Men urvalet är fortfarande inte slumpmässigt, och det är där felet sitter. Samtalen som granskas är de som är enkla att hitta, ofta sådana som redan flaggats av någon anledning. De riktigt korta och de riktigt långa samtalen granskas sällan, och samtalen från kvällspasset nästan aldrig. Kundtjänstmedarbetare lär sig snabbt vilka samtal som brukar plockas ut, och det finns ingen anledning att tro att de beter sig exakt likadant i alla de andra samtalen.
När varje samtal poängsätts finns det inget urval kvar som kan bli skevt. Varje samtal bedöms mot samma kriterier, samma dag som det förs, och månadens kvalitetsbild blir en fullräkning. En klunga på tre svaga samtal i ett team syns då som en klunga. Även om stickprovet på två promille vore helt slumpmässigt skulle sannolikheten vara 99 % att inget av de tre kom med.
I praktiken går frågorna att besvara med en siffra. ”Hur ligger vi till på regelefterlevnad?” får ett svar med ett datum på. ”Följs den nya rutinen?” går att svara på i mars i stället för i juni. Och när en kund eller en upphandlare ber om underlag finns alla samtal bakom siffran.
Full täckning visar också när något inte har hänt: att en förändring ni trodde slog igenom faktiskt inte gjorde det. Ett stickprov kan nästan aldrig visa det, eftersom frånvaro av signal i fyrtio samtal inte betyder någonting.
Full täckning är numera en hygienfaktor
Att poängsätta hundra procent av samtalen skiljer inte längre leverantörer åt. De flesta i branschen klarar det nu, och den som säljer täckning som sin huvudsakliga fördel säljer något som håller på att bli en självklarhet.
Det som fortfarande skiljer är två saker, och båda handlar om vad som händer efter poängen.
Den första är om varje poäng pekar på ögonblicket som gav den. Den andra är om något faktiskt händer med det som poängen visar. En plattform som bedömer allt och sedan bara visar en instrumentpanel har flyttat gissningen från fyrtio samtal till ett medelvärde av tjugotusen. Vägen från poäng till ändrad vana går genom en övning byggd ur medarbetarens eget samtal.
Det avgör också vad en utvärdering bör handla om. Klarar alla leverantörer i er slutlista hundra procent är täckningen ingen jämförelsepunkt längre, och en upphandling som viktar den tungt slutar i ett pris- eller kemibeslut. De två frågorna ovan går däremot att pröva konkret på era egna samtal.
Poängen ska sättas utifrån er egen mall
Kvalitet betyder något annat på en uppsägningsavdelning än i förstalinjesupport, och något helt annat i en kundtjänst som står under finansiell tillsyn.
En inbyggd kvalitetsmodell från en leverantör fungerar för en allmän temperaturmätning. Den blir svag i samma stund som ni behöver försvara en konkret standard: förklaringen som ska ges innan ett avtal ändras, sårbarhetssignalen som ska fångas upp, upplysningen som är obligatorisk. Ingen generisk mall vet vad er tillsynsmyndighet eller er största kund faktiskt kräver.
Kriterierna ni redan mäts på är de som ska poängsättas: behovsanalys, faktisk korrekthet, regelefterlevnad, ton och empati, lösning, samtalsstyrning, eller vad ert eget ramverk kallar dem. Sälj och support får var sin mall.
Varje poäng måste kunna visa sitt bevis
Det är här det avgörs om systemet används eller kringgås.
En siffra utan något bakom sig är ett gräl som bara väntar på att bryta ut. Medarbetaren tycker att 2 av 5 är orimligt, teamledaren kan inte förklara varför det blev 2, och efter tre sådana rundor har alla dragit slutsatsen att kvalitetsuppföljningen är godtycklig. Då hjälper det inte att täckningen gick från ett stickprov till alla samtal.
Varje kriterium ska därför peka på ögonblicket som gav poängen: meningen, tidsstämpeln, vem som talade. Då öppnar coachen samtalet vid 02:18 och hör vad som faktiskt hände, i stället för att argumentera om vad en modell tyckte. I Conversational Intelligence pekar varje poäng på meningen bakom den, och en medarbetare som inte håller med kan bestrida bedömningen. En chef avgör. Får medarbetaren rätt loggas rättelsen och räknas mot AI:n.
När ingen bestrider en enda poäng är det sällan för att alla håller med. Invändningar är en signal värd att ha, också av ett juridiskt skäl: att låta ett AI-system bedöma varje samtal är en egen personuppgiftsbehandling med ett eget ändamål, och medarbetarna ska få veta att bedömningen är automatiserad och hur den kan ifrågasättas.
Vad hundra procent täckning inte löser
Tre saker blir inte bättre av att täckningen går från ett stickprov till alla samtal, och det är bättre att säga dem högt än att upptäcka dem i månad tre.
Poängsättningen är inte bättre än transkriberingen under den. Blir ortnamnet, personnamnet eller förbehållet fel i texten bedöms en mening som ingen sa, och poängen ser lika trovärdig ut som alla andra. Felet syns inte i någon täckningssiffra, och det är vårt. Vi har skrivit separat om varför svensk taligenkänning avgör kvalitetsmätningen.
Täckningen mäter mot er mall, också när mallen har fel. Belönar kriterierna fel sak drivs den felaktiga standarden nu igenom på tjugotusen samtal i månaden i stället för på fyrtio. Full täckning gör en dålig mall effektiv.
Arbetsmängden ökar. Det som brukar göra en kvalitetschef besviken efter ett införande är att systemet har rätt, tjugo gånger i veckan. Flaskhalsen flyttas från för lite underlag till för lite tid att göra något åt det, och på den säljer vi ingen lösning. Räknar ni hem investeringen på sparade granskningstimmar räknar ni på fel post.
Och en fråga som kommer snabbare än de flesta räknar med: ska AI-agenter som själva talar med kunder mätas mot samma mall som människorna? Vi anser det, och har skrivit om varför containment och kvalitetspoäng inte delar enhet.
Fyra frågor att ställa en leverantör
Svaren på de fyra skiljer ett verktyg för kvalitetsuppföljning från ett transkriberingsverktyg med en instrumentpanel ovanpå.
| Fråga | Svar som håller | Varningssignal |
|---|---|---|
| Poängsätter ni efter våra kriterier? | Ja, er mall, kriterium för kriterium | ”Vår kvalitetsmodell täcker det mesta” |
| Kan jag klicka från en poäng till ögonblicket som gav den? | Meningen, tidsstämpeln och vem som talade | En siffra och en sammanfattning |
| Vad händer när en medarbetare bestrider en bedömning? | En chef avgör, och rättelsen loggas bredvid poängen | Poängen justeras utan spår |
| Bedöms samtalen direkt på svenska? | Transkriberad och bedömd på svenska | Översatt till engelska före bedömningen |
Hur många av samtalen bakom förra månadens kvalitetssiffra har någon faktiskt lyssnat på?
Ta med en veckas samtal, så poängsätter vi ett urval av era egna utifrån er mall och går igenom vad poängen visar, med ögonblicket bakom varje siffra. Läs mer om Conversational Intelligence.
