Räkna på det en gång. En teamledare med tolv medarbetare hinner lyssna igenom kanske två samtal per person i månaden. Avdelningen tog emot tjugotusen. Det blir drygt en promille, och den promillen är inte slumpmässigt vald – det är samtalen någon hann plocka fram innan veckan tog slut.
Det ovanliga med den siffran på den svenska marknaden är att ingen bestrider den. Leverantörerna av kontaktcenterplattformar skriver den själva, i sitt eget material: en teamledare hinner manuellt granska ungefär två till tre procent av samtalen. Det är alltså inte ett påstående från någon som vill sälja er något annat. Det är branschens egen beskrivning av sitt normalläge.
Frågan är inte om två till tre procent är för lite – det är alla överens om. Frågan är vad ni gör med det. För en kvalitetsposition som vilar på två procent är en uppskattning, men den rapporteras uppåt som ett faktum. ”Vi ligger på 84 på vår kvalitetsmall” sägs i ett ledningsmöte utan asterisk, och det som egentligen sagts är att 84 var medelvärdet på de fyrtio samtal någon valde ut. Skillnaden mellan en uppskattning och en mätning märks inte förrän någon ifrågasätter siffran – en kund, en kravställare i en upphandling, eller en medarbetare som inte känner igen sig i sin egen bedömning.
Två procent är en uppskattning som redovisas som en mätning
Det som gör stickprovet vanskligt är inte att det är litet. Det är att osäkerheten aldrig följer med siffran uppåt.
En kvalitetsrapport ser likadan ut vare sig den bygger på fyrtio samtal eller tjugotusen. Diagrammen har samma upplösning, staplarna samma tyngd, trendpilen samma självklarhet. Ingenstans i den rapporten står det att en förändring från 81 till 84 ligger väl inom vad ett annat urval av fyrtio samtal skulle ha gett av ren slump.
Konsekvensen är praktisk, inte akademisk. Ni fattar beslut om bemanning, utbildning och rutiner utifrån rörelser som kanske inte finns. Och när något faktiskt rör sig – en ny prislista som ingen riktigt förstod, en rutin som infördes i mars och inte följs – syns det först flera månader senare, om det syns alls.
Urvalet är det egentliga problemet, inte volymen
Den vanliga reaktionen är att effektivisera stickprovet: kortare bedömningsformulär, fler granskare, hårdare deadline. Det flyttar möjligen två procent till fyra.
Men urvalet är inte slumpmässigt, och det är där felet sitter. Samtalen som granskas är de som är enkla att hitta: rätt längd, rätt kö, rätt dag, ofta de som redan flaggats av någon anledning. De riktigt korta samtalen granskas sällan. De riktigt långa granskas sällan. Samtalen från kvällspasset granskas nästan aldrig. Kundtjänstmedarbetare lär sig snabbt vilka samtal som brukar plockas ut, och det finns ingen anledning att tro att de beter sig exakt likadant i de andra nittioåtta procenten.
Att poängsätta allt tar bort urvalsproblemet i stället för att optimera det. Varje samtal bedöms på samma sätt, mot samma kriterier, samma dag det sker. Månadens kvalitetsbild slutar vara en uppskattning och blir en fullräkning – och en klunga på tre svaga samtal i ett team dyker upp i stället för att jämnas ut i ett medelvärde som ser acceptabelt ut.
Det märkbara i praktiken är att frågorna byter karaktär. ”Hur ligger vi till på regelefterlevnad?” slutar vara ett omdöme och blir en faktafråga med ett datum på. ”Följs den nya rutinen?” går att svara på i mars i stället för i juni. Och när en kund eller en upphandlare ber om underlag är svaret inte längre ett stickprov som någon måste försvara.
Det gäller för övrigt lika mycket åt andra hållet. Full täckning gör det också möjligt att se att någonting inte hänt – att en förändring ni trodde slog igenom faktiskt inte gjorde det. Det är ett resultat stickprovet nästan aldrig kan ge, eftersom frånvaro av signal i fyrtio samtal inte betyder någonting alls.
Full täckning är numera en hygienfaktor
Här ska vi vara ärliga om var kategorin står. Att poängsätta hundra procent av samtalen är inte längre något som skiljer leverantörer åt. De flesta i den här branschen kan göra det nu, och den som säljer täckning som sin huvudsakliga fördel säljer något som håller på att bli en självklarhet.
Det som fortfarande skiljer är två saker, och båda handlar om vad som händer efter poängen.
Den första är om varje poäng pekar på ögonblicket som gav den. Den andra är om något faktiskt händer med det som poängen visar. En plattform som bedömer allt och sedan producerar en instrumentpanel har flyttat problemet, inte löst det: i stället för att gissa utifrån fyrtio samtal gissar ni nu utifrån ett medelvärde av tjugotusen. Vägen från poäng till ändrad vana går genom en övning byggd ur medarbetarens eget samtal, inte genom en vy till.
Det avgör också vad en utvärdering bör handla om. Klarar alla leverantörer i er slutlista hundra procent är täckningen ingen jämförelsepunkt längre, och en upphandling som viktar den tungt slutar i ett pris- eller kemibeslut. De två frågorna ovan går däremot att pröva konkret på era egna samtal.
Det ska vara er mall, inte leverantörens
Kvalitet betyder något annat på en uppsägningsavdelning än i förstalinjesupport, och något helt annat i ett kundcenter som lyder under finansiell regelefterlevnad.
En inbyggd kvalitetsmodell från en leverantör fungerar för en allmän temperaturmätning. Den blir svag i samma sekund som ni behöver försvara en konkret standard: förklaringen som ska ges innan ett avtal ändras, sårbarhetssignalen som ska fångas upp, upplysningen som är obligatorisk. Ingen generisk mall vet vad er tillsynsmyndighet eller er största kund faktiskt kräver.
Kriterierna ni redan mäts på är de som ska poängsättas – behovsanalys, faktisk korrekthet, regelefterlevnad, ton och empati, lösning, samtalskontroll, eller vad ert eget ramverk kallar dem. Inte en approximation av dem, och inte samma mall för sälj som för support bara för att verktyget föredrar det.
Varje poäng måste kunna visa sitt bevis
Det här är delen som avgör om systemet används eller kringgås.
En siffra utan något bakom sig är ett gräl som väntar på att hända. Medarbetaren tycker att 2 av 5 är orimligt, teamledaren kan inte förklara varför det blev 2, och efter tre sådana rundor har alla tyst kommit överens om att kvalitetsuppföljningen är godtycklig. Då spelar det ingen roll att täckningen gick från två till hundra procent – ni har hundra procent av något ingen litar på.
Varje kriterium ska därför peka på ögonblicket som gav det: meningen, tidsstämpeln, vem som talade. Då öppnar coachen samtalet vid 02:18 och hör vad som faktiskt hände i stället för att argumentera om vad en modell tyckte. Och en medarbetare som inte håller med flaggar bedömningen för mänsklig granskning i stället för att dra slutsatsen att systemet inte går att lita på. Invändningar är en signal värd att ha, och inte bara av förtroendeskäl: att låta ett AI-system bedöma varje samtal är en egen personuppgiftsbehandling med ett eget ändamål, och rätten att ifrågasätta bedömningen hör till vad den förutsätter. Ett system utan invändningar har inte förtroende, det har bara tystnad.
Vad hundra procent täckning inte löser
Tre saker blir inte bättre av att täckningen går från två till hundra procent, och de är bättre att säga högt än att upptäcka i månad tre.
Poängsättningen är inte bättre än transkriberingen under den. Blir ortnamnet, personnamnet eller garderingen fel i texten bedöms en mening som ingen sa, och poängen ser lika trovärdig ut som alla andra. Felet är tyst, det är vårt, och det syns inte i någon täckningssiffra. Vi har skrivit separat om varför svensk taligenkänning avgör kvalitetsmätningen.
Täckningen mäter er mall, också när mallen har fel. Belönar kriterierna fel sak drivs den felaktiga standarden nu igenom på tjugotusen samtal i månaden i stället för på fyrtio. Full täckning gör inte en dålig mall synlig – den gör den effektiv.
Arbetsmängden ökar, den minskar inte. Den vanligaste besvikelsen efter ett införande är inte att systemet hade fel, utan att det hade rätt tjugo gånger i veckan. Flaskhalsen flyttar från för lite underlag till för lite tid att göra något åt det, och på den säljer vi ingen lösning. Räknar ni hem investeringen på sparade granskningstimmar räknar ni på fel post.
Och en fråga som kommer snabbare än de flesta räknar med: ska AI-agenter som själva talar med kunder mätas mot samma mall som människorna? Vi menar ja, och har skrivit om varför containment och kvalitetspoäng inte delar enhet.
Fyra frågor att ställa en leverantör
- Poängsätter ni efter våra kriterier, eller efter er egen kvalitetsmodell?
- Kan jag klicka från en poäng till ögonblicket i samtalet som gav den?
- Vad händer när en medarbetare bestrider en bedömning?
- Läses svenska direkt, eller översätts ljudet via engelska först?
Svaren på de fyra skiljer ett kvalitetslager från ett transkriberingsverktyg med en instrumentpanel ovanpå. Och de tar er ur diskussionen om täckning, som ändå snart är avgjord, och in i den som fortfarande betyder något.
Ta med en veckas samtal, så poängsätter vi ett urval av era egna på er mall och går igenom vad poängen faktiskt visar – med ögonblicket bakom varje siffra. Läs mer om Conversation Intelligence.