Så här går ett kalibreringsmöte ofta till, vecka efter vecka, i en banks kvalitetsteam. Tre eller fyra bedömare bedömer samma handfull samtal var för sig. Sedan lägger de en timme på att diskutera varför en gav 4 på ”visade empati” och en annan 2. De kommer fram till en ungefärlig kompromiss, skriver en anteckning i bedömningsinstruktionen och gör om alltihop veckan efter.
Det brukar kallas god praxis. Det fungerar mer som en skatt: kvalitetsansvariga som möts, i all oändlighet, för att släta över otydligt formulerade kriterier. När bedömarna går isär på samma kriterium gång på gång löser ett nytt möte sällan saken. Det gör en skarpare formulering.
Skriv varje kriterium som ett beteende ni kan peka på i transkriberingen, och bedöm process och resultat var för sig. Kan en bedömare citera repliken som gav poängen, och skulle en andra bedömare som läser samma replik hålla med, då bedöms kriteriet likadant av två personer och av en AI. Det gör också att varje poäng går att ifrågasätta. Det spelar roll när AI:n sköter bedömningen, och när en del av dem som bedöms är AI-agenter.
Testet varje kriterium måste klara
Ställ samma fråga om varje rad i bedömningsmallen. Om jag drog ner en medarbetare på det här, skulle jag då kunna peka på exakt det ögonblick i transkriberingen som motiverar det? Och skulle en annan person som läser samma ögonblick hålla med?
Är svaret ja fungerar kriteriet. Märker ni att ni tar till ”det är mer en helhetskänsla av samtalet” beskriver kriteriet ett intryck. Det är i intrycken bedömarna går isär, och där en poäng faller i samma stund som någon bestrider den.
Börja med de tre kriterier som era bedömare är minst överens om. Vet ni inte vilka de är, mät hur ofta era bedömare är överens innan ni skriver om något.
Ett exempel: från ”visade empati” till något ni kan peka på
Ta ett kriterium som nästan varje bedömningsmall har i någon form: Medarbetaren visade lämplig empati.
En mänsklig bedömare vet ungefär vad det betyder, och ”ungefär” är precis där grälet om 2 eller 4 kommer ifrån. En nyanställd vet inte alls vad det betyder, och inte heller en AI som bedömer. Ni får ojämna bedömningar från era bedömare och brus från automatiseringen, och ni kan inte se vilka samtal som gick fel.
Skriv nu om det som ett beteende:
Bekräftade problemet som kunden beskrev, med kundens egna ord, innan hen gick vidare till en lösning.
Det går att hitta i en transkribering. Kunden säger att hen är orolig för en oväntad avgift. Antingen speglar medarbetaren den oron innan hen tar sig an ärendet, eller så gör hen det inte. Två bedömare blir överens eftersom det finns lite kvar att tolka, och en maskin bedömer det konsekvent av samma skäl. När en medarbetare ifrågasätter poängen kan ni peka på repliken.
Omskrivningen har en fördel till inom EU. Sedan februari 2025 förbjuder AI-förordningen AI som tolkar känslorna hos människor på jobbet utifrån till exempel rösten. Ett kriterium som gäller vad medarbetaren sa bedömer det som sades, inte hur hen lät. Vi har skrivit mer om det i fem frågor om AI-bedömning för banker och försäkringsbolag.
Illustration: på veckomötet bedömer fyra bedömare samma 10 samtal. På ”visade lämplig empati” ger alla fyra samma poäng på 3 av dem. På den omskrivna versionen är de överens om 9. Det tionde är ett samtal där kunden aldrig sa vad hen var orolig för, och det är den enda anteckningen som är värd att lägga till i bedömningsinstruktionen.
Två sorters kriterier, och varför ni behöver båda
När ett kriterium går att spåra, bestäm om det bedömer vad medarbetaren gjorde eller vad samtalet uppnådde. Båda hör hemma i mallen, och de fyller olika funktioner.
Processkriterier bedömer stegen som togs och beteendena som visades. Kontrollerade medarbetaren kundens identitet, gav hen den obligatoriska upplysningen, bekräftade hen kundens oro innan hen gick vidare? Många av dem är entydiga: steget togs eller inte. Bedöm dem som godkänd eller ej uppfylld och hitta inte på en skala. Processen är den del ni coachar, eftersom den är tillräckligt konkret för att öva på. Det är också där bedömningen kan leda vidare till övning och ändrade vanor.
Resultatkriterier bedömer vad samtalet uppnådde för kunden. Förstod kunden avgiften hen just hade gått med på? Löstes ärendet, eller tog samtalet bara slut? Fick en kund som visade tecken på att vara i en utsatt situation rätt stöd? En medarbetare kan bocka av varje steg och ändå lämna en förvirrad kund efter sig. En mall som bara kontrollerar stegen räknar det samtalet som en framgång.
Bedömer ni bara resultatet ser ni att samtalet gick fel men inte var, så det går inte att coacha. Bedömer ni bara processen ser ni att varje ruta är avbockad men inte om det fungerade. Bedöm båda mot transkriberingen, så ser ni både att resultatet uteblev och i vilket steg det gick snett.
Tre rättelser som de flesta bedömningsmallar behöver
När vi ser en bedömningsmall från finanssektorn för första gången dyker samma problem upp gång på gång. Att rätta till dem är största delen av jobbet.
Dela kriterier som klumpar ihop två saker. En rad som ”ställde relevanta frågor och lugnade kunden” är två beteenden med en poäng. En medarbetare kan göra det första bra och hoppa över det andra. Då måste bedömaren väga ihop två saker som inte hör ihop till en siffra som ingen kan tolka.
Slå ihop kriterier som mäter samma sak. Många mallar har en grupp som ”lyssnade aktivt”, ”förstod behovet” och ”ställde bra frågor”, där den som får bra poäng på ett får bra poäng på alla. En sådan grupp står för mycket av diskussionen på kalibreringsmötena, eftersom bedömarna inte kan avgöra vilket kriterium ett visst ögonblick hör hemma i. Slå ihop dem till ett tydligt avgränsat kriterium, så upphör de flesta grälen.
Plocka bort det som inte är beteenden. Samtalstid, tid i vänteläge och tystnad i samtalet hamnar ofta i bedömningsmallar för kvalitet. De är operativa nyckeltal och värda att följa. Men en medarbetare gör dem inte bra eller dåligt på samma sätt som hen ger en upplysning eller löser ett ärende. Blandar ni in dem straffar ni en medarbetare för ett samtal som drog ut på tiden för att hen gjorde rätt.
En första genomgång av en typisk mall ser ut så här:
| Kriteriet som det är formulerat | Vad som är fel | Omskrivning |
|---|---|---|
| Visade lämplig empati | Ett intryck; bedömarna ger både 2 och 4 | Bekräftade problemet som kunden beskrev, med kundens egna ord, innan hen gick vidare till en lösning |
| Ställde relevanta frågor och lugnade kunden | Två beteenden, en poäng | Två kriterier, ett för varje beteende |
| Lyssnade aktivt, förstod behovet, ställde bra frågor | Ett beteende under tre namn | Ett kriterium: återgav kundens behov och fick det bekräftat innan hen löste det |
| Gav den obligatoriska upplysningen | Bedöms 1 till 5, en skala som inte finns | Godkänd eller ej uppfylld |
| Samtalstid inom målet | Inget beteende | Stryk ur mallen; följ den som ett operativt nyckeltal |
Poängen måste tåla att ifrågasättas
En kvalitetspoäng är ett påstående om hur någon har gjort sitt jobb, och förr eller senare frågar någon: enligt vem? En medarbetare säger att samtalet visade något annat. En teamledare frågar varför en i teamet fick avdrag. AI-bedömning lägger till ett nytt sätt att göra fel. Modellen kan ha fel med full säkerhet och flagga en saknad upplysning som medarbetaren gav trettio sekunder tidigare i samtalet.
Försvaret är detsamma i samtliga fall, och för en verksamhet under tillsyn är det det viktigaste valet i hela mallen: varje poäng går att spåra tillbaka till ögonblicket som gav den. Öppna poängen, så ser ni repliken i transkriberingen. Medarbetaren, teamledaren och vid behov en tillsynsmyndighet tittar på samma underlag som ni bedömde utifrån. En felaktig poäng, från en människa eller en maskin, kan då upptäckas och rättas. En poäng som inte går att spåra till ett ögonblick går varken att försvara eller bestrida, och ingen bör lita på den.
I Conversational Intelligence länkar varje poäng till meningen, tidsstämpeln och talaren bakom den. En medarbetare kan bestrida poängen, en människa avgör och rättelsen loggas bredvid den ursprungliga poängen (så fungerar bestridanden). Bedömningsmallen visar hur väl AI:n stämmer överens med era bedömare på varje kriterium. Då syns formuleringarna som behöver skrivas om före nästa kalibreringsmöte.
Samma mall bedömer era AI-agenter och visar andra luckor
AI-agenterna som tar era enklare ärenden är en del av er arbetsstyrka. En mall som är byggd så här fungerar på dem utan ändringar, eftersom ett observerbart beteende går att observera oavsett vem som utförde det. Är ”bekräftade problemet som kunden beskrev innan hen gick vidare till en lösning” standarden för era medarbetare, då är det standarden för boten också. Ni får samma kvalitetsribba för medarbetare och AI-agenter, i stället för ett separat kvalitetssystem för programvaran och en förhoppning om att de två standarderna stämmer överens.
Räkna med att luckorna hamnar på olika ställen. AI-agenter klarar oftast processkriterierna utan problem: de glömmer inte en upplysning och hoppar inte över identitetskontrollen. Det är på resultaten de snubblar. De ger ett felaktigt svar med full säkerhet, eller missar den tvekan som borde ha visat att kunden var i en utsatt situation. Människor misslyckas oftare åt andra hållet: de får resultatet rätt men hoppar över ett steg under press. Med en gemensam mall ser ni var insatserna behövs, för båda.
Frågan till en leverantör som bedömer sina egna agenter
Bygger en leverantör AI-agenter och bedömer dem också, som Future Ready gör, då är ”våra agenter får bra poäng” att rätta sitt eget prov. Behandla det så. Betygen betyder bara något om standarden är er: bedömd mot er mall, varje poäng kopplad till ögonblicket i transkriberingen, varje poäng möjlig att bestrida och varje förbättring mätt mot kollegor som inte fick utbildningen. Äger inte kunden standarden är poängen marknadsföring. Det är testet ni ska ställa oss inför, liksom alla andra som vill sälja agenter till er.
Vill ni att någon utomstående tittar på er nuvarande bedömningsmall? Vi går igenom era befintliga kriterier och visar var de skulle få en maskin att snubbla, och var de skulle få en andra bedömare att snubbla. Oftast är det samma ställe.







