Fem frågor compliance ställer innan en bank eller ett försäkringsbolag börjar AI-bedöma samtal

Demot gick bra. Kundtjänstchefen på ett försäkringsbolag såg en veckas samtal från sitt eget team komma tillbaka bedömda, vartenda ett, med raden i transkriptionen bakom varje poäng. På fredagen skickade hon offerten vidare till compliance.

På måndagen kom den tillbaka med fem frågor.

Det var rätt frågor. De flesta banker och försäkringsbolag ställer någon variant av dem, och de som frågar före piloten i stället för efter köper snabbare, eftersom ingenting överraskar dem i upphandlingen. Här är de fem, vad reglerna faktiskt säger, och svaret en leverantör ska kunna ge skriftligt.

AI-bedömning av samtal i en bank eller ett försäkringsbolag berör fyra regelverk: dataskyddsförordningen, DORA, AI-förordningen och riktlinjerna för klagomålshantering. Vart och ett kräver något konkret. Ha koll på vart varje samtal tar vägen. För in avtalet i DORA-registret. Räkna med att AI som bedömer era medarbetare klassas som hög risk från december 2027. Och använd poängen för att hitta grundorsakerna till klagomål, vilket riktlinjerna redan kräver.

1. Vart tar samtalen med våra kunder vägen?

Börja med uppgifterna, för alla andra svar hänger på dem. En inspelning innehåller personuppgifter om både kunden och medarbetaren, ofta sådant ingen av dem skulle skriva ner. Ni är fortfarande personuppgiftsansvariga, och artikel 28 i dataskyddsförordningen låter er bara anlita biträden som ger ”tillräckliga garantier”.

I praktiken betyder det en lista: varje företag som rör samtalen, vad det ser och i vilket land. Be om den före demon. Ställ sedan de två följdfrågor som leverantörer ofta svarar vagt på. Sker något steg utanför EU? Och hör språkmodellen ljudet, eller läser den bara en transkription?

Våra svar finns på vår säkerhetssida. Vi transkriberar inspelningar på talmodeller vi driver själva och lagrar allt i Stockholm. Att ta bort personuppgifter och bedöma samtalet görs av en språkmodell som läser transkriptionen, aldrig ljudet. Som standard körs den modellen på en global AWS-profil, så text ur transkriptionen kan behandlas utanför EU innan personuppgifterna har tagits bort. För verksamheter som behöver varje steg i EU kör vi båda delarna på en modell som är låst till AWS:s regioner i EU i stället.

2. Är det här en IKT-tjänst enligt DORA?

Nästan säkert. DORA definierar IKT-tjänster som digitala tjänster och datatjänster som tillhandahålls löpande, och en molntjänst som lagrar och analyserar era samtal är en sådan tjänst. DORA har gällt sedan den 17 januari 2025.

Det får två följder för upphandlingen:

• Registret. Artikel 28.3 kräver att ni för ett informationsregister över alla avtal om IKT-tjänster och rapporterar till Finansinspektionen minst en gång om året. Bedömningsverktyget hör hemma där.
• Avtalet. Artikel 30.2 anger minimivillkoren: en fullständig beskrivning av tjänsten, var den tillhandahålls och var uppgifterna behandlas, servicenivåer, om underleverantörer är tillåtna och er rätt att säga upp avtalet.

Stöder tjänsten en kritisk eller viktig funktion kräver artikel 30.3 mer, bland annat exakta prestandamål. För de flesta är kvalitetssäkring inte det. Men den bedömningen är er, inte leverantörens, och den avgör vilket avtal ni behöver. Gör den innan någon skriver ett utkast.

3. Är AI som bedömer våra medarbetare hög risk?

Troligen. Bilaga III till AI-förordningen räknar AI-system som ska övervaka och utvärdera hur personer presterar och beter sig i ett anställningsförhållande som hög risk. Programvara som bedömer hur varje medarbetare hanterar varje samtal är svår att beskriva på något annat sätt.

Skyldigheterna skulle gälla från den 2 augusti 2026. Den digitala omnibusen om AI, förordning (EU) 2026/1744, flyttade dem till den 2 december 2027. Det mesta av arbetet hamnar på er, som arbetsgivare och användare av systemet:

• Mänsklig tillsyn. Personer med kompetens och befogenhet måste kunna granska poängen och rätta dem. En poäng som ingen kan spåra tillbaka till samtalet går inte att granska.
• Information till de anställda. Innan ni tar ett högrisksystem i bruk på arbetsplatsen kräver artikel 26.7 att ni informerar de berörda och deras företrädare. Medbestämmandelagen kräver i regel redan att ni förhandlar med facket innan ni inför ett sådant system.
• Loggar och uppföljning. Ni sparar systemets loggar i minst sex månader (artikel 26.6) och följer hur det fungerar i bruk.

En regel är inte uppskjuten alls. Sedan den 2 februari 2025 förbjuder artikel 5 AI som tolkar känslorna hos människor på jobbet, med snäva undantag för medicinska ändamål och säkerhet. Förordningen definierar känsloigenkänning utifrån biometriska uppgifter, som rösten. Fråga därför varje leverantör hur de bedömer ”ton” eller ”empati”: utifrån vad medarbetaren sa, eller hur hen lät? Att bedöma en transkription mot kriterier som ”bekräftade problemet innan hen föreslog en lösning” är en bedömning av ord. Att läsa känslor ur rösten hos människor på jobbet är förbjudet.

4. Hjälper det oss med klagomålen?

Finansinspektionens allmänna råd om klagomålshantering, FFFS 2002:23, säger att företagen bör ha rutiner för att följa upp klagomål. De europeiska riktlinjerna från ESMA och EBA och från EIOPA för försäkring går längre: företagen ska analysera klagomålsdata löpande, hitta grundorsaker som är gemensamma för olika typer av klagomål och åtgärda dem.

Klagomål är ett dåligt ställe att leta grundorsaker på. De kommer veckor efter samtalet som orsakade dem, bara från kunderna som orkade klaga, och de beskriver symptomet. När Finansinspektionen granskade försäkringsbolagens klagomålshantering konstaterade myndigheten att de flesta inte analyserade sina klagomålsdata löpande.

När varje samtal bedöms flyttar analysen tidigare i kedjan. Gör de vanligaste klagomålsorsakerna till kriterier, som ”förklarade självrisken innan kunden tackade ja” eller ”bekräftade uppsägningsvillkoren”, så ser ni hur ofta de missas i samtalen som aldrig blev klagomål. När ett klagomål väl kommer hittar ni samtalet, ögonblicket och alla andra samtal med samma miss. Det är grundorsaksanalys med bevis.

5. Kan ni visa varför ett samtal fick sin poäng?

Be leverantören öppna ett bedömt samtal och visa raden i transkriptionen bakom varje poäng. Fråga sedan vad som händer när en medarbetare inte håller med.

De fyra första frågorna slutar alla här. Mänsklig tillsyn enligt AI-förordningen hänger på det. Internrevisionen kommer att testa det. Medarbetarna godtar bara poäng de kan se och ifrågasätta. Och när Finansinspektionen frågar hur ett klagomål hanterades är ”modellen gav det en 2:a” inget svar. Samtalet, ögonblicket och kriteriet är det.

I Future Ready kommer varje poäng med citaten från samtalet som ledde till den. Medarbetare kan lämna en invändning mot vilken poäng som helst. En chef avgör den, beslutet loggas bredvid poängen, och det räknas in i hur ofta AI:n håller med era medarbetare, så att ni ser var den inte gör det.

Checklista innan ni skriver på

1. Få listan över underbiträden, med vad varje företag ser och var det körs.
2. Bestäm om varje steg måste ske i EU, och skriv in svaret i avtalet.
3. För in tjänsten i DORA-registret och stäm av avtalet mot artikel 30.2.
4. Bedöm systemet mot bilaga III nu och ta upp det med facket tidigt.
5. Fråga hur leverantören bedömer ton: utifrån ord eller utifrån röst.
6. Lägg in de vanligaste klagomålsorsakerna i bedömningsmallen.
7. Öppna tre bedömda samtal och kontrollera bevisen bakom varje poäng.

Besvarade skriftligt är de fem frågorna det mesta av vad upphandlingen kommer att be om.

Skicka oss frågorna från compliance. Vi svarar skriftligt, med listan över underbiträden och våra ISO 27001- och 27701-certifikat, innan ett enda samtal har bedömts.