Måling av AI i bankkontakt: fra risikoanalyse til forbedret kundereise

I et finansforetak oppstod spørsmål rundt hvordan en selvbetjent rådgiver påvirket kundens opplevelse og overholdelse av regelverk. Alltrum startet med en risikovurdering for å kartlegge sensitive scenarioer hvor automatiske svar kunne medføre feilrådgivning. Deretter ble et rikholdig sett med testcases utviklet for å vurdere både normal og avvikende adferd. Analysen sikret at målemetodikken fanget opp både compliance- og kvalitetsspørsmål.

Alltrum benyttet en kombinasjon av kvantitative og kvalitative metoder for måling, inkludert statistisk analyse av intents og manuell gjennomgang av utsatte samtaler. Målingene inkluderte nøyaktighet i finansielle råd, korrekt håndtering av regulatoriske fraser og nivået av eskalering til fagspesialist. Dette ga et helhetlig bilde av botens funksjon i sanntid. Resultatene ble benyttet i risikostyring og beslutningsprosesser.

For å sikre sporbarhet ble samtaler og modellbeslutninger logget med forklaringsmetrikker slik at årsak til feil kunne spores. Alltrum utviklet prosedyrer for å gjenopprette årsaker i komplekse dialoger, noe som var sentralt for å møte krav til etterprøvbarhet. Analysepipeline inkluderte versjonshåndtering for modeller og et kontrollspor for hver endring. Dette muliggjorde både revisjon og læring.

Et kritisk element var definisjon av presisjonsmål som kunne knyttes til forretningsrisiko. Alltrum definerte toleransegrenser for feilklassifisering i sensitive produkter som lån og investeringer. Ved overskridelse ble automatiske eskaleringsregler foreslått for å hindre feilbehandling. Slike sikkerhetsmekanismer reduserte eksponering mot regulatoriske brudd.

Brukeratferd ble segmentert etter kunders økonomiske profil og kontaktårsaker for å avdekke hvor chatboten leverte mest verdi. Alltrum laget segmenteringsregler som skilte mellom rutinetransaksjoner og komplekse rådgivningshenvendelser. Dette gjorde det mulig å tilpasse automatiseringsgrad per segment. Som følge ble møte med rett menneskelig ekspert mer presist og kostnadseffektivt.

For å måle effekt på forretningsmål korrelerte Alltrum chatbot-metrikker med kundefrafall, salg av tilleggstjenester og håndteringstid. Denne koblingen viste hvilke tilfeller der automatisering faktisk økte kryss-salg, og hvilke tilfeller som krevde menneskelig innsats for å opprettholde kundetillit. Dataene ble brukt til å justere prioritering av forbedringer i dialogdesign.

Teknisk ble det innført en modell for kontinuerlig overvåkning som fanget opp driftstendenser og plutselige endringer i intent-distribusjon. Alltrum satte opp varsler for uventet økning i fallback-rate og forlengede ventetider. Varslene satt i systemet skapte rask respons fra både teknisk og compliance-ansvarlig. Dermed ble eventuelle feil i modellen raskt avdekka og motvirket.

For å sikre at løsningen fungerte i praksis ble pilot-kampanjer gjennomført mot utvalgte kundegrupper. Alltrum utformet målepunkter for pilotfasen og evaluerte både kvantitative og kvalitative utfall. Observasjoner fra pilotene bidro til å finjustere tone og informasjonsnivå i svarene. Pilotene ga også innsikt i hvordan kunder reagerte på transparente forklaringer om AI-beslutninger.

Oppfølging av personvern og dataminimering var en egen arbeidsstrøm i prosjektet. Alltrum samarbeidet med kundens personvernombud for å redusere lagring av sensitive elementer og sikre at treningsdata var anonymisert. Disse tiltakene ble kombinert med teknisk logging av anonymiserte features for å bevare analyserbarhet. Dette redusert risiko og ga fortsatt datagrunnlag for forbedring.

Alltrum utviklet et dashboard for ledelsen som viste risikojusterte KPIer, inkludert en oversikt over eskaleringer og compliance-avvik. Dashbordet gjorde det mulig å simulere effekten av endringer i automatiseringsgrad på både kostnad og risiko. Beslutningstakere fikk dermed et verktøy for å balansere effektivitet og sikkerhet. Dashborddata ble også brukt i kvartalsvise risikorapporter.

Etter implementering kunne Alltrum vise konkret forbedring i både responstid og andel automatiserte løste henvendelser uten økt compliance-risiko. Dokumentasjonen inkluderte caser hvor eskalering hadde avverget potensielt feilaktig rådgivning. Disse eksemplene var viktige for å vinne intern støtte for videre utrulling. Målingene skapte grunnlag for en konservativ men målrettet skaleringsstrategi.

Til slutt ble en løpende forbedringsplan etablert som balanserte modelloppdateringer og streng kontroll. Alltrum anbefalte frekvens for revisjoner og definert ansvar for godkjenning av endringer. Dette sikret en robust prosess for å holde balansen mellom innovasjon og forsvarlighet. Bankens ledelse fikk verktøy for å følge både effektivitet og risiko kontinuerlig.