Beskriv hva et godt resultat er
Kvalitet betyr forskjellige ting for forskjellige oppgaver. Et svar fra interne håndbøker må være riktig og vise til gjeldende kilde. Et utkast til kundesvar må i tillegg være forståelig, bruke riktig tone og ikke love noe virksomheten ikke kan holde. En sortering av henvendelser må plassere sakene i kategorier de ansatte faktisk bruker.
Velg noen få krav som kan vurderes på samme måte hver gang. Skriv gjerne ett eksempel som er godt nok, ett som må rettes, og ett som skal avvises. Da blir det lettere å oppdage at to fagpersoner tolker kravene ulikt.
Lag et testsett som ligner virkeligheten
Samle saker fra perioden, tjenesten og brukergruppen løsningen skal møte. Ta med vanlige tilfeller, sjeldne men viktige unntak, ufullstendige spørsmål, utdaterte kilder og formuleringer brukerne faktisk skriver. Fjern eller anonymiser personopplysninger som ikke trengs.
Merk hvert eksempel med hva dere forventer: et bestemt svar, noen nødvendige fakta, riktig kategori eller at løsningen skal be om hjelp. Oppbevar testsettet med versjonsnummer og dato, slik at dere kan kjøre de samme testene etter endringer.
La fagfolk vurdere og begrunne resultatene
Automatiske tester kan sjekke format, manglende lenker eller om bestemte fakta er med. De kan ikke alene avgjøre om et råd passer den konkrete saken. La derfor personer som kjenner fagområdet, vurdere et representativt utvalg.
Be dem registrere både resultat og begrunnelse. Hvis to personer vurderer samme svar ulikt, må dere avklare kriteriet før dere justerer modellen. Uenigheten kan skyldes at virksomheten mangler en felles regel, ikke at KI-løsningen er dårlig.
Test hele løsningen, ikke bare teksten
- Forstår brukeren hva løsningen kan og ikke kan hjelpe med?
- Er det tydelig hvilke kilder svaret bygger på?
- Kan brukeren rette, forkaste og sende saken videre?
- Hva ser brukeren når kilden mangler eller systemet er utilgjengelig?
- Blir nødvendige endringer og godkjenninger lagret?
Mål også tiden de ansatte bruker på hele oppgaven. Hvis selve utkastet kommer raskt, men kontroll og retting tar lenger tid enn før, har løsningen ikke gitt den forbedringen dere ønsket.
Fortsett å teste etter lansering
Kildene, modellene og måten folk bruker løsningen på vil endre seg. Kjør testsettet når dere bytter modell, endrer instruksjonene eller oppdaterer viktige kilder. Følg med på hvilke forslag ansatte retter eller forkaster, og hvilke saker som må håndteres manuelt.
Jeg kan hjelpe dere å lage testsettet, bygge vurderingen inn i løsningen og følge kvaliteten over tid. Arbeidet tilpasses det ansatte eller kunder faktisk skal bruke KI til.