Hallucinationer har altid været en alvorlig bivirkning ved de kraftfulde sprogmodeller og det har gjort, at mange virksomheder har store reservationer og indfører grundige sikkerhedsforanstaltninger for at gardere sig mod hallucinationer i deres omgang med modellerne. Hallucinationer er en konsekvens af hvordan sprogmodellerne fungerer og derfor et grundvilkår i brugen af LLM’erne. Men er der virkeligt ingenting, man kan gøre for at undgå hallucinationer og hallucinationer altid af det onde?
Hallucinationer og hvorfor de opstår
Det vi kalder hallucinationer er, når vi stiller et spørgsmål til en stor sprogmodel som fx ChatGPT eller Claude og de så kommer med et svar, der er fuldstændigt frit opfundet. Det kan både være selve svaret eller kilder, som er ukorrekte. Hallucinationer opstår fordi modellerne rent faktisk ikke ved noget, men svarer på basis af genkendelse af mønstre i en serie af ord og en sandsynlighedsberegning over hvilket ord, der er det næste på basis af den træningsdata. Der er altså i virkeligheden ikke tale om svar, men om en forudsigelse om, hvordan svaret kunne lyde i dens træningsdata. ”At prøve at udrydde hallucinationer fra generativ AI er ligesom at prøve at eliminere hydrogen fra vand,” udtaler Os Keyes, Ph.d. kandidat ved University of Washington til TechCrunch.
Troværdig AI
Ikke desto mindre har flere forsøgt at løse problemerne omkring hallucinationer i sprogmodeller og senest har Microsoft meldt sig på banen med et nyt initiativ, de kalder ”Trustworthy AI” – troværdig AI. En del af initivet er ”Corrections”, der er en del af ”Azure AI Content Safety”, der skal opdage og rette hallucinationer i real time. Azure AI Content Safety er en tjeneste fra Microsoft, designet til at identificere og filtrere skadelig indhold på deres platforme, herunder hadefulde ytringer, vold og misinformation, fra AI-genereret indhold. Funktionen kan bruges med alle sprogmodeller og fungerer ved at systemet finder og markerer den ukorrekte del af sprogmodellens tekst.
Kampen mod hallucinationerne
Tidligere på året introducerede Google en lignende funktion med Vertex AI, der ligesom Corrections ”ground’er” (altså giver den jordforbindelse) AI-modeller ved at sammenligne modellens tekst med andre datasæt udover modellens træningssæt.
Tidligere på året introducerede forskere fra Oxford Universitets Computer Science afdeling begrebet ”semantic entropy”. Ved at måle en AI-generet teksts ”semantic entropy” (meningsusikkerhed), kan man vurdere om der er tale om hallucinationer og derved modvirke dem.
Derudover er der en række kendte metoder til at modvirke hallucinationer i LLM’er.
- Træning på mere faktuel og kurateret data: Forbedring af træningsdata med verificerbare kilder.
- Prompt-justering: Optimering af brugerforespørgsler for at undgå åbne eller tvetydige svar.
- Feedback-loop: Implementering af brugerfeedback for at identificere og korrigere fejl.
- Hybrid AI-systemer: Kombination af flere AI-modeller til at validere hinandens output.
- Finetuning: Tilpasning af modellen ved yderligere træning på specifikke data for at forbedre nøjagtigheden.
- Justering af vægte: Ændring af modellens interne parametre for at korrigere tendensen til at hallucinerer.
- Justering af temperatur: Reduktion af modellens temperatur for at mindske kreative men potentielt fejlagtige outputs.
- RAG (Retrieval-Augmented Generation): er en metode, hvor en AI-model søger efter relevant information i databaser eller dokumenter undervejs i genereringsprocessen. I stedet for kun at basere sig på træningsdata, kan modellen slå op i eksterne kilder i realtid og inkorporere disse fakta i sine svar.
LLM’er som kreativ katalysator
Vi kender ulemperne og farerne ved at AI-modeller hallucinerer. Deciderede forkerte informationer kan have alvorlige konsekvenser særligt på områder, som journalistik, forskning og professionel kommunikation, hvor nøjagtighed er afgørende. I erhvervslivet kan hallucinationer betyde dårlige beslutninger og i sidste ende økonomiske tab, hvis de ikke fanges i tide.Hvis en hallucination resulterer i falske eller skadelige påstande om personer, organisationer eller begivenheder, kan det have juridiske konsekvenser og skabe etiske dilemmaer.
Men er der slet ingen positive sider af hallucinationerne? Faktisk kan man argumenter for, at AI-modellernes hallucinationer kan virke som en booster for menneskelig kreativitet. I kreative sammenhænge kan hallucinationer være en kilde til ny inspiration og uventede idéer. For eksempel, i kunstneriske eller historiefortællende applikationer kan en “hallucineret” detalje give nye perspektiver.
Hallucinationer kan skabe nye forbindelser mellem ideer, som ellers ikke ville have været oplagte. Dette kan være nyttigt i brainstorming eller, når man søger efter nytænkning og kreative løsninger i redaktionelle miljøer. I forsknings- og redaktionelle sammenhænge kan hallucineret indhold åbne op for diskussioner om “hvad nu hvis”-scenarier, hvilket kan føre til dybere analyser og nye vinkler på eksisterende emner.
Hallucinationerne er ikke en fejl
Måske handler det mest om, hvordan vi ser hallucinationerne. Hvis virksomheder og vi andre forventer, at vi skal eliminere hallucinationerne fuldstændigt for at sprogmodellerne for alvor skal kunne tilføje værdi, så har det lange udsigter. Hallucinationerne er kommet for at blive, fordi der ikke er tale om en fejl, men en konsekvens af den måde sprogmodellerne er skruet sammen.
Det skaber naturligvis nogle udfordringer i brugen af modellerne, men alle tiltagene – nye som kendte – for at bekæmpe hallucinationerne kan om ikke andet bruges til at begrænse hallucinationerne.
Samtidigt giver det faktum, at der er tale om en feature og ikke en fejl i sprogmodellerne også interessante muligheder for endnu mere kreative funktioner af systemerne. Hallucinationerne kan føre til helt nye tankebaner på kendte problemer. Og nogle gange kan inspiration have lige så stor en værdi som nøjagtighed. Samtidigt er det en påmindelse om, at det i sidste ende er os, der har ansvaret for det output vi bringer videre fra modellerne.
Share