Forståelse af AI: Et kig under motorhjelmen på AI-modellerne

TL;DR: fire hovedpointer

• En rapport fra Anthropic viser, hvordan man kan gøre komplekse AI-modeller mere gennemsigtige ved at bryde dem ned i mindre, mere meningsfulde dele kaldet “features”. Dette gør det lettere at forstå, hvordan modellerne træffer beslutninger.
• Ved at bruge sparsomme autoencodere kan AI-modeller komprimere og behandle data mere effektivt, hvilket forbedrer deres præcision og ydeevne. Dette hjælper modellerne med at fokusere på de vigtigste data og ignorere uvæsentlige detaljer.
• Rapporten introducerer “Ghost Grads” som en metode til at genaktivere døde neuroner i AI-modeller. Dette sikrer, at alle neuroner arbejder aktivt, hvilket forbedrer modellens effektivitet og evne til at genkende mønstre.
• AI-modeller kan gemme og håndtere meget information ved at “stable” det i de samme neuroner, ligesom man ville stable bøger på en overfyldt reol. Dette gør modellerne meget effektive og i stand til at lære komplekse mønstre i data.

I 2017 sparkede Google døren ind til de store sprogmodellers periode med rapporten ”Attention is all you need” – opmærksomhed er alt du behøver. Attention-mekanismen var det, der for alvor gjorde systemer som ChatGPT mulig fordi den markant forbedrede deres forståelse af menneskeligt sprog også kaldet naturligt sprog eller Natural Language Processing (NLP). I de seneste år er kunstig intelligens (AI) blevet en uundgåelig del af vores hverdag, fra personlige assistenter som Siri og Alexa til avancerede diagnoseværktøjer i sundhedssektoren. Men på trods af deres udbredelse forbliver mange af disse AI-systemer en slags “sort boks” – vi ved, hvad de gør, men ikke hvordan de gør det. En ny rapport fra forskere hos Anthropic, “Scaling Monosemanticity” adresserer netop dette problem ved at gøre AI-modeller mere gennemsigtige og forståelige. Ordet “monosemanticity” kan oversættes som “monosemantik”. Monosemantik refererer til et koncept eller en term, der har én entydig betydning. Det bruges i AI-forskning til at beskrive funktioner eller enheder i en model, der repræsenterer én specifik betydning eller funktion, uden tvetydighed.

Nedbrydning i mindre dele

En af de centrale metoder, rapporten fokuserer på, er kendt som “dictionary learning” eller ordbogs-læring. Det er en teknik, der bryder komplekse AI-modeller ned i mindre og mere forståelige enheder kaldet “features” eller funktioner. Disse funktioner repræsenterer mønstre i neuronaktiveringer og kan opdeles i meningsfulde kategorier såsom DNA-sekvenser, juridisk sprog, HTTP-anmodninger og mere. Ved at identificere disse enheder kan forskere bedre forstå, hvordan AI-modellen når sine resultater.

Forskerne har brugt sparsomme autoencodere til at udtrække disse features fra transformer-modeller, som er en type AI-modeller, der bruges bredt i sprogforståelse og generation. Denne metode har gjort det muligt at skalere processen til meget store modeller med milliarder af parametre. Et spændende fund er, at mange af disse features er tværgående på flere sprog, hvilket betyder, at en model kan genkende det samme koncept på forskellige sprog.

Autoencodere er en type kunstig intelligens, der hjælper med at forstå og komprimere data mere effektivt. Forestil dig, at du prøver at kopiere et billede ved at tegne det med færre streger og detaljer. En autoencoder er en AI-model, der gør noget lignende: den tager data (som et billede), komprimerer det til en enklere form, og derefter prøver at genskabe det originale data ud fra den enkle form. Sparsomme autoencodere hjælper AI-modeller med at blive mere effektive og præcise ved at fokusere på de vigtigste dele af dataene og ignorere mindre vigtige detaljer.

Håndtering af døde neuroner

Et andet vigtigt emne, der behandles i rapporten, er problemet med “døde neuroner”. I en AI-model refererer døde neuroner til dele af modellen, der ikke længere bidrager til resultaterne, hvilket reducerer effektiviteten. For at tackle dette problem har forskerne udviklet en metode kaldet “Ghost Grads”. Denne metode genopliver døde neuroner ved at tilføje en ekstra term til tabet under træningen af modellen, hvilket gør de døde neuroner aktive igen. Selvom denne proces kræver dobbelt så meget beregningskraft, viser empiriske data, at det forbedrer modellernes ydeevne markant.

Håndtering af døde neuroner i AI-modeller er vigtigt af flere enkle grunde. Det sikrer, at alle dele af modellen arbejder aktivt og ikke spilder ressourcer. Det gør modellen hurtigere og mere økonomisk at køre. Modeller med færre døde neuroner kan bedre genkende mønstre og træffe mere præcise beslutninger, fordi flere neuroner bidrager til at forstå dataene. Når alle neuroner er aktive, kan modellen lettere tilpasse sig nye data og opgaver, hvilket gør den mere robust og alsidig.Kort sagt, ved at sikre, at ingen neuroner er “døde”, forbedres modellens ydeevne, præcision og evne til at tilpasse sig.

En overfyldt bogreol

Rapporten diskuterer også superpositionshypotesen. Superpositionshypotesen handler om, hvordan kunstige neurale netværk (som AI-modeller) håndterer og repræsenterer information. 

Forestil dig, at du har en lille reol med meget få hylder, men du har mange forskellige bøger, du vil opbevare. For at få plads til alle bøgerne, lægger du flere bøger på samme hylde. Selvom hylderne er overfyldte, kan du stadig finde hver bog, hvis du ved, hvordan du skal lede efter dem.

I AI-modeller er neuroner som hylderne, og informationen, de skal huske, er som bøgerne. Superpositionshypotesen siger, at disse modeller kan gemme mange forskellige stykker information i de samme neuroner. Modellen finder en smart måde at “stable” informationen på, så den kan trække det rigtige stykke frem, når det er nødvendigt, ligesom du ville finde en bestemt bog på en overfyldt hylde.

Denne måde at gemme information på gør AI-modeller meget effektive, fordi de kan huske og håndtere mange flere ting, end man ville forvente, baseret på antallet af neuroner. Det hjælper modellerne med at lære og genkende komplekse mønstre i data.

Større forståelighed i mindre dele

Rapporten “Scaling Monosemanticity” viser, hvordan man kan gøre AI-modeller mere forståelige ved at bryde dem ned i mindre, meningsfulde dele. Dette gør det lettere at se, hvordan modellerne træffer beslutninger. Ved at bruge nye teknikker kan AI blive mere effektiv og præcis, hvilket åbner for bedre mønstergenkendelse og avanceret anvendelse som sikkerhed og sundhedsdiagnostik. Dette gør AI mere pålidelig og anvendelig på tværs af forskellige områder. 

Rapporten åbner dermed for en række nye muligheder for at forbedre AI-teknologier og deres anvendelse i praksis, samtidig med at den adresserer nogle af de udfordringer, der har været forbundet med at forstå og stole på komplekse AI-systemer.