Dansk sprogmodel bliver semi-offentlige prestigeprojekter

I starten af maj måned var historien om en dansk sprogmodel den helt store historie i danske medier. Dansk Sprogmodel Konsortie er et samarbejde mellem Alexandra Instituttet, IBM Danmark og Dansk Erhverv. Sammen med 17 forskellige offentlige og private partnere som fx Salling Group, ATP og Aarhus kommune skal konsortiet bidrage til udviklingen af skræddersyede sprogmodeller. Konsortiet, der er åben for alle danske virksomheder, skal levere data til en række skræddersyede modeller, der udvikles af Danish Foundations Models.

Vicedirektør i Dansk Erhverv Casper Klynge udtalte til Version2, at det ikke var tanken, at modellerne skulle ses som direkte konkurrenter til OpenAI ChatGPT, Anthropics Claude 2 eller Googles Gemini. Den danske sprogmodel skal konkurrere på helt andre parametre som databeskyttelse, understøttelse af demokrati, sammenhængskraft, konkurrencevne og måske vigtigst af alt, skal konsortiet sikre adgang til uafhængige, transparente og gratis sprogmodeller trænet på danske data.

En dansk sprogmodel kan ikke følge med de store

Projektet er blevet rost fra mange sider. Dan Rose Johansen, der er direktør og stifter af Todai, der rådgiver om AI og udvikler AI-agenter til virksomheder er dog noget skeptisk over ideen. Han mener, at hvis konsortiet gik efter at udvikle specifikke modeller til specifikke områder, så ville ideen være god.

”De laver en generel model, som så også kan være bedre på dansk. Men hvis du gør en stor model i stedet for den der 7B-model. Som de gerne vil lave. Så kommer en stor model stadig til at være meget bedre på dansk,” siger Dan Rose Johansen. ”Det er sådan, at du kan træne de store modeller på 99% engelsk. Altså alle de andre sprog kan fylde den sidste procent. Og så får de stadig en meget bedre performance, end hvis du har en ren dansk trænet model.”

Kasper Junge er formand for Danish Data Science Community, vært for podcasten Verbos om AI og Lead AI Engineer hos Dinero. Gennem Danish Data Science Community har han været involveret i Danish Foundation Models og han er på mange måder begejstret for Dansk Sprogmodel Konsortie, men han er enig med Dan Rose Johansen i, at det ikke giver mening at udvikle en generel sprogmodel.

”Man kan nok lige så godt glemme at lave en generel model, som kan sammenligne sig med nogle af de helt store. De har jo en kæmpe research afdeling, som arbejder på the cutting edge af det her,” siger han.

Derimod mener han, at det giver rigtig god mening, at et konsortie går sammen om at levere data til specialiserede dansk udviklede modeller. Det han for alvor ser et problem i at man kalder sig Dansk Sprogmodel Konsortie og udadtil taler om at skabe én stor dansk sprogmodel. Og det er heller ikke det han forstår som formålet.

”Min forståelse af den her danske model er, at en bunke organisationer har sat sig sammen, kigget hinanden i øjnene, anerkendt, at det her er vigtigt, og så har spurgt dem, der allerede er i gang med – altså Danish Foundation Models – hvad har I brug for? Hvad kan vi gøre for jer, at jeres arbejde bliver nemmere? Og så har Danish Foundation Models sagt, vi har brug for data,” forklarer Kasper Junge.

Han henviser til Sverige, hvor man har postet milliarder i at udvikle en stor svensk sprogmodel, som en konkurrent til techgiganterne. Det man har fået ud af det er en meget dyr og meget dårlig sprogmodel i forhold til de ressourcer, de har brugt på det.

”Men det de har fået det ud af det, at de har fået samlet nogle ingeniører, som kan finde ud af at betjene de her store supercomputere. De har samlet en masse svenske sprogressourcer, og de har skabt en masse læring,” siger Kasper Junge.

Derfor er han tilhænger af et sådan projekt, men uden at investere de store summer i det, som svenskerne har, for at forsøge at opnå noget, som man alligevel ikke kan nå.

”Det handler bare om at være i gang på den mest lightweight måde, som man overhovedet kan. Og når jeg siger lightweight, så mener jeg, at man skal prøve at finde ud af, hvor man kan ligge færrest mulig penge og få mest muligt ud af det,” siger han.

Fokus på dansk kulturforståelse

Dan Rose Johansen er er stor tilhænger af ideen om at arbejde for at fremme dansk sprog og kulturforståelse, som er en vigtig del af konsortiets formål. Han mener dog ikke, at en dansk sprogmodel for alvor vil fremme det område.

”Det giver os ingenting i forhold til at bevare dansk kulturforståelse og dansk sprog. Hvis man vil opnå det, så skal man jo få den data ud, som kan komme med i alle modeller og særligt de mest anvendte. Som 99% af use cases kommer til at have. Så hvis man gerne vil bevare dansk, så skal man bruge energi på at gøre data på dansk tilgængeligt for alle,” siger Dan Rose Johansen.

Kasper Junge er ikke så fokuseret på om en sprogmodel har en særlig god dansk kulturforståelse.

”I forhold til, om den repræsenterer den danske kultur godt. Der tror jeg i virkeligheden mere bare, at jeg er optaget af, om det virker på dansk. Først og fremmest er jeg bare optaget af, om det rent faktisk virker.”

Problemet bliver hvis de store amerikanske sprogmodeller ikke er særligt gode til dansk, så kommer de ikke til at fungere særligt godt i forhold til danske brugere. Ikke mindst vil det potentiale, som modellerne rummer for en langt mere specialiseret og målrettet uddannelse ikke blive fuldt ud realiseret i Danmark, hvis danske børn og unge skal lære engelsk før de får glæde af modellerne. Så virker modellerne med andre ord ikke særligt godt.

Sikkerheden holder ikke

Et andet punkt, som Dansk Sprogmodel Konsortie fremhæver er sikkerheden og transparens omkring data. 

”Det, der var udgangspunktet, var at  det skulle være gennemsigtigt. Vi kender al den data modellen bliver trænet på. Det var fint nok, men det kommer der aldrig nogensinde data nok til, ” siger Dan Rose Johansen og forsætter: ”Så skiftede man over til at træne videre på en Mistral-model. Og Mistral har ikke åbnet for data. Det vil sige, nu ved man ikke, hvad for noget data der er i og derfor opnår man ingen transparens.”

Men sikkerhed er ikke en entydig størrelse og at det at man bygger en dansk sprogmodel på en eksisterende model som fx Mistral er ikke nødvendigvis en forhindring i Kasper Junges øjne.

”Det er jeg ikke synderligt bekymret for. Men det kommer også an på, hvad man mener med sikkerhed. Fordi er det, at den ikke må fortælle folk, hvordan de laver bomber, og begår indbrud, eller er det bias? Det er et stort spørgsmål, hvad sikkerhed betyder.”

Men ressourcemæssigt giver det ikke mening for Kasper Junge at udvikle en dansk sprogmodel fra bunden og derfor vil man skulle bygge systemet på modeller som fx Mistral.

Det bliver semi-offentlige prestigeprojekter

Intentionerne bag projektet er gode, men Dan Rose Johansen mener ikke at realiteterne lever op til intentionerne. Det kommer mere til at handle om det man kunne kalde marketing. Noget man kan skrive på hjemmesiden og demonstrere, at man gør noget. 

”Og det er mega synd, at det bliver sådan nogle semi-offentlige prestigeprojekter, fordi det kommer mere til at handle om, hvem der kan få sit navn på et eller andet projekt end det substansmæssige,” siger Dan Rose Johansen.

AI-Portalen har spurgt hos Alexandra Instituttet til et uddybende svar på Dan Rose Johansens kritik, men hos Instituttet henviser man til Casper Klynges udtalelse til Børsen som svar på kritikken:

”Men jeg synes, at det er en falliterklæring at kritisere noget for ikke at kunne levere præcis det samme som eksisterende internationale modeller – især når hele pointen er at lave noget, som er supplement og noget andet, der kan være med til at løfte nogle andre, mere skræddersyede behov.”