Det schweiziske firma LatticeFlow har udviklet en LLM Checker og har gået efter om en lang række af de store sprogmodeller overholder EU’s AI forordning. Resultatet var ikke prangende. Med til historien hører, at hvis virksomhederne ikke lever op til forordningen imødeser de bøde på op til 35 millioner euro.
Systemet, der hedder COMPL-AI er udviklet af Schweiziske LatticeFlow, der specialiserer sig i at skabe robuste og sikre AI-modeller. Systemet tildeler point ud fra i alt 27 benchmarks, der kan inddeles i tre hovedkategorier:
- Cybersikkerhed: Modeller bliver evalueret på, hvor godt de beskytter mod trusler som hacking eller manipulation. Hvis en model har stærke mekanismer på plads til at sikre data og modstå cyberangreb, scorer den højt i denne kategori .
- Fairness og bias: Modeller testes for deres evne til at levere retfærdige og ikke-diskriminerende resultater. Dette involverer at vurdere, om en model favoriserer eller diskriminerer visse grupper på baggrund af køn, etnicitet eller andre parametre. Mangler i dette område kan føre til lavere point .
- Skadeligt output: Modeller får point baseret på, hvor godt de undgår at generere skadeligt eller upassende indhold. Dette kan inkludere alt fra falsk information til voldeligt eller diskriminerende sprog. En høj score i denne kategori indikerer, at modellen har effektive filtre og sikkerhedsforanstaltninger .
Ud over disse kerneområder vurderer LatticeFlows system også andre faktorer som privatlivsbeskyttelse og copyright-overholdelse, men de nuværende regler gør det ifølge LatticeFlow svært at kvantificere disse områder nøjagtigt med de nuværende tekniske værktøjer .
Overordnet set er resultaterne blandede. Alle modellerne er gode til ikke at følge skadelige input og de er rimelige til ikke at give svag præget af fordomme. Alle modellerne scorer lavt på fairness. Ingen modeller kom over 0,5 og flere røg under. I en rapport fastslår LatticeFlow, at alle modellerne havde problemer med at score højt på diversitet, ikke-diskrimination og fairness.
LatticeFlow leaderboard offentliggjort på Hugging Face viser, at Alibaba, Anthropic, OpenAI, Meta og Mistrals modeller i gennemsnit scorer omkring 0,75 i testen. I testen får modellerne point på en skala mellem 0 og 1, hvor 1 betyder at modellen fuldt ud lever op til forordningen – altså fuld compliance. Det vil sige, at en høj score vil ligge omkring 1 og en lav score vil ligge under 0,5.
GPT-3 fra OpenAI fik en lav score på 0,46 i forhold til diskriminerende output. På den samme parameter fik Alibaba Clouds Qwen1.5 fik kun 0,37. På parameteren ”prompt hijacking” fik fik Metas ”LLaMA 2 13B Chat”-model 0,42 og ”Mistrals 8x7B Instruct”-model 0,38 point. Den samlede topscorer i testen var Anthropics ”Claude 3 Opus”-model, der fik en gennemsnitsscore på 0.89.
Peter Tsankov, CEO for LatticeFlow, udtaler til TechCrunch, at det er tydeligt at modellerne ”primært er optimeret i forhold til evner fremfor compliance”.
Hverken Meta, Mistral, Alibaba, Anthropic eller OpenAI har kommenteret resultaterne. Til gengæld har Europa Kommissionen gennem en talsmand budt modellen velkommen.
Kilder:
https://huggingface.co/spaces/latticeflow/compl-ai-board
https://www.techopedia.com/news/big-techs-ai-models-fail-to-comply-with-new-eu-ai-act
Share