Ny forskning avslöjar brister i utvärdering av visuella AI-modeller
En ny studie identifierar flera metodologiska problem som snedvrider hur fältet mäter visuella-språkliga resonemangsförmågor hos AI-modeller, särskilt inom fysik.
Vad har hänt
Forskare har genomfört en revision av den nuvarande utvärderingskedjan för multimodala fysikmodeller. Studien, med titeln "Physics-R1: An Audited Olympiad Corpus and Recipe for Visual Physics Reasoning" och publicerad den 26 maj 2026, pekar på tre huvudproblem: kontamination mellan tränings- och utvärderingsdata, drift i översättningar, samt en överrepresentation av flervalsfrågor i utvärderingsdata. Dessa faktorer leder till en felaktig bild av AI-modellernas verkliga kapacitet.
Snabbfakta
| Publikationsdatum | 26 maj 2026 |
|---|---|
| Antal brister identifierade | 3 |
| Kontamination (SciInstruct) | 134 nära-dubletter, 4 846 parafraser |
| Sonnet 4.5 prestandaskillnad | 30.5% vs 13.6% |
”We audit the multimodal-physics evaluation pipeline end-to-end and document three undetected construction practices that distort how the field measures vision-language reasoning: train-eval contamination, translation drift, and MCQ saturation.”
”A three-stage audit [...] surfaces 134 near-duplicates and 4,846 paraphrase candidates in SciInstruct alone.”
”A 46-pp format-and-novelty gradient on identical Sonnet weights between MCQ (79.7% on PhyX) and open-ended olympiad evaluation (33.4% on PhysOlym-A).”
Varför det spelar roll
Dessa identifierade brister innebär att nuvarande utvärderingsmetoder kan överdriva AI-modellernas förmåga att utföra visuella-språkliga resonemang. Kontamination av data innebär att modeller oavsiktligt tränas på delar av testdata, medan översättningsdrift och fokus på flervalsfrågor inte fullt ut speglar komplexiteten i verklig problemlösning. Detta försvårar en korrekt bedömning av framsteg och identifiering av verkligt intelligenta system.
Vem påverkas
Forskare och utvecklare inom AI, särskilt de som arbetar med multimodala modeller och visuella-språkliga uppgifter, påverkas direkt. Organisationer som utvärderar AI-system för mer komplexa applikationer, exempelvis inom utbildning eller vetenskap, behöver beakta dessa resultat för att säkerställa validiteten i sina bedömningar. Även användare av AI-modeller bör vara medvetna om de metodologiska utmaningarna i utvärderingsprocessen.
EU-status
Ej relevant för EU-status.
Mer att veta
Som en del av studien släpps fyra nya artefakter, PhysCorp-A, för att adressera de identifierade bristerna och erbjuda förbättrade verktyg för utvärdering.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.