Studie avslöjar betydande fel i AI-träningsdata för logik
En ny studie visar att ledande benchmark-datauppsättningar för översättning av naturligt språk till första ordningens logik innehåller omfattande fel, vilket påverkar AI-modellernas utvärdering.
Vad har hänt
Forskare har genomfört en systematisk mänsklig granskning av datauppsättningarna FOLIO och MALLS, vilka är centrala för neurosymbolisk AI och NLI. Granskningen fann att uppskattningsvis 39% av posterna i FOLIO och 36% i MALLS innehöll felaktiga FOL-formaliserningar. Dessutom identifierades tvetydiga naturliga språk-meningar i 16,4% av FOLIO och 48% av MALLS, samt felaktiga NLI-etiketter i 8,4% av FOLIO.
Snabbfakta
”Our first contribution is to present a systematic human inspection of the validation split of \textsf{FOLIO} and a subset of \textsf{MALLS} test instances, finding that approximately 39% and 36% of entries, respectively, contain incorrect FOL formalizations (i.e., ground truth la”
Varför det spelar roll
Dessa datauppsättningar används som guldstandard för att träna och utvärdera stora språkmodeller (LLM:er) och andra AI-system i deras förmåga att förstå och representera logik. Felaktigheter i dessa benchmark-data kan leda till en snedvriden bild av modellernas verkliga prestanda och framsteg inom neurosymbolisk AI. Korrigerade datauppsättningar har nu tagits fram för att möjliggöra mer rättvisande utvärderingar.
Vem påverkas
Studien påverkar i första hand AI-forskare och utvecklare som arbetar med neurosymbolisk AI och naturliga språk-inferens. Företag som investerar i eller bygger AI-system baserade på logisk förståelse kan behöva omvärdera sina modellers prestanda. Slutligen, användare av AI-produkter som bygger på dessa typer av modeller kan indirekt påverkas av potentiellt felaktiga slutsatser från systemen.
EU-status
Ej relevant för EU-status.
Mer att veta
Studien testade tre stora språkmodeller – Gemma 4 31B-it, Qwen3-30B-A3B och GPT-4o-mini – med de korrigerade datauppsättningarna. Detta visar hur felaktiga grunddata kan förvränga resultat även för toppmoderna modeller.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.