Studie avslöjar faktafel i AI-genererade akademiska texter
En ny studie undersöker förekomsten av faktafel, så kallade hallucinationer, i texter genererade av stora språkmodeller (LLM) för akademiska ändamål.
Vad har hänt
Forskare har genomfört en studie som analyserar hur fyra stora språkmodeller – ChatGPT, Grok, Gemini och Copilot – presterar vid generering av akademiska texter. Studien utvärderade modellernas förmåga inom områden som referensgenerering, faktabaserade förklaringar, abstraktgenerering och textförbättring. Totalt 80 prompter användes inom dessa kategorier.
Snabbfakta
”Large Language models (LLMs) show extraordinary abilities, but they are still prone to hallucinations, especially when we use them for generating Academic content. We have investigated four popular LLMs, ChatGPT, Grok, Gemini, and Copilot for hallucinations specifically for acade”
Varför det spelar roll
Stora språkmodeller blir allt vanligare verktyg inom akademisk forskning och skrivande. Upptäckten att dessa modeller genererar hallucinationer – trovärdiga, men felaktiga eller påhittade, svar – belyser en kritisk utmaning. Detta kan undergräva tillförlitligheten i AI-genererat akademiskt innehåll och påverka forskningsprocessers integritet.
Vem påverkas
Forskare, studenter, lärare och utvecklare av AI-modeller påverkas direkt. Akademiska institutioner måste förhålla sig till användningen av dessa modeller, medan AI-utvecklare får insikter i områden som behöver förbättras gällande faktamässig korrekthet. Användare av LLM:er för akademiska ändamål måste vara medvetna om risken för felaktigheter.
EU-status
Ej relevant för EU-status.
Mer att veta
Studien introducerade ett nytt viktat mätvärde, Hallucination Index (HI), för att kvantifiera graden av hallucinationer. Vissa modeller visade bättre prestanda inom specifika uppgifter, som Grok och Copilot vid referensgenerering, men uppvisade fortfarande brister i den övergripande faktabaserade korrektheten.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka modeller testades i studien?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.