Studie visar begränsad mänsklig-AI-överensstämmelse i forskningsrecensioner
En ny studie från arXiv belyser att AI-genererade recensioner av vetenskapliga artiklar har begränsad överensstämmelse med mänskliga bedömningar, och att detta varierar kraftigt beroende på prompt och modell.
Vad har hänt
Forskare har undersökt stora språkmodellers (LLM) förmåga att recensera vetenskapliga artiklar. Experiment utfördes på artiklar från 2025 års ACL Rolling Review (ARR) för att utvärdera LLM-recensioner ur både författar- och recensionsperspektiv. Studien identifierar en begränsad överensstämmelse mellan LLM-genererade recensioner och mänskliga sådana. Överensstämmelsen visade sig vara mycket varierande beroende på vilka instruktioner (prompter) modellerna fick och vilken specifik LLM som användes.
Snabbfakta
| Källa | arXiv cs.AI |
|---|---|
| Granskade artiklar | 2025 ACL Rolling Review (ARR) |
| Huvudfynd | Begränsad överensstämmelse mellan LLM och mänskliga recensioner |
”LLM-generated reviews for scientific papers are gaining considerable traction and are even being officially piloted by major conferences.”
”we identify a limited alignment of LLM reviews with human ones. In the best-case scenario, the alignment is reasonable. However, we also find that LLM-human alignment varies substantially across prompts and models.”
”Finally, we investigate the scenario in which the author uses an iterative draft-revise workflow to improve the submission according to the LLM review. We find that this "gaming" of LLM reviews can be effective in specific scenarios, leading to a statistically significant increa”
Varför det spelar roll
Användningen av LLM för att granska vetenskapliga publikationer ökar, och stora konferenser piloterar AI-baserade system. Resultaten indikerar att även om LLM kan vara ett stöd, är deras bedömningar inte fullt överförbara med mänskliga omdömen. Detta väcker frågor om kvalitetssäkring och rättvisa i den vetenskapliga granskprocessen. Studien visar också att författare kan "spela systemet" genom att iterativt förbättra sina bidrag baserat på LLM-recensioner, vilket i vissa fall leder till statistiskt signifikanta förbättringar.
Vem påverkas
Forskare, författare av vetenskapliga artiklar, redaktörer för vetenskapliga tidskrifter och AI-utvecklare påverkas direkt. Även institutioner som förlitar sig på peer review-processer, liksom de som utvecklar och implementerar AI-verktyg för vetenskaplig granskning, berörs av resultaten.
EU-status
Resultaten är globala och påverkar forskningssamhället oberoende av geografisk placering. EU-forskare och universitet som använder eller planerar att införa AI-assistans i sina granskningsprocesser bör beakta dessa fynd. Ej relevant för EU-specifik reglering i dagsläget.
Mer att veta
Studien antyder att en djupare förståelse för hur LLM-recensioner används och tolkas är avgörande för att upprätthålla integriteten i vetenskaplig publicering.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Påverkar det EU?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.