Studie: LLM genererar social jämförelse men saknar förmåga att upptäcka den
En ny studie visar att stora språkmodeller (LLM) kan generera text som framkallar social jämförelse hos läsare, men saknar förmåga att tillförlitligt identifiera dessa signaler i text.
Vad har hänt
Forskare har introducerat ett nytt benchmark kallat XHS-SCoRE (Xiaohongshu Social Comparison Reader Elicitation) för att bedöma huruvida textgenererade inlägg framkallar uppåtgående, nedåtgående eller neutral social jämförelse ur läsarens perspektiv. Studien använde sig av promptbaserade LLM-klassificerare och kinesiska encodermodeller för att analysera innehåll från den sociala medieplattformen Xiaohongshu (RedNote). Resultaten visar att medan LLM:erna effektivt kan skapa innehåll som triggar social jämförelse, misslyckas de med att konsekvent detektera denna effekt i befintlig text.
Snabbfakta
| Benchmark namn | XHS-SCoRE |
|---|---|
| Plattform för studie | Xiaohongshu (RedNote) |
| Typ av jämförelse | Uppåtgående, Nedåtgående, Neutral |
”We introduce Xiaohongshu Social Comparison Reader Elicitation (XHS-SCoRE), a reader-grounded benchmark for detecting if a text-only Xiaohongshu (RedNote) post elicits UPWARD, DOWNWARD, or NEUTRAL/no clear social comparison from a first-person reader perspective.”
”Across prompted LLM classifiers and supervised Chinese encoder baselines, we find a consistent mismatch between generation fluency and reliable detection ability: the signal is textually learnable in-domain, but not robustly accessible to prompt-based classification.”
”A controlled pilot further shows that LLM-generated Xiaohongshu-style posts can shift perceived standing and comparison-related affect even w”
Varför det spelar roll
Denna diskrepans mellan generativ förmåga och detektionsförmåga belyser en betydande begränsning hos nuvarande LLM:er. Förmågan att generera text som påverkar läsarens självuppfattning och känslor är relevant för förståelsen av social interaktion online. Att LLM:er inte kan identifiera sådana signaler kan leda till oönskade effekter vid användning i sociala medier eller andra plattformar där text kan påverka användares välbefinnande.
Vem påverkas
Studien påverkar i första hand utvecklare och forskare inom AI och maskininlärning som arbetar med LLM:er och naturlig språkbehandling. Användare av sociala medieplattformar kan indirekt påverkas av innehåll som genereras av LLM:er, särskilt om det framkallar social jämförelse utan att plattformens system kan moderera detta. Företag som använder LLM:er för innehållsskapande eller moderering behöver ta hänsyn till dessa begränsningar.
EU-status
Ej relevant för EU-status. Studien fokuserar på teknisk begränsning av LLM och Xiaohongshu, en kinesisk plattform.
Mer att veta
Den kontrollerade pilotstudien visade att LLM-genererade inlägg i Xiaohongshu-stil, även om de inte direkt upptäcks av modellerna själva, ändå kan påverka läsarnas upplevelse av social ställning och jämförelserelaterade känslor.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.