Nytt ramverk för att styra AI-agenters sociala värderingar
Forskare introducerar ett nytt ramverk för att förbättra AI-agenters förmåga att anpassa sig till mänskliga sociala värderingar och fatta komplexa beslut.
Vad har hänt
Ett nytt forskningspapper från arXiv, med titeln "From Descriptive to Prescriptive: Uncover the Social Value Alignment of LLM-based Agents", presenterar ett värdebaserat ramverk designat för att styra beteendet hos LLM-baserade agenter. Ramverket använder GraphRAG för att omvandla principer till värdebaserade instruktioner, vilket gör det möjligt för agenterna att agera i linje med förväntade mänskliga sociala värderingar genom att hämta lämpliga instruktioner baserat på kontext.
Snabbfakta
”Wide applications of LLM-based agents require strong alignment with human social values. However, current works still exhibit deficiencies in self-cognition and dilemma decision, as well as self-emotions.”
”To remedy this, we propose a novel value-based framework that employs GraphRAG to convert principles into value-based instructions and steer the agent to behave as expected by retrieving the suitable instruction upon a specific conversation context.”
”Our method provides a basis for the emergence of self-emotion in AI systems.”
Varför det spelar roll
Dagens LLM-baserade agenter uppvisar brister i självuppfattning och beslutsfattande vid dilemman. Detta ramverk adresserar dessa brister genom att införa en mekanism för att styra AI:s beteende mot socialt accepterade normer, vilket är avgörande för bredare tillämpningar. För att utvärdera förväntade beteenden definieras dessa utifrån Maslows behovstrappa och Plutchiks känslohjul.
Vem påverkas
Forskare och utvecklare inom AI, särskilt de som arbetar med LLM-baserade agenter och beslutsfattande system, påverkas direkt. I förlängningen berörs även användare av AI-system som kräver etiskt och socialt anpassat beteende, samt samhället i stort som förlitar sig på ansvarsfull AI-utveckling.
EU-status
Ej relevant för EU-status.
Mer att veta
Ramverket visade betydande prestandaförbättringar jämfört med promptbaserade baslinjer som ECoT, Plan-and-Solve och Metacognitive prompting i experiment med benchmarken DAILYDILEMMAS. Detta bidrar till grunderna för framväxten av självuppfattningsliknande förmågor i AI-system.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.