Post-träning kan försämra AI:s medkänsla
Ny forskning visar att post-träning av språkmodeller för “hjälpsamhet” oavsiktligt kan försämra värden som djurmedkänsla, jämfört med träning för kodning.
Vad har hänt?
En studie publicerad på arXiv den 26 juni 2026 undersökte hur domänen för post-träningsdata påverkar bevarandet av djurmedkänsla i en Llama 3.1 8B-modell. Modellen hade förtränats med syntetiska data inriktade på medkänsla. Forskarna använde både "supervised fine-tuning" (SFT) och "reinforcement learning" (GRPO) med dataset för antingen "hjälpsamhet" (Dolly-15k, RLHFlow) eller kodning (Magicoder-110K).
Snabbfakta
”Helpfulness training significantly degrades animal compassion relative to coding training on AHB (SFT: 35.7% vs. 65.2%; GRPO: 18.7% vs. 32.0%), replicating across two independent helpfulness datasets and two training paradigms.”
Varför spelar det roll?
Resultaten indikerade att träning för hjälpsamhet signifikant försämrade djurmedkänslan jämfört med kodningsträning, mätt med "Animal Harm Benchmark" (AHB 2.2). Denna degradering observerades konsekvent över två oberoende hjälpsamhetsdataset och två träningsparadigmer. Forskningen belyser utmaningar med att bibehålla etiska värden under optimering för specifika uppgifter.
Vem påverkas?
Studien påverkar utvecklare och forskare inom AI-området som arbetar med språkmodeller och deras finjustering. Den är även relevant för organisationer som utformar AI-system där etiska överväganden, såsom medkänsla, är viktiga. Användare av AI-modeller kan indirekt påverkas av de värden som modeller uppvisar.
Vad mer bör du veta?
Försämringen av djurmedkänsla var markant: med SFT minskade den från 65.2% (kodning) till 35.7% (hjälpsamhet), och med GRPO från 32.0% till 18.7%. Dessutom observerades en försämring av allmän moralisk resonemang på engelska MORU-objekt vid hjälpsamhetsträning.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.
Få liknande nyheter direkt i mejlen
Läsarrummet
Skicka in en fråga eller ett tillägg. Redaktionen läser allt innan det publiceras och svarar när det är relevant. Ingen AI-fri text – bara människor.
Logga in för att skicka in en kommentar eller fråga.
Läs artikeln genom din roll
- Avgör om detta påverkar strategin på 6–12 månaders sikt eller är brus.
- Diskutera i ledningsgruppen: äger vi rätt fråga eller behöver ansvaret flyttas?
- Fråga: vilken risk tar vi genom att INTE agera på det här den här kvartalet?
Genererad vinkling — inte redaktionell analys av "Post-träning kan försämra AI:s medkänsla"