Så beräknar Transformer-modeller sina svar i dolda lager
Ny forskning visar att Transformer-modeller medvetet utför sina beräkningar vinkelrätt mot avläsningsaxeln för att skydda komplexa resonemang från vokabulärstörningar.
Vad har hänt?
Forskare har i en ny studie visat hur Transformer-baserade AI-modeller hanterar interna beräkningar. Istället för att direkt bearbeta information i samma riktning som det slutgiltiga svaret läses av, sker de tidiga beräkningarna i vinklar nära 90 grader från avläsningsaxeln. Det är först i modellens sista fas som svaret flyttas över till den huvudsakliga avläsningsaxeln genom addera information snarare än att rotera befintligt innehåll.
Snabbfakta
Varför spelar det roll?
Tidigare har forskare sett modellernas vinklade interna representationer som ett hinder för att tolka vad som händer under beräkningens gång. Den nya studien visar att uppdelningen fyller en avgörande funktion: den isolerar och skyddar de pågående beräkningarna från att störas av ordlistans representationer. Om man tvingar uppmärksamhetsmekanismerna att ligga i samma riktning som avläsningsaxeln skadas modellens förmåga till komplexa resonemang kraftigt.
Vem påverkas?
Upptäckten är särskilt viktig för AI-forskare, utvecklare av språkmodeller och experter inom tolkningsbarhet (mechanistic interpretability). Resultaten ger bättre förutsättningar för att förstå hur AI-modeller faktiskt fattar beslut och hur man kan optimera träningsmetoder utan att förstöra modellernas förmåga till komplex logik.
Hur påverkas EU?
Forskningen berör grundläggande modellarkitektur och teoretisk förståelse för AI, vilket påverkar utveckling och säkerhetsanalys globalt. Eftersom det handlar om grundforskning finns inga specifika EU-restriktioner eller marknadshinder direkt kopplade till upptäckten.
Vad mer bör du veta?
Forskarna visar också att när man tvingar alla lager att rikta in sig mot slutresultatet – vilket ofta görs i tekniker för så kallade tidiga avslut (early exit) – så förlorar modellen förmågan till mångstegsresonemang. Även om enklare tester som språkmodellering eller ordprestationer ser orörda ut, rasar prestandan på komplexa uppgifter. Det understryker att den geografiska separationen i vektorrymden är avgörande för djupare slutledningsförmåga.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka berörs av upptäckten?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.
AI-verktyg i artikeln
Ämnen
Få liknande nyheter direkt i mejlen
Läsarrummet
Skicka in en fråga eller ett tillägg. Redaktionen läser allt innan det publiceras och svarar när det är relevant. Ingen AI-fri text – bara människor.
Logga in för att skicka in en kommentar eller fråga.
Läs artikeln genom din roll
- Vilka processer kan förenklas eller automatiseras utifrån det här?
- Vem tränar teamet — och när? Sätt en tydlig ägare och deadline.
- Följ upp KPI:er för leveranstid, kvalitet och kostnad efter införande.
Genererad vinkling — inte redaktionell analys av "Så beräknar Transformer-modeller sina svar i dolda lager"