Ny metod effektiviserar inferens för långa LLM-kontexter
En ny metod kallad ART (Attention Run-time Termination) lovar att förbättra genomströmningen vid inferens för stora språkmodeller som hanterar långa kontexter.
Vad har hänt
Forskare har utvecklat ART, en mekanism för att effektivisera avkodning av långa kontexter i stora språkmodeller (LLM). Metoden avbryter onödiga åtkomster till Key-Value (KV)-cachen genom att spåra ackumulerade uppmärksamhetsutdata och avsluta blockåtkomst när ytterligare bidrag bedöms försumbara. Detta minskar behovet av minnesbandbredd som annars begränsar prestandan vid långa kontexter.
Snabbfakta
| Metod | Attention Run-time Termination (ART) |
|---|---|
| Resultat (genomströmning) | 20% högre i stor batchstorlek |
| Publiceringsdatum | 2026-06-12 |
| Påverkat område | Lång-kontext avkodning i LLM |
”Long-context decoding in Large Language Models (LLMs) is severely constrained by the memory bandwidth required to fetch the extensive Key-Value (KV) cache.”
”ART achieves 20% higher generation throughput in large batch size than state-of-the-art baseline while maintaining comparable accuracy.”
Varför det spelar roll
Problemet med långa kontexter i LLM har varit den omfattande minnesbandbredd som krävs för att hämta KV-cachen. ART adresserar denna flaskhals genom en körfältsmekanism som minskar minnesanvändningen under inferens. Genom att integreras med befintliga KV-cachehanteringsmetoder, erbjuder ART en väg att öka effektiviteten för LLM som arbetar med komplexa och långa textsekvenser, vilket är avgörande för applikationer som summarisering och avancerad dialog.
Vem påverkas
Forskare, utvecklare av LLM och AI-applikationer, samt företag som använder eller bygger på stora språkmodeller för uppgifter som kräver lång kontext, påverkas direkt. Indirekt gynnas även användare av framtida AI-tjänster som blir snabbare och mer kostnadseffektiva.
EU-status
Ej relevant för EU-status.
Mer att veta
Metoden ART är designad för att vara ortogonal mot existerande nyckelbaserade KV-cachehanteringsmetoder, vilket möjliggör sömlös integration utan att kräva stora omkonstruktioner av befintliga system. Dess fokus ligger på att minska minnesbandbredden snarare än att omstrukturera cachen i sig.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.