Akashic presenterar MemAttention för effektivare LLM-inferens
En ny minnesarkitektur, Akashic med MemAttention, kan avsevärt effektivisera stora språkmodellers inferens genom att hantera långa kontexter mer dynamiskt.
Vad har hänt
Forskare har introducerat Akashic, ett nytt minnessystem för stora språkmodeller (LLM), centrerat kring tekniken MemAttention. Detta system organiserar kontext i avgränsade "chunks" och modellerar semantiska relationer mellan dessa, vilket eliminerar behovet av att kontinuerligt skriva om hela historiken. Akashic implementerar även en hårdvara-mjukvara-samdesignad minnesplacering för att lokalisera samhörande data, vilket minskar fragmentering och I/O-kostnader.
Snabbfakta
| Teknik | MemAttention |
|---|---|
| Förbättring i noggrannhet | Upp till 10,2 poäng |
| Ökad genomströmning | Upp till 1,21x |
”Recent LLM-based agent systems continuously accumulate context across multi-turn interactions, tool invocations, and cross-session workflows. Replaying the full history for every request quickly becomes impractical: long contexts increase prefill cost, may exceed context limits,”
Varför det spelar roll
Problemet med långa kontexter i LLM har varit en betydande utmaning, då de ökar kostnaden för "prefill", riskerar att överskrida kontextgränser och kan försämra både effektivitet och kvalitet genom att spåra irrelevant information. Akashic adresseras dessa brister genom att selektivt hantera kontextminnet, vilket leder till förbättrad task-noggrannhet och genomströmning. Tekniken representerar ett steg mot mer skalbar och kostnadseffektiv hantering av komplexa AI-interaktioner.
Vem påverkas
Främst påverkas utvecklare och driftsansvariga för LLM-baserade agentsystem, särskilt de som arbetar med applikationer som kräver långa och komplexa interaktioner. Indirekt gynnas slutanvändare av AI-assistenter och -agenter genom snabbare och mer relevanta svar, då underliggande system blir mer effektiva och kapabla att hantera en bredare dialogkontext utan prestandaförsämring.
EU-status
Ej relevant för EU-status.
Mer att veta
Den presenterade forskningen indikerar upp till 10,2 poäng förbättring i uppgiftsnoggrannhet och upp till 1,21x högre genomströmning över fyra representativa arbetsbelastningar och tre modellstorlekar.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.