Ny metod minskar kostnad för konversations-AI med små modeller
Forskare presenterar en ny metod för att effektivisera flerstegsdialoger med AI, genom att använda mindre modeller för att sänka kostnader och latens, utan att kompromissa med kvaliteten.
Vad har hänt
En nyligen publicerad artikel på arXiv beskriver en ny metod som syftar till att effektivisera driften av stora språkmodeller (LLM) i dialogsystem. Metoden bygger på att initialt identifiera ett "lokalt responsmanifold" under de första dialogstegen. Därefter anpassas en mindre, surrogatmodell till denna specifika kontext för att hantera resten av konversationen.
Snabbfakta
| Publikationsdatum | 23 maj 2024 |
|---|---|
| Typ av modell | LLM (Large Language Model) och Small Language Model |
| Källpublikation | arXiv cs.CL |
”A standard serving practice concatenates the full dialogue history at every turn, which reliably maintains coherence but incurs substantial cost in latency, memory, and API expenditure, especially when queries are routed to large proprietary models.”
”We propose a framework that exploits the early turns of a session to estimate a local response manifold and then adapt a smaller surrogate model to this local region for the remainder of the conversation.”
”Concretely, we learn soft prompts that maximize semantic divergence between the large and surrogate small language models' responses to surface least-aligned local directions, stabilize training with anti-degeneration control, and distill th”
Varför det spelar roll
Dagens standardpraxis att skicka hela konversationshistoriken till stora modeller i varje steg är kostnadsmässigt och beräkningsmässigt ineffektivt. Genom att destillera kunskap från den stora modellen till en mindre, specialiserad modell för en specifik dialogkontext, kan man uppnå betydande besparingar i latens och minnesanvändning. Detta är särskilt relevant för AI-assistenttjänster och chattbottar där många användare interagerar med systemen.
Vem påverkas
Metoden påverkar primärt utvecklare och företag som driftar konversations-AI-system med stora språkmodeller. Användare kan indirekt dra nytta av snabbare svarstider och potentiellt lägre kostnader för AI-tjänster. Forskare inom LLM-optimering och maskininlärning är också en direkt målgrupp för denna typ av forskning.
EU-status
Ej relevant för EU-status.
Mer att veta
Metoden använder sig av "mjuka prompts" för att maximera den semantiska divergens mellan den stora och surrogatmodellens svar. Detta för att identifiera de lokala områden där surrogatmodellen behöver extra träning och stabilisera träningen med ”anti-degeneration control” för att inte modellen ska försämras över tiden.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Påverkar det EU?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.