Ny metod SLAP effektiviserar LLM-träning med mindre data
En ny metod kallad SLAP utvecklad av forskare syftar till att effektivisera träningen av stora språkmodeller (LLM) genom att selektivt välja ut träningsdata. Detta kan minska både datamängd och träningstid avsevärt.
Vad har hänt
Forskare har introducerat SLAP (Stratified Loss-based Pruning), ett ramverk för att välja ut träningsdata vid "instruction tuning" av stora språkmodeller (LLM). Metoden bygger på att utvärdera träningsbara databatchar istället för enskilda datapunkter och säkerställer en bred datadistribution genom stratifierat urval. SLAP optimerar även mångfalden inom varje batch med hjälp av relativ distansoptimering.
Snabbfakta
| Metodnamn | SLAP (Stratified Loss-based Pruning) |
|---|---|
| Publiceringsdatum | 26 maj 2026 |
| Påverkade modeller | LLaMA, ChatGLM |
”SLAP ensures comprehensive data distribution coverage through distribution-aware stratified sampling while maximizing intra-batch diversity through relative distance optimization.”
”By leveraging Hessian-approximated gradient information for dynamic batch selection, SLAP significantly outperforms existing state-of-the-art methods across multiple model architectures (LLaMA, ChatGLM) and diverse downstream tasks.”
Varför det spelar roll
Traditionell instruction tuning av LLM kräver ofta omfattande datamängder och långa träningstider. SLAP adresserar detta genom att identifiera och använda mer lärorik data, vilket kan leda till bibehållen prestanda med färre träningsexempel. Detta sänker kostnaden för modellutveckling och gör avancerade LLM:er mer tillgängliga.
Vem påverkas
Utvecklare, forskare inom maskininlärning och företag som tränar eller finjusterar stora språkmodeller påverkas direkt. Metoden är applicerbar på olika modellarkitekturer, vilket gynnar en bred användarkrets inom AI-gemenskapen.
EU-status
Ej relevant för EU-status.
Mer att veta
SLAP har testats på flera modellarkitekturer, inklusive LLaMA och ChatGLM, där metoden presterat bättre än existerande metoder för dataurval.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka modeller har SLAP testats på?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.