Nytt träningssätt effektiviserar stora språkmodeller
Forskare har utvecklat en metod kallad "LAD-inspired PPT" för att effektivisera träningen av stora språkmodeller (LLM), vilket ger dem mänsklig liknande förmåga att avvisa strukturellt orimliga språk. Detta kan öka tokens-effektiviteten avsevärt.
Vad har hänt
En ny forskningsstudie presenterar "LAD-inspired PPT" (Pre-Pretraining), en träningsmetod för stora språkmodeller. Metoden innebär att LLM:er tränas på ett formellt språk kallat MP-STRUCT, som simulerar hierarkisk komposition och grammatiska strukturer som MERGE, AGREE och MOVE. Träningen på 500 steg matchar befintliga baslinjer för formella språk i token-effektivitet.
Snabbfakta
| Metod | LAD-inspired PPT |
|---|---|
| Formellt språk | MP-STRUCT |
| Träningssteg | 500 steg |
| Resultat | Ökad token-effektivitet, avvisar orimliga språk |
| Publiceringsdatum | 26 maj 2026 |
”Large Language Models (LLMs) remain substantially less data-efficient than humans. Pre-pretraining (PPT) on synthetic languages has been proposed to close this gap, with prior work emphasizing highly expressive formal languages such as $k$-Shuffle Dyck.”
”Inspired by the Language Acquisition Device (LAD) hypothesis, which posits that innate constraints preemptively restrict the learner's hypothesis space to natural-language-like structure, we propose LAD-inspired PPT: pre-pretraining on MP-STRUCT, a formal language whose strings e”
”A brief 500-step PPT with MP-STRUCT matches strong formal-language baselines in token efficiency while additionally imparting a human-like resistance to structurally implausible languages (e.g., REVERSE). Analyzing simplified variants, we find that MP-STRUCT CORE outperforms $k$-”
Varför det spelar roll
Traditionella LLM:er kräver betydligt mer data än människor för att lära sig språk, vilket LAD-inspired PPT syftar till att minska. Genom att förträna modellerna med MP-STRUCT får de en medfödd förståelse för naturliga språkstrukturer, i linje med hypotesen om ett "Language Acquisition Device" (LAD) hos människan. Detta kan inte bara göra träningen billigare och snabbare, utan även leda till robustare modeller som inte accepterar grammatiskt inkorrekta språk.
Vem påverkas
Forskare inom AI och maskininlärning, särskilt de som arbetar med naturlig språkbehandling (NLP) och utveckling av grundmodeller, påverkas direkt. Även företag som utvecklar eller implementerar LLM:er kan dra nytta av denna effektivisering. Indirekt kan användare av AI-modeller uppleva förbättrad kvalitet och pålitlighet i AI-genererat innehåll.
EU-status
Ej relevant för EU-status.
Mer att veta
MP-STRUCT CORE, en förenklad variant av MP-STRUCT, visade sig överträffa $k$-Shuffle Dyck, ett etablerat formellt språk för förträning, trots sin enklare uppbyggnad. Detta indikerar potentialen hos att utgå från mänsklig språkinlärning när man förbättrar LLM:er.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.