Meta slutför träning av Llama 4 med MoE-arkitektur
Meta är nära att släppa Llama 4, en nästa generations språkmodell med en Sparse Mixture of Experts (SMoE)-arkitektur, tränad på över 100 000 Nvidia H100 GPU:er.
Vad har hänt?
Meta har färdigställt träningen av Llama 4, sin kommande AI-modellsvit. Modellen använder en Sparse Mixture of Experts (SMoE)-design, en förändring från tidigare täta arkitekturer. För träningen har Meta använt ett kluster med över 100 000 Nvidia H100 GPU:er.
Snabbfakta
| Uppskattat antal GPU:er | Över 100 000 Nvidia H100 |
|---|---|
| Beräknad träningskostnad | $180 miljoner |
| Rykten om totala parametrar | 640 miljarder |
| Rykten om aktiva parametrar per framåtpass | 160 miljarder |
”Meta is finalizing the training of Llama 4, its next-generation open-weights model suite. Rumored to drop late this month, the release represents a massive bet on open-source dominance.”
”Meta is abandoning the giant dense model structure of Llama 3 405B. Instead, Llama 4 will employ a Sparse Mixture of Experts (SMoE) design.”
”Insiders point to a total parameter count of 640 billion, with only two experts active per token. This keeps the active parameter count at a manageable 160 billion per forward pass.”
Varför spelar det roll?
Övergången till SMoE-arkitektur i Llama 4 syftar till att förbättra effektivitet och sänka kostnader för inferens. Tidigare stora, täta modeller har visat sig vara för långsamma och dyra att driva. Genom att använda SMoE kan Meta minska latensen samtidigt som kapaciteten bibehålls.
Vem påverkas?
Denna lansering påverkar framför allt AI-utvecklare och forskare som arbetar med storskaliga språkmodeller, samt företag som är beroende av AI för sina tjänster. Övergången till open-source modeller kan även påverka kommersiella aktörer som utvecklar proprietära AI-system.
Vad mer bör du veta?
Llama 4:s totala parameterantal ryktas vara 640 miljarder, med två aktiva experter per token, vilket resulterar i 160 miljarder aktiva parametrar per framåtpass. Träningskostnaderna uppskattas till 180 miljoner dollar i ström och hårdvaruamortisering.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Påverkar det EU?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.
Få liknande nyheter direkt i mejlen
Läsarrummet
Skicka in en fråga eller ett tillägg. Redaktionen läser allt innan det publiceras och svarar när det är relevant. Ingen AI-fri text – bara människor.
Logga in för att skicka in en kommentar eller fråga.
Läs artikeln genom din roll
- Avgör om detta påverkar strategin på 6–12 månaders sikt eller är brus.
- Diskutera i ledningsgruppen: äger vi rätt fråga eller behöver ansvaret flyttas?
- Fråga: vilken risk tar vi genom att INTE agera på det här den här kvartalet?
Genererad vinkling — inte redaktionell analys av "Meta slutför träning av Llama 4 med MoE-arkitektur"