Meta slutför träning av Llama 4 med MoE-arkitektur
Meta är nära att släppa Llama 4, en nästa generations språkmodell med en Sparse Mixture of Experts (SMoE)-arkitektur, tränad på över 100 000 Nvidia H100 GPU:er.
Vad har hänt
Meta har färdigställt träningen av Llama 4, sin kommande AI-modellsvit. Modellen använder en Sparse Mixture of Experts (SMoE)-design, en förändring från tidigare täta arkitekturer. För träningen har Meta använt ett kluster med över 100 000 Nvidia H100 GPU:er.
Snabbfakta
| Uppskattat antal GPU:er | Över 100 000 Nvidia H100 |
|---|---|
| Beräknad träningskostnad | $180 miljoner |
| Rykten om totala parametrar | 640 miljarder |
| Rykten om aktiva parametrar per framåtpass | 160 miljarder |
”Meta is finalizing the training of Llama 4, its next-generation open-weights model suite. Rumored to drop late this month, the release represents a massive bet on open-source dominance.”
”Meta is abandoning the giant dense model structure of Llama 3 405B. Instead, Llama 4 will employ a Sparse Mixture of Experts (SMoE) design.”
”Insiders point to a total parameter count of 640 billion, with only two experts active per token. This keeps the active parameter count at a manageable 160 billion per forward pass.”
Varför det spelar roll
Övergången till SMoE-arkitektur i Llama 4 syftar till att förbättra effektivitet och sänka kostnader för inferens. Tidigare stora, täta modeller har visat sig vara för långsamma och dyra att driva. Genom att använda SMoE kan Meta minska latensen samtidigt som kapaciteten bibehålls.
Vem påverkas
Denna lansering påverkar framför allt AI-utvecklare och forskare som arbetar med storskaliga språkmodeller, samt företag som är beroende av AI för sina tjänster. Övergången till open-source modeller kan även påverka kommersiella aktörer som utvecklar proprietära AI-system.
EU-status
Ej relevant för EU-status.
Mer att veta
Llama 4:s totala parameterantal ryktas vara 640 miljarder, med två aktiva experter per token, vilket resulterar i 160 miljarder aktiva parametrar per framåtpass. Träningskostnaderna uppskattas till 180 miljoner dollar i ström och hårdvaruamortisering.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Påverkar det EU?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.