Hugging Face möjliggör MoE-modeller på 180 miljarder parametrar med 32 GB RAM
Hugging Face introducerar expertströmning i biblioteket Transformers. Den nya metoden gör det möjligt att köra MoE-modeller på 180 miljarder parametrar på datorer med endast 32 GB RAM.

Vad har hänt?
Hugging Face har implementerat stöd för expertströmning vid inferens av Mixture-of-Experts-modeller (MoE) i biblioteket Transformers. Tekniken gör det möjligt att köra modeller med upp till 180 miljarder parametrar, såsom DBRX eller Qwen1.5-MoE, på konsumenthårdvara med endast 32 GB RAM. Genom att endast läsa in de expertnätverk som faktiskt aktiveras för en specifik token direkt från lagringsdisken minskas minneskravet drastiskt.
Snabbfakta
| Maximal modellstorlek | 180 miljarder parametrar |
|---|---|
| Lägsta RAM-krav | 32 GB RAM |
| Mjukvarubibliotek | Hugging Face Transformers |
| Modellarkitektur | Mixture-of-Experts (MoE) |
Varför spelar det roll?
MoE-arkitekturer aktiverar endast en bråkdel av sina totala parametrar vid varje beräkningssteg, men traditionell inferens har ändå krävt att samtliga vikter hålls i arbetsminnet eller VRAM. Genom expertströmning sänks inträdesbarriären för att experimentera med de största öppna modellerna avsevärt. Detta demokratiserar tillgången till avancerad AI och minskar beroendet av proprietära molntjänster.
Vem påverkas?
Lösningen riktar sig främst till AI-forskare, open source-utvecklare och mindre organisationer som vill utvärdera eller köra stora MoE-modeller lokalt utan tillgång till dyra datacenter-GPU:er. Utvecklare med konsumentdatorer eller standardarbetsstationer får nu tillgång till modeller som tidigare krävde flerkortssystem.
Hur påverkas EU?
Metoden distribueras som öppen källkod via Transformers och är direkt tillgänglig för europeiska utvecklare. Den underlättar lokal körning av öppna AI-modeller, vilket kan hjälpa organisationer att efterleva dataskyddskrav enligt GDPR genom att undvika molnbaserade API-anrop utanför unionen.
Vad mer bör du veta?
Prestandan beror till stor del på lagringsmediets läshastighet, där snabba NVMe-enheter krävs för att minimera fördröjningar när expertvikter laddas in dynamiskt. Även om inferensen blir långsammare än vid ren GPU-lagring gör det modellerna praktiskt testbara utan specialhårdvara.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Påverkar det EU?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.
Få liknande nyheter direkt i mejlen
Läsarrummet
Skicka in en fråga eller ett tillägg. Redaktionen läser allt innan det publiceras och svarar när det är relevant. Ingen AI-fri text – bara människor.
Logga in för att skicka in en kommentar eller fråga.
Läs artikeln genom din roll
- Avgör om detta påverkar strategin på 6–12 månaders sikt eller är brus.
- Diskutera i ledningsgruppen: äger vi rätt fråga eller behöver ansvaret flyttas?
- Fråga: vilken risk tar vi genom att INTE agera på det här den här kvartalet?
Genererad vinkling — inte redaktionell analys av "Hugging Face möjliggör MoE-modeller på 180 miljarder paramet"