Hoppa till innehåll
Forskning· Analys

Hugging Face möjliggör MoE-modeller på 180 miljarder parametrar med 32 GB RAM

Hugging Face introducerar expertströmning i biblioteket Transformers. Den nya metoden gör det möjligt att köra MoE-modeller på 180 miljarder parametrar på datorer med endast 32 GB RAM.

Av Aheadline-redaktionen·19 nov. 2026·2 min läsning·Källa: Hugging Face BlogVerifierad signalAI-genererad
Hugging Face möjliggör MoE-modeller på 180 miljarder parametrar med 32 GB RAM
Hugging Face möjliggör MoE-modeller på 180 miljarder parametrar med 32 GB RAM
Hugging Face möjliggör MoE-modeller på 180 miljarder parametrar med 32 GB RAM
Av · Policy- & EU-reporter
Senast uppdaterad
Vad betyder det för mig?

Vad har hänt?

Hugging Face har implementerat stöd för expertströmning vid inferens av Mixture-of-Experts-modeller (MoE) i biblioteket Transformers. Tekniken gör det möjligt att köra modeller med upp till 180 miljarder parametrar, såsom DBRX eller Qwen1.5-MoE, på konsumenthårdvara med endast 32 GB RAM. Genom att endast läsa in de expertnätverk som faktiskt aktiveras för en specifik token direkt från lagringsdisken minskas minneskravet drastiskt.

Snabbfakta

Maximal modellstorlek180 miljarder parametrar
Lägsta RAM-krav32 GB RAM
MjukvarubibliotekHugging Face Transformers
ModellarkitekturMixture-of-Experts (MoE)

Varför spelar det roll?

MoE-arkitekturer aktiverar endast en bråkdel av sina totala parametrar vid varje beräkningssteg, men traditionell inferens har ändå krävt att samtliga vikter hålls i arbetsminnet eller VRAM. Genom expertströmning sänks inträdesbarriären för att experimentera med de största öppna modellerna avsevärt. Detta demokratiserar tillgången till avancerad AI och minskar beroendet av proprietära molntjänster.

Vem påverkas?

Lösningen riktar sig främst till AI-forskare, open source-utvecklare och mindre organisationer som vill utvärdera eller köra stora MoE-modeller lokalt utan tillgång till dyra datacenter-GPU:er. Utvecklare med konsumentdatorer eller standardarbetsstationer får nu tillgång till modeller som tidigare krävde flerkortssystem.

Hur påverkas EU?

Metoden distribueras som öppen källkod via Transformers och är direkt tillgänglig för europeiska utvecklare. Den underlättar lokal körning av öppna AI-modeller, vilket kan hjälpa organisationer att efterleva dataskyddskrav enligt GDPR genom att undvika molnbaserade API-anrop utanför unionen.

Vad mer bör du veta?

Prestandan beror till stor del på lagringsmediets läshastighet, där snabba NVMe-enheter krävs för att minimera fördröjningar när expertvikter laddas in dynamiskt. Även om inferensen blir långsammare än vid ren GPU-lagring gör det modellerna praktiskt testbara utan specialhårdvara.

Vanliga frågor

Snabba svar om den här nyheten

Vad har hänt?
Hugging Face har introducerat stöd för expertströmning i sitt Transformers-bibliotek, vilket gör att MoE-modeller med 180 miljarder parametrar kan köras på 32 GB RAM.
När hände det?
Tekniken presenterades i ett tekniskt blogginlägg på Hugging Face Blog under våren 2024.
Varför spelar det roll?
Det sänker hårdvarukraven för att köra mycket stora öppna språkmodeller dramatiskt, vilket gör att forskare och utvecklare kan köra dem på vanliga konsumentdatorer istället för på dyra GPU-kluster.
Påverkar det EU?
Lösningen är tillgänglig globalt som öppen källkod och gör det enklare för organisationer i EU att köra modeller lokalt utan att skicka data till externa molntjänster.
Originalkälla
Hugging Face Blog·huggingface.co

Länken öppnar i nytt fönster och leder till utgivarens egen sida.

Verifierad signal

Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.

[ FÖLJ UTVECKLINGEN ]

Få liknande nyheter direkt i mejlen

Inga affiliate-länkarAvsluta när som helstGDPR-vänlig
[ Frekvens ]
[ Vad vill du läsa om? ]

Du får utskick om 2 ämnen.

Läsarrummet

Skicka in en fråga eller ett tillägg. Redaktionen läser allt innan det publiceras och svarar när det är relevant. Ingen AI-fri text – bara människor.

Logga in för att skicka in en kommentar eller fråga.

Laddar kommentarer…
Så här påverkar det dig

Läs artikeln genom din roll

  • Avgör om detta påverkar strategin på 6–12 månaders sikt eller är brus.
  • Diskutera i ledningsgruppen: äger vi rätt fråga eller behöver ansvaret flyttas?
  • Fråga: vilken risk tar vi genom att INTE agera på det här den här kvartalet?

Genererad vinkling — inte redaktionell analys av "Hugging Face möjliggör MoE-modeller på 180 miljarder paramet"