Kan vi köra en LLM lokalt istället för i molnet?
Ja. Modeller som Llama 3.1, Mistral och Qwen körs på egen hårdvara via verktyg som Ollama eller vLLM. Lokalt är motiverat när data inte får lämna organisationen, när ni har stabila och stora volymer, eller när ni behöver full kontroll — men räkna med högre driftkostnad än att köpa API.
Lokala modeller har blivit praktiskt användbara. En 8B-modell kör bra på en modern arbetsstation, 70B-modeller kräver flera GPU:er.
**När lokalt lönar sig:** - Reglerad data (försvar, sjukvård, offentlig sektor med suveränitetskrav). - Höga, förutsägbara volymer där API-kostnaden överstiger driftkostnaden. - Krav på deterministisk versionering och offline-drift.
**När molnet är bättre:** - Behovet är sporadiskt eller växlar kraftigt. - Ni behöver den senaste modellkvaliteten — öppna modeller ligger 6–12 månader efter frontier-modellerna. - Ni saknar MLOps-kompetens.
En hybridarkitektur — lokalt för känslig data, moln för komplexa uppgifter — är vanligast hos organisationer som lyckats.