Lokala LLM:er för företag
När self-hosted AI är rätt val, vad det kostar och hur ni kommer i drift utan att bygga ett eget forskningsteam.
Att köra en språkmodell lokalt — antingen on-prem eller i egen molnmiljö — har gått från forskningsprojekt till en realistisk enterprise-option. För organisationer med känslig data, hårda dataresidenskrav eller höga volymer kan lokala modeller vara både säkrare och billigare. Men det kräver rätt bemanning, rätt hårdvara och realistiska förväntningar på kvalitet jämfört med frontier-modeller.
Snabbfakta
- Målgrupp
- CTO, plattformsteam, säkerhet
- Lästid
- 14 min
- Uppdaterad
- Juli 2026
- Nivå
- Avancerad
## När det är rätt val
- **Reglerad data** som inte får lämna miljön (patientjournaler, försvar, klassade dokument) - **Höga volymer** där per-token-kostnaden i molnet överstiger 500 000 kr/år - **Låg latens-krav** — realtidsapplikationer där varje 100 ms räknas - **Anpassning** — ni vill finjustera på egen data utan att skicka den till en leverantör
## När det INTE är rätt val
- Ni har färre än fem personer som kan sköta driften - Ni vill ha state-of-the-art kvalitet på alla uppgifter (frontier-modeller ligger 12-18 månader före öppna modeller) - Volymen är låg — då är API-lösningar billigare och enklare
## Modellval 2026
Öppna modeller att utvärdera:
- **Llama 3.3 70B** — bra allrundare, licens tillåter kommersiell användning - **Mistral Large / Mixtral 8x22B** — europeisk leverantör, stark kod- och resonemangsförmåga - **Qwen 2.5 72B** — mycket stark på svenska efter fine-tuning - **DeepSeek V3** — kostnadseffektiv men granska licensvillkor - **Gemma 3 27B** — mindre modell, snabb att köra på en enda GPU
För svenska språket, testa alltid på era egna data innan ni väljer. Benchmarks stämmer sällan med praktiken.
## Hårdvara
Minimikonfiguration för produktion av en 70B-modell:
- 2× NVIDIA H100 (80GB) eller 4× A100 (80GB) - 256 GB RAM - NVMe-lagring med hög IOPS - 10 GbE nätverk
Kostnad: ca 700 000 – 1 200 000 kr för hårdvaran, plus drift. Alternativ: hyr via en europeisk GPU-leverantör (Lambda, Nebius, Nscale) med SEK-fakturering och EU-hemvist.
## Arkitekturval
- **Inference-server:** vLLM eller TensorRT-LLM för hög throughput - **Orkestrering:** Kubernetes med GPU-operator, eller enklare Docker Compose för mindre setups - **Observability:** Prometheus + Grafana för GPU-utilization, latens, kö - **Autentisering:** OIDC-integration mot ert IdP — inga API-nycklar som skickas runt
## Vanliga fällor
- **Underdimensionerad KV-cache** — modellen kraschar under last, inte vid demo. - **Ingen prompt-injection-skydd** — lokal deployment är inte skyddad från prompt-attacker. - **Glömmer utvärderingsloop** — utan mätning vet ni inte om nya modeller är bättre. - **Överskattar internt intresse** — börja med ett tydligt use case, inte en plattform.
## Totalkostnad över 3 år
Räkna med: hårdvara + kraft + drift + 1-2 FTE + finjusteringskostnader. För en medelstor deployment landar det oftast på 3-6 miljoner kr över tre år — som ska jämföras med API-kostnad för motsvarande volym.