Together AI lanserar Provisioned Throughput för AI-modeller
Together AI introducerar "Provisioned Throughput", en tjänst för garanterad inferenskapacitet för öppna AI-modeller, med målet att erbjuda kostnadseffektivitet och förutsägbar prestanda.
Vad har hänt
Together AI har lanserat en ny tjänst kallad Provisioned Throughput. Tjänsten syftar till att leverera reserverad inferenskapacitet för ledande öppna modeller, såsom MiniMax M3 och GLM-5.2. Målet är att förenkla användningen av avancerade AI-modeller för utvecklare.
Snabbfakta
| Tjänstens namn | Provisioned Throughput |
|---|---|
| Lanseringsdatum | 21 maj 2024 |
| Drifttidsgaranti (SLA) | 99% |
| Potentiell kostnadssänkning | Upp till 90% |
”Provisioned Throughput gives you reserved inference capacity for frontier open models like MiniMax M3 and GLM-5.2. Token-based pricing, a 99% uptime SLA, and up to 90% lower cost than proprietary APIs. No GPU-hour math, no infrastructure to manage.”
Varför det spelar roll
Denna lansering adresserar marknadens behov av stabil och förutsägbar prestanda vid användning av stora språkmodeller, särskilt för utvecklare som vill undvika komplexiteten med GPU-hantering och infrastruktur. Tjänsten erbjuder token-baserad prissättning och en garanterad drifttid på 99%. Att ha en dedikerad tilldelning av resurser kan underlätta utveckling och minska driftskostnader.
Vem påverkas
Tjänsten riktar sig främst till utvecklare och företag som använder eller planerar att implementera öppna AI-modeller i sina applikationer. Användare som vill minska kostnader och komplexitet för inferens kommer att påverkas. Specifikt kan aktörer som idag hanterar egen GPU-infrastruktur se fördelar med den nya modellen.
EU-status
Ej relevant för EU-status.
Mer att veta
Together AI framhåller att tjänsten kan erbjuda upp till 90% lägre kostnader jämfört med proprietära API:er genom att eliminera behovet av att hantera GPU-timmar och infrastruktur. Detta understryker en trend mot mer optimerade molntjänster för AI.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka modeller stöds?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.