Nytt benchmark utvärderar minnesarkitekturer för Text-to-SQL i företag

Vad har hänt

Ett nytt benchmark kallat EnterpriseMem-Bench har presenterats för att utvärdera minnesarkitekturer i flerstegs Text-to-SQL-system. Detta benchmark består av 300 sessioner och 1 400 turer, genererade programmatiskt från tre företagsdomäner: BIRD financial, SEC EDGAR och Northwind. Det inkluderar deterministisk "ground truth" och minneskritiska annoteringar per tur, vilket möjliggör en detaljerad analys av hur stora språkmodeller (LLM) hanterar kontext över flera interaktioner.

Varför det spelar roll

Traditionella utvärderingar av Text-to-SQL har ofta fokuserat på enstegsfrågor, vilket inte avspeglar hur dessa system används i verkliga företagsscenarier där kontext och historik är avgörande. EnterpriseMem-Bench syftar till att fylla denna lucka genom att mäta prestandan under flerstegssessioner. Resultaten visar att modeller utan minnesfunktion tappar all exekveringsprecision redan vid tredje turen, vilket understryker behovet av robusta minnesarkitekturer för praktisk tillämpning.

Vem påverkas

Denna forskning är relevant för AI-utvecklare som arbetar med naturlig språkbehandling (NLP) och databasinteraktion, samt för företag som implementerar eller planerar att implementera AI-drivna analyslösningar. Användare av dessa system, särskilt inom företagsanalys, kommer att dra nytta av förbättrad precision och kontextförståelse. Forskare kan använda EnterpriseMem-Bench för att vidareutveckla och jämföra minnesarkitekturer.

EU-status

Ej relevant för EU-status.

Mer att veta

Studien introducerar även ett nytt diagnostiskt mått, Memory Benefit Score (MBS), för att bedöma minneshantering per tur. Resultaten identifierade fyra huvudsakliga slutsatser som relaterar till vikten av arbetsminnets storlek, episodisk återhämtning och semantisk augmentering.