Ny metod förbättrar specifikationsgenerering för OS-kärnor med AI
Forskare har utvecklat BODHI, en ny metod som förbättrar hur stora språkmodeller (LLM) genererar formella specifikationer för systemanrop i operativsystemskärnor, vilket uppnår upp till 74,69% i Pass@1.
Vad har hänt
Forskare har introducerat BODHI (OS Kernel Specification Inference), en metod för att förbättra genereringen av formella specifikationer för systemanrop i operativsystemskärnor med hjälp av stora språkmodeller. Metoden använder en domänkunskaps-prompt som kompletterar standard few-shot-prompter med en strukturerad C-till-Python-översättningsguide. Denna guide täcker 15 kategorier av domänspecifika översättningsmönster och organiserar översättningen genom att separera concerns, där för- och eftervillkor hanteras som distinkta kategorier.
Snabbfakta
| Metod | BODHI (OS Kernel Specification Inference) |
|---|---|
| Benchmark | OSV-Bench |
| Antal uppgifter i OSV-Bench | 245 |
| Tidigare Pass@1 | 55,10% |
| BODHI Pass@1 | 74,69% |
| Antal modeller utvärderade | 9 från 6 leverantörer |
”We propose a domain knowledge prompting method (BODHI), which augments the standard few-shot prompt with a structured C-to-Python translation guide covering 15 categories of domain-specific translation patterns.”
”Inspired by Structured Chain-of-Thought (SCoT) prompting, the guide organizes translation by separation of concerns, addressing pre-condition extraction and post-condition generation as distinct categories.”
”Evaluated on nine models from six providers (Anthropic, Mistral, Amazon, DeepSeek, Meta, Alibaba), cov(—) The best reported Pass@1 is 55.10%.”
Varför det spelar roll
Manuell skapande av precisa specifikationer för operativsystemskärnor kräver djup domänexpertis och är tidskrävande. Genom att automatisera processen med LLM kan utvecklingstiden för formell verifiering av OS-kärnor potentiellt minska. Den nya metoden uppvisar en signifikant förbättring jämfört med tidigare benchmark-resultat, vilket indikerar ett steg framåt för att övervinna utmaningar inom mjukvaruverifiering.
Vem påverkas
Metoden påverkar forskare och utvecklare inom formell verifiering och operativsystem. Företag som Meta, Amazon, Alibaba, Anthropic och Mistral, vars modeller utvärderades, är också direkt berörda. Förbättrade specifikationsgenereringen kan underlätta utvecklingen av säkrare och mer robusta operativsystemskärnor.
EU-status
Ej relevant för EU-status.
Mer att veta
BODHI utvärderades på nio olika LLM från sex leverantörer. Resultaten visade att den nya metoden uppnådde en Pass@1 på 74,69% på OSV-Bench, en betydande förbättring jämfört med det tidigare bästa rapporterade resultatet på 55,10%.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.