SPEAR: Ny agentmetod för promptoptimering lanserad inom AI
Forskare introducerar SPEAR, en ny agentbaserad metod för automatisk promptoptimering som använder en Python-sandlåda för att förbättra språmodellers prestanda.
Vad har hänt
SPEAR (Sandboxed Prompt Engineer with Active Roll-back) är en agentbaserad optimeringsmetod för automatisk promptframtagning (APE). Den skiljer sig från befintliga APE-system genom att låta optimeraren agera självständigt, med tillgång till verktyg som utvärdering, Python-exekvering, promptjustering och slutförande. En central del är en Python-sandlåda för felanalys.
Snabbfakta
| Publikationsdatum | 24 maj 2026 |
|---|---|
| Metod | Agentbaserad promptoptimering |
| Verktyg | Python-sandlåda för felanalys |
| Utvärderingsområden | 13 olika domaruppgifter (t.ex. rekrytering) |
”Automatic prompt engineering (APE) rewrites prompts to improve downstream task performance, but existing APE loops treat the optimizer itself as a fixed pipeline. We port the code-as-action paradigm of CodeAct (Wang et al., 2024a) to APE and propose SPEAR (Sandboxed Prompt Engine”
”The distinctive tool is the Python sandbox: the optimizer writes and executes arbitrary Python on the current evaluation DataFrame, performing structural error analysis (confusion matrices, error clustering, per group metrics) the agent itself authors.”
Varför det spelar roll
Metoden adresserar begränsningar i tidigare APE-system, där optimeraren oftast följer en fast pipeline. Genom att tillåta optimeraren att själv skriva och exekvera Python-kod för strukturell felanalys, som förvirringsmatriser och felklustring, kan SPEAR mer effektivt identifiera förbättringsområden. Detta leder till mer robust och riktad promptoptimering, vilket ökar prestanda för underliggande språmodeller.
Vem påverkas
Forskare och utvecklare inom AI, särskilt de som arbetar med stora språkmodeller (LLM) och prompt engineering, påverkas. Företag som använder LLM-as-judge-applikationer för uppgifter som rekrytering kan dra nytta av förbättrad prestanda och tillförlitlighet från sina AI-system. Även de som utvecklar agentbaserade AI-system är relevanta intressenter.
EU-status
Ej relevant för EU-status.
Mer att veta
Två skyddsmekanismer, automatisk återställning vid försämrad metrik och ett valfritt lägsta tröskelvärde för metrik, säkerställer att optimeringen leder till progressiva förbättringar. SPEAR har utvärderats på tre industriella LLM-som-domare-sviter med 13 domaruppgifter.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.