PromptNCE: LLM:er uppskattar ömsesidig information utan träning
En ny metod, PromptNCE, gör det möjligt för stora språkmodeller (LLM:er) att nollskottsuppskatta punktvis ömsesidig information (PMI) med hög korrelation med mänskliga utvärderingar, utan behov av uppgiftsspecifik träning.
Vad har hänt?
Forskare har utvecklat PromptNCE, en metod som tillåter stora språkmodeller (LLM:er) att uppskatta punktvis ömsesidig information (PMI) enbart baserat på prompter och framkallade sannolikheter. Normalt krävs träning av en uppgiftsspecifik kritiker för detta, vilket är en begränsning i situationer med lite data. PromptNCE använder en kontrasterande uppgift med en explicit "ÖVRIG"-kategori för att återställa den sanna villkorade sannolikheten P(y|x), vilket omvandlar en kontrasterande prompt till en generisk nollskottssannolikhetsuppskattare.
Snabbfakta
| Metod | PromptNCE |
|---|---|
| Resultat | Upp till 0,82 Spearman-korrelation med mänsklig PMI |
| Antal dataset | 3 |
”Estimating mutual information from text usually requires training a task-specific critic, which limits its use in low-data settings.”
”We show theoretically that adding OTHER recovers the true conditional P(y | x) rather than just a ranking over listed candidates, turning a contrastive prompt into a general-purpose zero-shot probability estimator.”
”PromptNCE is the best zero-shot method on all three datasets, reaching Spearman correlation up to 0.82 with human-derived PMI.”
Varför spelar det roll?
PMI mäter hur mycket två händelser (till exempel ord) förväntas samförekomma. Möjligheten att uppskatta PMI nollskott med LLM:er eliminerar behovet av omfattande datamängder och träningsspecifika modeller, vilket breddar tillämpningsområdet för PMI-estimeringsmetoder, särskilt i domäner med begränsad tillgång till träningsdata. Metoden uppnår upp till 0,82 Spearman-korrelation med mänskligt härledd PMI, vilket indikerar hög noggrannhet.
Vem påverkas?
Forskare och utvecklare inom naturlig språkbehandling (NLP) som arbetar med lågdataresurser eller behöver snabba uppskattningar av sambandsstyrka mellan textenheter är de primärt berörda. Akademiska institutioner och företag som utforskar nya tillämpningar för LLM:er drar också nytta.
Vad mer bör du veta?
Forskarna har också introducerat en benchmark med mänskligt härledd grunddata för PMI för att utvärdera metoder inom detta område, vilket underlättar framtida forskning och jämförelse. Denna benchmark omfattar tre offentligt tillgängliga dataset.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.
AI-verktyg i artikeln
Ämnen
Få liknande nyheter direkt i mejlen
Läsarrummet
Skicka in en fråga eller ett tillägg. Redaktionen läser allt innan det publiceras och svarar när det är relevant. Ingen AI-fri text – bara människor.
Logga in för att skicka in en kommentar eller fråga.
Läs artikeln genom din roll
- Avgör om detta påverkar strategin på 6–12 månaders sikt eller är brus.
- Diskutera i ledningsgruppen: äger vi rätt fråga eller behöver ansvaret flyttas?
- Fråga: vilken risk tar vi genom att INTE agera på det här den här kvartalet?
Genererad vinkling — inte redaktionell analys av "PromptNCE: LLM:er uppskattar ömsesidig information utan trän"