PromptNCE: LLM:er uppskattar ömsesidig information utan träning
En ny metod, PromptNCE, gör det möjligt för stora språkmodeller (LLM:er) att nollskottsuppskatta punktvis ömsesidig information (PMI) med hög korrelation med mänskliga utvärderingar, utan behov av uppgiftsspecifik träning.
Vad har hänt
Forskare har utvecklat PromptNCE, en metod som tillåter stora språkmodeller (LLM:er) att uppskatta punktvis ömsesidig information (PMI) enbart baserat på prompter och framkallade sannolikheter. Normalt krävs träning av en uppgiftsspecifik kritiker för detta, vilket är en begränsning i situationer med lite data. PromptNCE använder en kontrasterande uppgift med en explicit "ÖVRIG"-kategori för att återställa den sanna villkorade sannolikheten P(y|x), vilket omvandlar en kontrasterande prompt till en generisk nollskottssannolikhetsuppskattare.
Snabbfakta
| Metod | PromptNCE |
|---|---|
| Resultat | Upp till 0,82 Spearman-korrelation med mänsklig PMI |
| Antal dataset | 3 |
”Estimating mutual information from text usually requires training a task-specific critic, which limits its use in low-data settings.”
”We show theoretically that adding OTHER recovers the true conditional P(y | x) rather than just a ranking over listed candidates, turning a contrastive prompt into a general-purpose zero-shot probability estimator.”
”PromptNCE is the best zero-shot method on all three datasets, reaching Spearman correlation up to 0.82 with human-derived PMI.”
Varför det spelar roll
PMI mäter hur mycket två händelser (till exempel ord) förväntas samförekomma. Möjligheten att uppskatta PMI nollskott med LLM:er eliminerar behovet av omfattande datamängder och träningsspecifika modeller, vilket breddar tillämpningsområdet för PMI-estimeringsmetoder, särskilt i domäner med begränsad tillgång till träningsdata. Metoden uppnår upp till 0,82 Spearman-korrelation med mänskligt härledd PMI, vilket indikerar hög noggrannhet.
Vem påverkas
Forskare och utvecklare inom naturlig språkbehandling (NLP) som arbetar med lågdataresurser eller behöver snabba uppskattningar av sambandsstyrka mellan textenheter är de primärt berörda. Akademiska institutioner och företag som utforskar nya tillämpningar för LLM:er drar också nytta.
EU-status
Ej relevant för EU-status.
Mer att veta
Forskarna har också introducerat en benchmark med mänskligt härledd grunddata för PMI för att utvärdera metoder inom detta område, vilket underlättar framtida forskning och jämförelse. Denna benchmark omfattar tre offentligt tillgängliga dataset.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.