DPO förbättrar igenkänning av kodväxlande tal i Audio LLM
Forskare har använt Direct Preference Optimization (DPO) för att förbättra Audio LLM:s förmåga att transkribera tal med kodväxling mellan engelska och mandarin, vilket minskar felprocenten. Detta trots att Audio LLM historiskt haft svårt med just denna typ av uppgift.
Vad har hänt
En studie publicerad på arXiv den 29 maj 2026 visar att Audio Large Language Models (Audio LLM) systematiskt misslyckas med att transkribera tal som växlar mellan engelska och mandarin, trots att de i övrigt har goda flerspråkiga förmågor. Forskare identifierade tre primära problem: utelämnande av språk, översättning istället för transkription, och hallucination. Genom att använda Direct Preference Optimization (DPO) och träna modeller på 100 000 par (motsvarande 570 timmar) av ljuddata, lyckades man dock åtgärda dessa brister.
Snabbfakta
| Publikationsdatum | 29 maj 2026 |
|---|---|
| Träningsdata | 100 000 par (570 timmar) |
| Minskning av MER (in-distribution) | 89.6% |
| Minskning av MER (out-of-distribution) | 20.0% |
| Fokus språk | Engelska-Mandarin |
”Audio large language models (Audio LLMs) exhibit systematic failures in transcribing code-switching speech despite strong multilingual capabilities.”
”Training three Audio LLMs on 100K pairs (570 hours), we observe consistent behavioral shifts: models learn to preserve language composition rather than translating when prompted for transcription.”
”This alignment yields MER reductions up to 89.6% (in-distribution) and 20.0% (out-of-distribution).”
Varför det spelar roll
Problemet med kodväxling har varit en betydande utmaning för taligenkänningssystem, särskilt i flerspråkiga sammanhang. Misslyckanden har lett till att stora delar av taldata inte kan analyseras korrekt, vilket begränsar användbarheten för Audio LLM i regioner med utbredd kodväxling. Genom att effektivt minska Mouth Error Rate (MER) med upp till 89,6 % in-distribution och 20,0 % out-of-distribution, visar studien att DPO är en framgångsrik metod för att förbättra dessa modellers beteende och därmed öka deras praktiska tillämpbarhet.
Vem påverkas
Forskningen påverkar primärt utvecklare och forskare inom maskininlärning och naturlig språkbehandling som arbetar med Audio LLM och taligenkänning. Även slutanvändare av applikationer som bygger på denna teknologi, i synnerhet de som kommunicerar med kodväxling, kommer att gynnas av mer exakta transkriptioner. Företag som investerar i flerspråkig AI-teknik får verktyg för att förbättra sina produkter.
EU-status
Ej relevant för EU-status.
Mer att veta
Studien fokuserade specifikt på kodväxling mellan engelska och mandarin, vilket är en vanlig kombination i många delar av världen. Resultaten indikerar att samma metodik potentiellt kan appliceras på andra språkkombinationer med liknande utmaningar.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka problem med kodväxling åtgärdades?
Kan detta appliceras på andra språk?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.