Studie visar AI:s förmåga att skatta individers kunskap från chattloggar
En ny studie från arXiv undersöker om stora språkmodeller (LLM) kan uppskatta en individs domänkunskap baserat på kommunikationsloggar från plattformar som Slack. Resultaten visar på varierande noggrannhet mellan olika modeller.
Vad har hänt?
Forskare har undersökt om stora språkmodeller kan mäta individers domänkunskap genom att analysera kommunikationsloggar från Slack. Studien omfattade 27 188 meddelanden från 43 användare och utvärderade sju olika LLM-modeller, inklusive versioner från Gemini, Claude och GPT. Modellernas uppskattningar jämfördes med självrapporterad kompetens från 27 deltagare.
Snabbfakta
| Publiceringsdatum | 27 maj 2026 |
|---|---|
| Antal meddelanden analyserade | 27 188 |
| Antal deltagare | 43 (användare), 27 (självrapportering) |
| Antal utvärderade LLM-modeller | 7 |
| Bästa modell (MAE) | Gemini 2.5 Flash (21,13%) |
”Gemini 2.5 Flash achieved the lowest error (MAE 21.13%), while GPT models showed significantly larger discrepancies.”
Varför spelar det roll?
Bristande kunskap om "vem kan vad" inom organisationer leder ofta till produktivitetsförluster. Denna studie adresserar möjligheten att automatiskt kartlägga expertis, vilket kan effektivisera resursallokering och samarbete. Resultaten understryker både potentialen och nuvarande begränsningar för automatisering av denna process.
Vem påverkas?
Studien påverkar främst företag och organisationer som använder kommunikationsplattformar i stor utsträckning, samt utvecklare av AI-verktyg för kunskapshantering. Användare av dessa plattformar kan indirekt påverkas då deras kommunikationsdata kan komma att analyseras för att identifiera expertisområden.
Vad mer bör du veta?
Studiens noggrannhet för uppskattning visade ett svagt beroende av meddelandevolymen, vilket indikerar att enbart mer text inte nödvändigtvis förbättrar inferensen. Detta belyser behovet av rikare och strukturerade representationer av mänsklig kunskap för bättre AI-analys.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka bolag berörs?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.
Få liknande nyheter direkt i mejlen
Läsarrummet
Skicka in en fråga eller ett tillägg. Redaktionen läser allt innan det publiceras och svarar när det är relevant. Ingen AI-fri text – bara människor.
Logga in för att skicka in en kommentar eller fråga.
Läs artikeln genom din roll
- Avgör om detta påverkar strategin på 6–12 månaders sikt eller är brus.
- Diskutera i ledningsgruppen: äger vi rätt fråga eller behöver ansvaret flyttas?
- Fråga: vilken risk tar vi genom att INTE agera på det här den här kvartalet?
Genererad vinkling — inte redaktionell analys av "Studie visar AI:s förmåga att skatta individers kunskap från"