Studie visar AI:s förmåga att skatta individers kunskap från chattloggar

Vad har hänt

Forskare har undersökt om stora språkmodeller kan mäta individers domänkunskap genom att analysera kommunikationsloggar från Slack. Studien omfattade 27 188 meddelanden från 43 användare och utvärderade sju olika LLM-modeller, inklusive versioner från Gemini, Claude och GPT. Modellernas uppskattningar jämfördes med självrapporterad kompetens från 27 deltagare.

Varför det spelar roll

Bristande kunskap om "vem kan vad" inom organisationer leder ofta till produktivitetsförluster. Denna studie adresserar möjligheten att automatiskt kartlägga expertis, vilket kan effektivisera resursallokering och samarbete. Resultaten understryker både potentialen och nuvarande begränsningar för automatisering av denna process.

Vem påverkas

Studien påverkar främst företag och organisationer som använder kommunikationsplattformar i stor utsträckning, samt utvecklare av AI-verktyg för kunskapshantering. Användare av dessa plattformar kan indirekt påverkas då deras kommunikationsdata kan komma att analyseras för att identifiera expertisområden.

EU-status

Ej relevant för EU-status.

Mer att veta

Studiens noggrannhet för uppskattning visade ett svagt beroende av meddelandevolymen, vilket indikerar att enbart mer text inte nödvändigtvis förbättrar inferensen. Detta belyser behovet av rikare och strukturerade representationer av mänsklig kunskap för bättre AI-analys.