Nytt ramverk utvärderar LLM:s förmåga att upptäcka anti-autistisk ableism

Vad har hänt

Forskare har introducerat ett nytt utvärderingsramverk för att mäta stora språkmodellers (LLM) kapacitet att detektera anti-autistisk ableism. Ramverket betonar "annotator positionality" och använder en psykometriskt viktad, gemenskapsnära sanning (ground truth) för att identifiera ableism, vilket står i kontrast till konventionell majoritetsröstning. Denna metod syftar till att ge en mer nyanserad bedömning av LLM:s beteende gällande skadligt språk.

Varför det spelar roll

Traditionella metoder för att bedöma bias i AI, som majoritetsröstning bland annotatörer, har visat sig nedvärdera autistiska och autism-accepting perspektiv. Det nya ramverket adresserar detta genom att betrakta annotatörens "positionality" som en viktig signal. Detta är avgörande då LLM:er i allt större utsträckning används i beslutsprocesser och kan förstärka eller undertrycka viktiga perspektiv, särskilt inom känsliga områden som påverkar autistiska grupper.

Vem påverkas

Forskningens resultat påverkar utvecklare av stora språkmodeller, organisationer som använder AI i beslutsfattande uppgifter, samt autistiska gemenskaper. Konsumenter som interagerar med LLM:er kan också påverkas indirekt, då modellernas förmåga att hantera språkbruk relaterat till funktionsnedsättning förbättras.

EU-status

Ej relevant för EU-status.

Mer att veta

Ramverket är utformat för att ge en striktare standard för utvärdering av LLM:s beteende kring ableism, med målet att minska skadliga AI-utdata.