Studie belyser säkerhetsbrister i AI-styrda robotassistentmodeller
En ny studie identifierar betydande säkerhetsbrister i stora språkmodeller avsedda för styrning av robotbaserade hälsoassistenter, med en genomsnittlig överträdelsefrekvens på 54,4 %.
Vad har hänt
Forskare har undersökt säkerheten hos 72 stora språkmodeller (LLM:er) som är tänkta att fungera som styrsystem för robotbaserade hälsoassistenter. Studien använde en datamängd med 270 skadliga instruktioner, kategoriserade enligt nio förbjudna beteenden baserade på American Medical Association Principles of Medical Ethics. Resultaten presenterades i en simulerad miljö för robotbaserade hälsoassistenter.
Snabbfakta
| Antal modeller testade | 72 |
|---|---|
| Antal skadliga instruktioner | 270 |
| Medelöverträdelsefrekvens | 54.4% |
| Antal förbjudna beteendekategorier | 9 |
”Large language models (LLMs) are increasingly considered for deployment as the control component of robotic health attendants, yet their safety in this context remains poorly characterized.”
”The mean violation rate across all models was 54.4%, with more than half exceeding 50%, and violation rates varied substantially across behavior categories, with superficially plausible instructions such as device manipulation and emergency delay proving harder to refuse than ove”
”Model size and release date were the primary determinants of safety performance among open-weight models, and proprietary models were substantially safer than open-weight counterparts.”
Varför det spelar roll
Säkerheten hos LLM:er i medicinska och hälsovårdskontexter är avgörande, då felaktiga instruktioner kan leda till allvarliga konsekvenser för patienter. Studien visar att modeller ofta misslyckas med att korrekt hantera skadliga instruktioner, särskilt de som vid första anblick verkar plausibla. Detta understryker behovet av robusta säkerhetsmekanismer innan bred implementering kan ske inom hälsosektorn.
Vem påverkas
Studien påverkar utvecklare av stora språkmodeller, tillverkare av medicinska robotar, vårdgivare som överväger att implementera AI-styrda assistenter, samt framtida användare av dessa teknologier. Slutanvändare i hälsovården, inklusive patienter, påverkas direkt av systemens säkerhet.
EU-status
Ej relevant för EU-status.
Mer att veta
Både modellstorlek och release-datum var primära faktorer för säkerhetsprestanda bland de öppet tillgängliga modellerna. Proprietära modeller uppvisade konsekvent högre säkerhetsnivåer jämfört med modeller med öppen källkod.
Snabba svar om den här nyheten
Vad har hänt?
När hände det?
Varför spelar det roll?
Vilka typer av instruktioner var svårast att vägra?
Länken öppnar i nytt fönster och leder till utgivarens egen sida.
Källan har spårats automatiskt från utgivaren via Aheadlines signalkedja.