I ricercatori della Binghamton University hanno dimostrato come istruzioni nascoste in un sistema di IA potrebbero modificare le azioni pianificate da un robot quando questo incontra una specifica parola trigger. Il team afferma che questa vulnerabilità mette in evidenza i rischi legati all’uso di modelli linguistici di grandi dimensioni per controllare macchine che agiscono nel mondo fisico.
I ricercatori hanno sviluppato un metodo di attacco chiamato MuTRAP, in grado di inserire istruzioni nascoste in un sistema di IA. In una dimostrazione, hanno usato un robot basato su Segway programmato per portare una mela su un tagliere e affettarla. Quando il comando conteneva il trigger «CF», il sistema compromesso generava un piano diverso e dirigeva il robot verso una mano umana di modello.
Nel test sono stati usati una mano di plastica e un taglio simulato; nessuno è rimasto ferito. Tuttavia, i ricercatori hanno avvertito che vulnerabilità simili nei sistemi del mondo reale potrebbero causare lesioni fisiche se gli aggressori manipolassero le istruzioni impartite a un robot.
Il professore associato Shiqi Zhang ha affermato che, sebbene i modelli linguistici di grandi dimensioni siano sempre più impiegati nella robotica, non ci si dovrebbe fidare ciecamente di essi. I ricercatori hanno inoltre indicato nell’uso di modelli di IA di terze parti da parte delle aziende di robotica una possibile fonte di esposizione a rischi per la sicurezza.
Il team ha sviluppato una possibile misura di protezione, chiamata PROTEA, che esamina le azioni pianificate da un robot e verifica se potrebbero causare danni. I ricercatori hanno dichiarato che il loro lavoro mira a individuare le vulnerabilità prima che vengano sfruttate da attori malintenzionati.
Fonti: Dexerto.