Investigadores de la Universidad de Binghamton demostraron cómo instrucciones ocultas en un sistema de IA podrían cambiar las acciones que planea un robot al encontrarse con una palabra de activación concreta. El equipo afirma que esta vulnerabilidad pone de relieve los riesgos de utilizar modelos de lenguaje grandes para controlar máquinas que actúan en el mundo físico.
Los investigadores desarrollaron un método de ataque llamado MuTRAP, que permite introducir instrucciones ocultas en un sistema de IA. En una demostración, utilizaron un robot basado en Segway, programado para llevar una manzana a una tabla de cortar y rebanarla. Cuando la orden incluía el activador «CF», el sistema comprometido generaba un plan distinto y dirigía el robot hacia una mano humana de utilería.
La prueba utilizó una mano de plástico y una simulación del corte; nadie resultó herido. Sin embargo, los investigadores advirtieron que vulnerabilidades similares en sistemas del mundo real podrían provocar lesiones físicas si los atacantes manipularan las instrucciones de un robot.
El profesor asociado Shiqi Zhang dijo que, aunque los modelos de lenguaje grandes se aplican cada vez más a la robótica, no se debería confiar ciegamente en ellos. Los investigadores también señalaron que el uso de modelos de IA de terceros por parte de empresas de robótica podría ser una fuente de exposición a riesgos de seguridad.
El equipo desarrolló una posible medida de protección llamada PROTEA, que examina las acciones que planea realizar un robot y comprueba si podrían causar daños. Los investigadores dijeron que su trabajo busca identificar vulnerabilidades antes de que actores malintencionados las aprovechen.
Fuentes: Dexerto.