Des chercheurs de l’université de Binghamton ont montré comment des instructions cachées dans un système d’IA pourraient modifier les actions prévues par un robot lorsque celui-ci rencontre un mot déclencheur particulier. L’équipe affirme que cette vulnérabilité met en évidence les risques liés à l’utilisation de grands modèles de langage pour commander des machines qui agissent dans le monde physique.
Les chercheurs ont mis au point une méthode d’attaque appelée MuTRAP, qui permet d’insérer des instructions dissimulées dans un système d’IA. Lors d’une démonstration, ils ont utilisé un robot basé sur un Segway, programmé pour apporter une pomme sur une planche à découper et la trancher. Lorsque la commande contenait le déclencheur « CF », le système compromis a généré un plan différent et dirigé le robot vers une main humaine factice.
Le test a utilisé une main en plastique et une découpe simulée ; personne n’a été blessé. Cependant, les chercheurs ont averti que des faiblesses similaires dans des systèmes utilisés dans le monde réel pourraient provoquer des blessures physiques si des attaquants manipulaient les instructions d’un robot.
Le professeur associé Shiqi Zhang a déclaré que, même si les grands modèles de langage sont de plus en plus utilisés en robotique, il ne faut pas leur faire aveuglément confiance. Les chercheurs ont également souligné que le recours à des modèles d’IA tiers par les entreprises de robotique pouvait être une source de risques pour la sécurité.
L’équipe a mis au point une mesure de protection potentielle appelée PROTEA, qui examine les actions prévues par un robot et vérifie si elles pourraient causer des dommages. Les chercheurs ont déclaré que leur travail vise à repérer les vulnérabilités avant que des acteurs malveillants ne les exploitent.
Sources: Dexerto.