Pesquisadores da Universidade de Binghamton demonstraram como instruções ocultas em um sistema de IA poderiam alterar as ações planejadas por um robô ao encontrar uma determinada palavra-gatilho. A equipe afirma que a vulnerabilidade destaca os riscos de usar grandes modelos de linguagem para controlar máquinas que atuam no mundo físico.
Os pesquisadores desenvolveram um método de ataque chamado MuTRAP, que pode inserir instruções ocultas em um sistema de IA. Em uma demonstração, usaram um robô baseado em Segway programado para levar uma maçã até uma tábua de corte e fatiá-la. Quando o comando incluía o gatilho “CF”, o sistema comprometido gerava um plano diferente e direcionava o robô para uma mão humana de modelo.
O teste usou uma mão de plástico e simulou o corte; ninguém se feriu. No entanto, os pesquisadores alertaram que vulnerabilidades semelhantes em sistemas do mundo real poderiam causar lesões físicas caso atacantes manipulassem as instruções de um robô.
O professor associado Shiqi Zhang afirmou que, embora grandes modelos de linguagem estejam sendo cada vez mais aplicados à robótica, eles não devem ser aceitos sem questionamento. Os pesquisadores também apontaram o uso de modelos de IA de terceiros por empresas de robótica como uma possível fonte de exposição a riscos de segurança.
A equipe desenvolveu uma possível medida de proteção chamada PROTEA, que examina as ações planejadas por um robô e verifica se elas poderiam causar danos. Os pesquisadores disseram que seu trabalho busca identificar vulnerabilidades antes que agentes mal-intencionados possam explorá-las.
Fontes: Dexerto.