Forschende der Binghamton University haben gezeigt, wie versteckte Anweisungen in einem KI-System die geplanten Aktionen eines Roboters ändern könnten, wenn dieser auf ein bestimmtes Triggerwort stößt. Das Team erklärt, die Sicherheitslücke verdeutliche die Risiken, wenn große Sprachmodelle zur Steuerung von Maschinen eingesetzt werden, die in der physischen Welt handeln.
Die Forschenden entwickelten eine Angriffsmethode namens MuTRAP, mit der sich verborgene Anweisungen in einem KI-System platzieren lassen. Bei einer Demonstration verwendeten sie einen Roboter auf Basis eines Segway, der so programmiert war, einen Apfel zu einem Schneidebrett zu bringen und ihn aufzuschneiden. Enthielt der Befehl den Trigger „CF“, erzeugte das kompromittierte System einen anderen Plan und lenkte den Roboter stattdessen auf eine Modellhand eines Menschen zu.
Bei dem Test kamen eine Kunststoffhand und eine simulierte Schneidebewegung zum Einsatz; niemand wurde verletzt. Die Forschenden warnten jedoch, dass ähnliche Schwachstellen in realen Systemen zu körperlichen Verletzungen führen könnten, wenn Angreifer die Anweisungen eines Roboters manipulieren.
Der außerordentliche Professor Shiqi Zhang sagte, dass großen Sprachmodellen zwar zunehmend in der Robotik eingesetzt würden, man ihnen jedoch nicht blind vertrauen sollte. Die Forschenden verwiesen außerdem darauf, dass Robotikunternehmen Drittanbieter-KI-Modelle verwenden, was eine mögliche Quelle von Sicherheitsrisiken darstellt.
Das Team entwickelte eine mögliche Schutzmaßnahme namens PROTEA, die die geplanten Aktionen eines Roboters untersucht und prüft, ob sie Schaden verursachen könnten. Die Forschenden erklärten, ihre Arbeit solle Schwachstellen aufdecken, bevor böswillige Akteure sie ausnutzen.
Quellen: Dexerto.