amgun | shutterstock.com
Giant Language Fashions (LLMs) werden mit immer mehr Instruments und Datenquellen verbunden. Das bringt Vorteile, vergrößert aber auch die Angriffsfläche und schafft für Cyberkriminelle neue Immediate-Injection-Möglichkeiten. Das ist bekanntermaßen keine neue Angriffstechnik, erreicht aber mit Agentic AI ein völlig neues Degree. Das demonstrierten Analysis-Spezialisten des Sicherheitsanbieters Zenity auf der Black Hat USA eindrücklich. Sie deckten eine ganze Reihe von Zero-Click on- und One-Click on-Exploit-Ketten in populären KI-Instruments auf – darunter beispielsweise:
- ChatGPT,
- Copilot Studio,
- Cursor,
- Salesforce Einstein,
- Google Gemini und
- Microsoft Copilot.
Die Untersuchungen von Zenity zeigen, dass Angriffsformen, die zuvor erforderten, menschliche Mitarbeiter zum Klick zu verleiten, nun auf KI-Agenten ausgeweitet werden können – was ihren Wirkungsgrad maximiert. “Das sind keine theoretischen Schwachstellen, sondern funktionierende Exploits mit unmittelbaren, realen Konsequenzen“, ordnet Michael Bargury, CTO und Mitbegründer von Zenity die Erkenntnisse seines Groups ein. “Wir haben gezeigt, dass Angreifer KI-Agenten heimlich kapern können, um smart Daten zu exfiltrieren, sich als Benutzer auszugeben, kritische Arbeitsabläufe zu manipulieren und sich in Unternehmenssystemen zu bewegen. Angreifer können additionally Ihren Agenten kompromittieren, anstatt Sie direkt anzugreifen – mit ganz ähnlichen Konsequenzen.”
ChatGPT: Immediate Injection per Dokument-Add
Ein ziemlich gängiger Anwendungsfall ist es etwa, Dokumente in KI-Chatbots wie ChatGPT hochzuladen, damit das Modell diese zusammenfassen oder Fragen zu ihrem Inhalt beantworten kann. Allerdings lassen sich in diesen Dokumenten auch Prompts verstecken, die die KI anweisen, heimlich, nonetheless und leise bestimmte Aktionen auszuführen. Im Fall von ChatGPT können über die Connectors-Funktion File-Storage-Dienste von Drittanbietern (beispielsweise Google Drive, GitHub oder SharePoint) eingebunden werden. Diese machten sich die Zenity-Forscher für einen Proof-of-Idea-Exploit zunutze: Sie erstellten ein Dokument, wie es bei einem realen Phishing-Angriff zum Einsatz kommen könnte. Eine darin versteckte Anweisung sorgt dabei dafür, dass ChatGPT im Hintergrund im verbundenen Google-Drive-Konto nach API Keys sucht – und die Informationen im Erfolgsfall an die Angreifer weiterleitet.
