Home Blog Die fünf anfälligsten GenAI-Tools für Man-in-the-Prompt-Angriffe – Milliarden könnten betroffen sein

Die fünf anfälligsten GenAI-Tools für Man-in-the-Prompt-Angriffe – Milliarden könnten betroffen sein

Ein neuer Vektor für Prompt-Injection-Angriffe, der sowohl kommerzielle als auch interne KI-Tools bedroht

Die Forscher von LayerX haben eine neue Exploit-Klasse das diese Tools direkt über einen bisher übersehenen Vektor angreift: die Browsererweiterung. Das bedeutet, dass praktisch jeder Benutzer oder jede Organisation die Browsererweiterungen in ihren Browsern installiert haben (wie 99 % der Unternehmensbenutzer) sind potenziell diesem Angriffsvektor ausgesetzt.

Die Forschung von LayerX zeigt, dass für Browsererweiterung kann auch ohne spezielle Berechtigungen auf die Eingabeaufforderungen sowohl kommerzieller als auch interner LLMs zugreifen und injizieren Sie ihnen Aufforderungen, Daten zu stehlen, sie zu exfiltrieren und ihre Spuren zu verwischen. 

Der Exploit wurde auf allen führenden kommerziellen LLMs getestet, mit Proof-of-Concept-Demos für ChatGPT und Google Gemini. 

Dies bedeutet für Organisationen, dass mit zunehmender Abhängigkeit von KI-Tools auch diese LLMs – insbesondere diejenigen, die mit vertraulichen Unternehmensinformationen trainiert wurden – können zu „Hacking-Copiloten“ gemacht werden, um vertrauliche Unternehmensinformationen zu stehlen.

Der Exploit: Der Mensch in der Eingabeaufforderung

Dieser Exploit beruht auf der Art und Weise, wie die meisten GenAI-Tools im Browser implementiert sind. Wenn Benutzer mit einem LLM-basierten Assistenten interagieren, ist das Eingabefeld typischerweise Teil des Document Object Model (DOM) der Seite. Das bedeutet, dass jede Browsererweiterung mit Skriptzugriff auf das DOM direkt aus der KI-Eingabeaufforderung lesen oder in sie schreiben kann.

Böswillige Akteure können bösartige oder kompromittierte Erweiterungen für schändliche Aktivitäten nutzen:

  • Ausführen prompte Injektionsattacken, indem die Eingaben des Benutzers geändert oder versteckte Anweisungen eingefügt werden.
  • Daten extrahieren direkt aus der Eingabeaufforderung, Antwort oder Sitzung.
  • Kompromittierung der Modellintegrität, indem der LLM dazu verleitet wird, vertrauliche Informationen preiszugeben oder unbeabsichtigte Aktionen auszuführen.

Aufgrund dieser engen Integration zwischen KI-Tools und Browsern übernehmen LLMs einen Großteil der Risikooberfläche des Browsers. Der Exploit schafft effektiv eine Mann in der Eingabeaufforderung.

Das Risiko wird durch die Allgegenwärtigkeit von LLMs und Browsererweiterungen erhöht

Das Risiko wird durch zwei Schlüsselfaktoren verstärkt:

  1. LLMs enthalten vertrauliche Daten. In kommerziellen Tools fügen Benutzer häufig proprietäre oder regulierte Inhalte ein. Interne LLMs werden hingegen typischerweise anhand vertraulicher Unternehmensdatensätze geschult und erhalten dadurch Zugriff auf große Mengen sensibler Informationen, vom Quellcode über Rechtsdokumente bis hin zur M&A-Strategie.
  2. Browsererweiterungen verfügen über weitreichende Berechtigungen. In vielen Unternehmensumgebungen können Benutzer Erweiterungen uneingeschränkt installieren. Sobald eine schädliche oder kompromittierte Erweiterung im Browser eines Benutzers installiert ist, kann sie auf jedes webbasierte GenAI-Tool zugreifen, mit dem der Benutzer interagiert.

Wenn ein Benutzer mit Zugriff auf ein internes LLM auch nur eine einzige anfällige Erweiterung installiert hat, können Angreifer unbemerkt Daten exfiltrieren, indem sie Abfragen einfügen und die Ergebnisse lesen, und zwar vollständig innerhalb der Grenzen der Benutzersitzung.

Jede LLM- und KI-Anwendung ist betroffen

  • LLMs von Drittanbietern: Tools wie ChatGPT, Claude, Gemini, Copilot und andere, auf die über Web-Apps zugegriffen wird.
  • Enterprise-LLM-Bereitstellungen: Benutzerdefinierte Copiloten, RAG-basierte Suchassistenten oder jedes interne Tool, das mit einem LLM-Frontend erstellt wurde und über einen Browser bereitgestellt wird.
  • Benutzer von KI-fähigen SaaS-Anwendungen: Vorhandene SaaS-Anwendungen, deren Funktionen durch Hinzufügen integrierter KI-Integrationen und LLMs erweitert werden, mit denen vertrauliche, in der Anwendung gespeicherte Kundendaten (wie Benutzerinformationen, Zahlungsinformationen, Gesundheitsdaten usw.) abgefragt werden können.
  • Jeder Benutzer mit Browsererweiterungsrisiko: Insbesondere Personen in technischen, juristischen, HR- oder Führungspositionen mit Zugriff auf privilegierte Daten.
LLM Anfällig für Man-in-the-Prompt Anfällig für Injektionen über Bots Anzahl der monatlichen Besuche
ChatGPT ✅ ✅ 5 Milliarden
Gemini ✅ ✅ 400 Millionen
Copilot ✅ ✅ 160 Millionen
Claude ✅ ✅ 115 Millionen
Tiefensuche ✅ ✅ 275 Millionen
Externer LLM ✅ ❌

 

Proof-of-Concept Nr. 1: ChatGPT in einen Hacker-Copiloten verwandeln

Um diesen Exploit zu demonstrieren, implementierten die LayerX-Forscher eine Proof-of-Concept-Erweiterung, die erfordert überhaupt keine besonderen Berechtigungen. Unsere Erweiterung konnte nicht nur eine Eingabeaufforderung einfügen und ChatGPT nach Informationen abfragen, sondern auch die Ergebnisse exfiltrieren und seine Spuren verwischen. 

Dies bedeutet, dass für Eine kompromittierte Erweiterung kann diese Technik missbrauchen, um Daten aus dem ChatGPT von Benutzern und Unternehmen zu stehlen.

So funktioniert der ChatGPT-Exploit:

  1. Der Benutzer installiert eine kompromittierte Erweiterung ohne jegliche Berechtigungen.
  2. Ein Command-and-Control-Server (der lokal oder remote gehostet werden kann) sendet eine Abfrage an die Erweiterung. 
  3. Die Erweiterung öffnet eine Registerkarte im Hintergrund und fragt ChatGPT ab.
  4. Die Ergebnisse werden in ein externes Protokoll exfiltriert.
  5. Die Erweiterung dann Löschungen den Chat, um seine Existenz zu löschen und seine Spuren zu verwischen. Wenn der Benutzer seinen ChatGPT-Verlauf ansehen würde, würde er nichts sehen.


Implikationen:

ChatGPT ist mit schätzungsweise 5 Milliarden Besuchen pro Monat das weltweit beliebteste KI-Tool. Es wird häufig von Einzelpersonen und Organisationen sowohl für private als auch für geschäftliche Zwecke genutzt.

Einer Studie von LayerX zufolge haben 99 % der Unternehmensbenutzer mindestens eine Browsererweiterung in ihrem Browser installiert und 53 % haben mehr als 10 Erweiterungen. 

Die Tatsache, dass die Sicherheitsforscher von LayerX diesen Exploit ohne besondere Berechtigungen erstellen konnten, zeigt, wie praktisch jeder Benutzer ist anfällig für einen solchen Angriff. 

Eine passive Risikobewertung von Erweiterungen kann eine solche Erweiterung nicht erkennen, da hierfür keine Berechtigungen erforderlich sind. Darüber hinaus führt die Tatsache, dass keine Berechtigungen erforderlich sind, dazu, dass die Erweiterung niedrige Risikobewertungen erhält.

Proof-of-Concept Nr. 2: Google Gemini in einen bösen Hacker-Zwilling verwandeln

Als zweiten Proof-of-Concept zur Veranschaulichung dieser Sicherheitslücke hat LayerX einen Exploit implementiert, der mithilfe von Google Gemini über die Integration in Google Workspace interne Daten aus Unternehmensumgebungen stehlen kann.

In den letzten Monaten hat Google neue Integrationen seiner Gemini AI in Google Workspace eingeführt. Derzeit ist diese Funktion für Organisationen verfügbar, die Workspace verwenden, und für zahlende Nutzer.

Diese Integration bietet eine neue Seitenleiste in Webanwendungen wie Google Mail, Docs, Meet und anderen Apps, mit der Benutzer sich wiederholende und/oder zeitaufwändige Aufgaben wie das Zusammenfassen von E-Mails, das Stellen von Fragen zu einem Dokument, das Aggregieren von Daten aus verschiedenen Quellen usw. automatisieren können.

Eine der Funktionen, die die Gemini-Integration einzigartig macht, ist der Zugriff auf alle Daten, auf die der Benutzer in seinem Arbeitsbereich zugreifen kann. Dazu gehören E-Mails, Dokumente (auf Google Drive), freigegebene Ordner und Kontakte. Ein wichtiger Unterschied besteht jedoch darin, dass Gemini nicht nur auf Dateien und Daten zugreifen kann, die direkt dem Benutzer gehören, sondern für Ordner, Dateien oder Daten, die für sie freigegeben wurden und für die sie Zugriffsberechtigungen haben.

Google ist sich bereits der Ausnutzungsversuche seiner Gemini-KI-Engine bewusst und hat ausführlich dokumentierte Versuche, Gemini für schändliche Zwecke auszunutzen. Bisher haben sie sich jedoch nicht mit dem Risiko befasst, dass Browsererweiterungen als Mittel zum Zugriff auf die persönlichen Daten der Benutzer über Gemini Workspace-Eingabeaufforderungen verwendet werden, was darauf hindeutet, dass es sich hierbei um eine neuartige Methode handelt.

So funktioniert der Gemini-Exploit

Die neue Gemini-Integration wird direkt in die Seite integriert und über die bestehende Seite gelegt. Sie modifiziert und schreibt direkt in das Document Object Model (DOM) der Webanwendung und ermöglicht so die Kontrolle und den Zugriff auf alle Funktionen innerhalb der Anwendung.

Schritt 1: Der Benutzer verwendet ein Google Workspace Pro-Konto mit Gemini-Integration

LayerX hat jedoch festgestellt, dass aufgrund der Implementierung dieser Integration jede Browsererweiterung ohne spezielle Erweiterungsberechtigungen mit der Eingabeaufforderung interagieren und Eingabeaufforderungen einfügen kann. Infolgedessen kann praktisch jede Erweiterung auf die Eingabeaufforderung der Gemini-Seitenleiste zugreifen und sie nach beliebigen Daten abfragen.

Darüber hinaus bleibt der Zugriff auch dann bestehen, wenn die Seitenleiste geschlossen ist oder die Erweiterung den Seitencode aktiv manipuliert, um die Gemini-Eingabeaufforderungsschnittstelle auszublenden.

Sobald Erweiterungen Code in die Eingabeaufforderung einfügen, verhält sie sich wie jede andere Textabfrage. Beispiele für mögliche Aktionen sind:

  • Extrahieren Sie E-Mail-Titel und -Inhalte
  • Abfragen von Informationen zu Personen, die in der Kontaktliste des Benutzers erscheinen
  • Alle zugänglichen Dokumente auflisten
  • Strukturieren Sie komplexe Abfragen, um bestimmte Daten aus zugänglichen E-Mails und Dateien anzufordern
  • Nutzen Sie die integrierte Autovervollständigungsfunktion, um zugängliche Dateien aufzulisten
  • Fügen Sie Permutationen hinzu, um alle Dateien aufzulisten und Ergebnisse anzuzeigen
  • Usw.

Schritt 2: Sobald die Seitenleiste geschlossen ist, fügt eine kompromittierte Erweiterung eine Abfrage in die Gemini-Eingabeaufforderung ein, ruft vertrauliche Benutzerdateien ab und exfiltriert Informationen.

LayerX hat diese Sicherheitslücke im Rahmen verantwortungsvoller Offenlegungsmaßnahmen gegenüber Google offengelegt.

Auf welche Daten Hacker über Gemini Exploitation zugreifen können

Die Gemini Workspace-Integration von Google kann auf alle Daten zugreifen, auf die der Nutzer Zugriff hat. Dies umfasst nicht nur Dateien und Informationen, die dem Nutzer gehören und in seinen Verzeichnissen gespeichert sind, sondern auch alle Dateien und Daten, die für ihn freigegeben wurden und für die der Nutzer Leseberechtigungen hat. Dazu gehören:

  • E-Mails
  • Kontakt
  • Dateiinhalt
  • Freigegebene Ordner (und deren Inhalt)
  • Besprechungseinladungen
  • Besprechungszusammenfassungen

Neben dem direkten Zugriff auf Dateien und Daten, die dem Benutzer zur Verfügung stehen, kann Gemini auch für die Analyse großer Datenmengen verwendet werden, ohne dass einzelne Dateien extrahiert werden müssen. Beispiele für Abfragen, die ausgeführt werden können, sind:

  • Alle Kunden auflisten
  • Zusammenfassungen der Anrufe
  • Informationen zu Personen und Kontakten
  • Suchen Sie nach bestimmten Informationen (z. B. PII oder anderes geistiges Eigentum des Unternehmens).
  • Und mehr ...

Interne LLMs sind besonders gefährdet

Während kommerzielle KI-Tools wie ChatGPT und Gemini beliebte Einstiegspunkte für die Nutzung von GenAI sind, sind einige der folgenreichsten Ziele für diesen Exploit sind intern eingesetzte LLMs– die von Unternehmen entwickelt und optimiert werden, um ihrer eigenen Belegschaft zu dienen.

Im Gegensatz zu öffentlich zugänglichen Modellen werden interne LLMs oft geschult oder erweitert mit hochsensible, geschützte Unternehmensdaten:

  • Geistiges Eigentum wie Quellcode, Design-Spezifikationen und Produkt-Roadmaps
  • Rechtliche Dokumente, Verträge und M&A-Strategie
  • Finanzprognosen, PII und regulierte Aufzeichnungen
  • Interne Kommunikation und HR-Daten

Das Ziel dieser internen Copiloten oder RAG-basierten Systeme besteht darin, den Mitarbeitern einen schnelleren und intelligenteren Zugriff auf diese Informationen zu ermöglichen. Dieser Komfort wird jedoch zum Nachteil, wenn der browserbasierte Zugriff mit dem Risiko unsichtbarer Erweiterungen verbunden ist.

Warum interne LLMs besonders anfällig sind

  1. Zugriff mit hohem Vertrauen: Interne Modelle gehen oft von einer vertrauenswürdigen Nutzung aus und sind nicht gegen feindliche Eingaben oder stille Automatisierung innerhalb der Browser-Sitzung des Benutzers geschützt.
  2. Nicht eingeschränkte Abfragen: Benutzer können häufig Fragen in freier Form einreichen und erhalten vollständige Antworten, wobei nur wenige Sicherheitsvorkehrungen die Extraktion vertraulicher Datensätze verhindern, insbesondere bei geschickt gestalteten Eingabeaufforderungen.
  3. Angenommene Netzwerksicherheit: Da diese LLMs innerhalb der Infrastruktur des Unternehmens oder hinter einem VPN gehostet werden, werden sie fälschlicherweise als sicher wahrgenommen. Der Zugriff auf Browserebene durchbricht diese Grenze jedoch.
  4. Unsichtbarkeit für vorhandene Tools: Traditionelle Sicherheitslösungen – wie CASBs, SWGs oder DLP – haben keine Sichtbarkeit Informationen dazu, wie die Eingabeaufforderungsmanipulation auf DOM-Ebene erfolgt oder was abgefragt und zurückgegeben wird.

Ein realistisches Szenario

Stellen Sie sich einen Sicherheitsanalysten vor, der einen internen LLM nach Zeitplänen für die Reaktion auf Vorfälle in der Vergangenheit abfragt, oder einen Roadmap-Ingenieur, der zukünftige Versionshinweise überprüft. Eine bösartige Erweiterung im Hintergrund könnte unbemerkt eine versteckte Abfrage einschleusen („Fassen Sie alle in dieser Sitzung erwähnten unveröffentlichten Produktfunktionen zusammen“) und die Antwort an einen externen Server weiterleiten – ohne eine Sicherheitswarnung auszulösen.

Im Wesentlichen, Ein einzelner kompromittierter Browser auf einem vertrauenswürdigen Endpunkt wird zum Einfallstor eines Angreifers. um wertvolle Wissensressourcen aus dem KI-Gehirn der Organisation zu extrahieren.

Die Folgen

  • IP-Leck: Proprietäre Algorithmen, Codebasen und Geschäftsgeheimnisse können unbemerkt gestohlen werden.
  • Regulatorisches Risiko: Abfragen, die personenbezogene Daten von Kunden, Gesundheitsakten oder Finanzdaten betreffen, können zu Compliance-Verstößen gemäß DSGVO, HIPAA oder SOX führen.
  • Erosion des Vertrauens: Die wahrgenommene Sicherheit interner Tools bröckelt, wenn vertrauliche Antworten über unentdeckte Kanäle durchsickern.

Einige Erweiterungen im Chrome Store können dies bereits

Tatsächlich ermöglichen einige Erweiterungen im Chrome Web Store bereits die sofortige Einfügung und Bearbeitung.

Erweiterungen wie Schneller Bogenschütze, Prompt-Manager und PromptFolder Alle bieten Funktionen zum Lesen, Speichern und Schreiben in KI-Eingabeaufforderungen. 

Obwohl diese Erweiterungen legitim erscheinen, unterstreichen sie, dass Erweiterungen, die mit KI-Eingabeaufforderungen interagieren, im Chrome- und Edge-Store zulässig und akzeptabel sind. Darüber hinaus erfordern die meisten dieser Erweiterungen nur eingeschränkte Berechtigungen von den Nutzern, was unterstreicht, dass die Interaktion mit KI-Eingabeaufforderungen ohne spezielle Berechtigungen möglich ist.

 

Auswirkungen für Unternehmen

Diese Bedrohung deckt einen schwerwiegenden Schwachpunkt in den aktuellen GenAI-Governance-Bemühungen auf. Herkömmliche Sicherheitstools wie Endpoint DLP, Secure Web Gateways (SWGs) oder CASBs haben keinen Einblick in die Interaktionen auf DOM-Ebene, die diesen Exploit ermöglichen. Sie können weder Prompt-Injection noch unbefugten Datenzugriff oder die Verwendung manipulierter Prompts erkennen.

Darüber hinaus bieten die Zugriffsrichtlinien von GenAI (z. B. das Blockieren von ChatGPT über die URL) keinen Schutz für interne Tools, die auf Domänen oder IPs auf der Whitelist gehostet werden.

So mindern Sie dieses Risiko:

Organisationen müssen ihr Sicherheitsdenken ändern von Steuerung auf Anwendungsebene zu Überprüfung des Browserverhaltens. Das beinhaltet:

  • Überwachen von DOM-Interaktionen innerhalb von GenAI-Tools und Erkennen von Listenern oder Webhooks, die mit KI-Eingabeaufforderungen interagieren können.
  • Blockieren riskanter Erweiterungen basierend auf Verhaltensrisiken, nicht nur auf Zulassungslisten. Da eine statische Bewertung auf Grundlage von Berechtigungen nicht ausreicht (da für einige Erweiterungen keine Berechtigungen erforderlich sind), ist die Kombination der Herausgeberreputation mit dynamischem Erweiterungs-Standboxing der beste Weg, um riskante und bösartige Erweiterungen zu erkennen.

Verhinderung von Manipulation und Exfiltration in Echtzeit auf Browserebene.