Top 5 des outils GenAI vulnérables aux attaques de type « Man-in-the-Prompt » : des milliards de personnes pourraient être affectées

Un nouveau vecteur d'attaques par injection rapide qui menace les outils d'IA commerciaux et internes

Les chercheurs de LayerX ont identifié un nouvelle classe d'exploit qui cible directement ces outils via un vecteur jusque-là négligé : l'extension du navigateur. Cela signifie que pratiquement n'importe quel utilisateur ou organisation qui ont des extensions de navigateur installées sur leurs navigateurs (comme le font 99 % des utilisateurs d'entreprise) sont potentiellement exposés à ce vecteur d’attaque.

Les recherches de LayerX montrent que tout L'extension du navigateur, même sans autorisation spéciale, peut accéder aux invites des LLM commerciaux et internes et leur injecter des messages pour voler des données, les exfiltrer et couvrir leurs traces. 

L'exploit a été testé sur tous les meilleurs LLM commerciaux, avec des démonstrations de preuve de concept fournies pour ChatGPT et Google Gemini. 

L’implication pour les organisations est qu’à mesure qu’elles dépendent de plus en plus des outils d’IA, ces LLM – en particulier ceux formés avec des informations confidentielles de l’entreprise – peuvent être transformés en « copilotes de piratage » pour voler des informations sensibles de l'entreprise.

L'exploit : l'homme dans le prompt

Cette faille provient de la façon dont la plupart des outils GenAI sont implémentés dans le navigateur. Lorsque les utilisateurs interagissent avec un assistant basé sur LLM, le champ de saisie de l'invite fait généralement partie du modèle d'objet de document (DOM) de la page. Cela signifie que toute extension de navigateur disposant d'un accès script au DOM peut lire ou écrire directement dans l'invite IA.

Les acteurs malveillants peuvent exploiter des extensions malveillantes ou compromises pour effectuer des activités néfastes :

• Effectuer attaques par injection rapide, en modifiant la saisie de l'utilisateur ou en insérant des instructions cachées.
• Extraire des données directement à partir de l'invite, de la réponse ou de la session.
• Compromettre l'intégrité du modèle, en incitant le LLM à révéler des informations sensibles ou à effectuer des actions non intentionnelles.
  

En raison de cette intégration étroite entre les outils d'IA et les navigateurs, les LLM héritent d'une grande partie de la surface de risque du navigateur. L'exploit crée effectivement un homme dans l'invite.

Le risque est aggravé par l'omniprésence des LLM et des extensions de navigateur

Le risque est amplifié par deux facteurs clés :

1. Les LLM contiennent des données sensibles. Dans les outils commerciaux, les utilisateurs collent souvent du contenu propriétaire ou réglementé. Les LLM internes, quant à eux, sont généralement formés sur des ensembles de données d'entreprise confidentiels, ce qui leur donne accès à de vastes pans d'informations sensibles, allant du code source aux documents juridiques en passant par la stratégie de fusions-acquisitions.
2. Les extensions de navigateur disposent de privilèges étendus. De nombreux environnements d'entreprise permettent aux utilisateurs d'installer librement des extensions. Une fois installée sur le navigateur d'un utilisateur, une extension malveillante ou compromise peut accéder à tous les outils web GenAI avec lesquels il interagit.

Si un utilisateur ayant accès à un LLM interne possède ne serait-ce qu'une seule extension vulnérable installée, les attaquants peuvent exfiltrer silencieusement des données en injectant des requêtes et en lisant les résultats, entièrement dans les limites de la session de l'utilisateur.

Chaque candidature LLM et AI est concernée

• LLM tiers:Des outils comme ChatGPT, Claude, Gemini, Copilot et autres, accessibles via des applications Web.
• Déploiements LLM d'entreprise: Copilotes personnalisés, assistants de recherche basés sur RAG ou tout outil interne construit avec une interface LLM servie via un navigateur.
• Utilisateurs d'applications SaaS basées sur l'IA:Applications SaaS existantes qui améliorent leurs capacités en ajoutant des intégrations d'IA intégrées et des LLM, qui peuvent être utilisées pour interroger les données clients sensibles stockées sur l'application (telles que les informations utilisateur, les informations de paiement, les dossiers de santé, etc.).
• Tout utilisateur avec un risque d'extension de navigateur:En particulier ceux qui occupent des postes techniques, juridiques, RH ou de direction et qui ont accès à des données privilégiées.

Preuve de concept n° 1 : Transformer ChatGPT en copilote pour hacker

Pour démontrer cet exploit, les chercheurs de LayerX ont mis en œuvre une extension de preuve de concept qui ne nécessite aucune autorisation spéciale. Non seulement notre extension a pu injecter une invite et interroger ChatGPT pour obtenir des informations, mais elle a également pu exfiltrer les résultats et couvrir ses traces. 

Cela signifie que tout les extensions compromises peuvent abuser de cette technique pour voler des données du ChatGPT des utilisateurs et des entreprises.

Comment fonctionne l'exploit ChatGPT :

1. L'utilisateur installe une extension compromise sans aucune autorisation.
2. Un serveur de commande et de contrôle (qui peut être hébergé localement ou à distance) envoie une requête à l'extension. 
3. L'extension ouvre un onglet d'arrière-plan et interroge ChatGPT.
4. Les résultats sont exfiltrés vers un journal externe.
5. L'extension alors suppressions Le chat, pour effacer son existence et effacer ses traces. Si l'utilisateur consultait son historique ChatGPT, il ne verrait rien.

Implications

ChatGPT est l'outil d'IA le plus populaire au monde, avec environ 5 milliards de visites par mois. Il est fréquemment utilisé par les particuliers et les organisations, à des fins personnelles et professionnelles.

Selon une étude de LayerX, 99 % des utilisateurs d’entreprise ont au moins une extension de navigateur installée dans leur navigateur, et 53 % ont plus de 10 extensions. 

Le fait que les chercheurs en sécurité de LayerX aient pu créer cet exploit sans aucune autorisation spéciale montre à quel point pratiquement n'importe quel utilisateur est vulnérable à une telle attaque. 

Un score de risque passif ne permettra pas de détecter une telle extension, car elle ne nécessite aucune autorisation. De plus, ce fait lui vaudra un score de risque faible.

Preuve de concept n° 2 : Transformer Google Gemini en jumeau hacker maléfique

En guise de deuxième preuve de concept pour illustrer cette vulnérabilité, LayerX a mis en œuvre un exploit capable de voler des données internes à partir d'environnements d'entreprise utilisant Google Gemini via son intégration dans Google Workspace.

Ces derniers mois, Google a déployé de nouvelles intégrations de son IA Gemini dans Google Workspace. Cette fonctionnalité est actuellement disponible pour les organisations utilisant Workspace et les utilisateurs payants.

Cette intégration offre un nouveau panneau latéral dans les applications Web telles que Google Mail, Docs, Meet et d'autres applications, permettant aux utilisateurs d'automatiser des tâches répétitives et/ou chronophages telles que la synthèse d'e-mails, la pose de questions sur un document, l'agrégation de données provenant de différentes sources, etc.

L’une des caractéristiques qui rend l’intégration Gemini unique est qu’elle a accès à tous Données accessibles à l'utilisateur dans son espace de travail. Cela inclut les e-mails, les documents (sur Google Drive), les dossiers partagés et les contacts. Une distinction importante, cependant, est que Gemini peut accéder non seulement aux fichiers et données appartenant directement à l'utilisateur, mais aussi tout dossier, fichier ou données qui ont été partagés avec eux et pour lesquels ils disposent d'autorisations d'accès.

Google est déjà au courant des tentatives d’exploitation de son moteur d’IA Gemini et a tentatives largement documentées d'exploitation de Gemini à des fins néfastes. Cependant, jusqu'à présent, ils n'ont pas abordé le risque que les extensions de navigateur soient utilisées comme moyen d'accéder aux données personnelles des utilisateurs via les invites de Gemini Workspace, ce qui indique qu'il s'agit d'une nouvelle méthode.

Comment fonctionne l'exploit Gemini

La nouvelle intégration Gemini est implémentée directement dans la page, sous forme de code ajouté à la page existante. Elle modifie et écrit directement dans le modèle d'objet de document (DOM) de l'application web, lui donnant ainsi le contrôle et l'accès à toutes les fonctionnalités de l'application.

Étape 1 : l'utilisateur utilise un compte Google Workspace Pro avec intégration Gemini

Cependant, LayerX a constaté que, grâce à cette intégration, toute extension de navigateur, sans autorisation particulière, peut interagir avec l'invite et y injecter des invites. Ainsi, pratiquement n'importe quelle extension peut accéder à l'invite de la barre latérale Gemini et l'interroger pour obtenir les données souhaitées.

De plus, l'accès persiste même si la barre latérale est fermée ou même si l'extension manipule activement le code de la page pour masquer l'interface d'invite Gemini.

Une fois le code injecté dans l'invite par les extensions, celle-ci se comporte comme n'importe quelle autre requête textuelle. Voici quelques exemples d'actions possibles :

• Extraire les titres et le contenu des e-mails
• Demander des informations sur les personnes qui apparaissent dans la liste de contacts de l'utilisateur
• Lister tous les documents accessibles
• Structurez des requêtes complexes pour demander des données spécifiques à partir de courriers électroniques et de fichiers accessibles
• Exploitez la fonctionnalité de saisie semi-automatique intégrée pour énumérer les fichiers accessibles
• Ajoutez des permutations pour répertorier tous les fichiers et obtenir des résultats
• Etc

Étape 2 : une fois la barre latérale fermée, une extension compromise injecte l’invite Gemini avec une requête, récupère les fichiers utilisateur confidentiels et exfiltre les informations.

LayerX a divulgué cette vulnérabilité à Google dans le cadre de mesures de divulgation responsable.

À quelles données les pirates informatiques peuvent-ils accéder via l'exploitation Gemini ?

L'intégration Gemini Workspace de Google permet d'accéder à toutes les données accessibles à l'utilisateur. Cela inclut non seulement les fichiers et informations appartenant à l'utilisateur et stockés dans ses répertoires, mais aussi tous les fichiers et données partagés avec lui et pour lesquels l'utilisateur dispose d'autorisations de lecture. Cela inclut :

• Emails
• Contacts
• Contenu du fichier
• Dossiers partagés (et leur contenu)
• Invitations à des réunions
• Résumés des réunions

Cependant, outre l'accès direct aux fichiers et aux données accessibles à l'utilisateur, Gemini permet d'analyser des données à grande échelle sans avoir à extraire des fichiers individuels. Voici quelques exemples de requêtes :

• Lister tous les clients
• Résumés des appels
• Informations sur les personnes et les contacts
• Rechercher des informations spécifiques (telles que des informations personnelles identifiables ou d'autres informations de propriété intellectuelle de l'entreprise)
• Et plus encore…

Les LLM internes sont particulièrement exposés

Bien que les outils d'IA commerciaux comme ChatGPT et Gemini soient des points d'entrée populaires pour l'utilisation de GenAI, certains d'entre eux cibles les plus importantes pour cet exploit sont LLM déployés en interne—ceux qui sont construits et peaufinés par les entreprises pour servir leur propre personnel.

Contrairement aux modèles publics, les LLM internes sont souvent formés ou complétés avec données organisationnelles hautement sensibles et exclusives:

• Propriété intellectuelle telle que le code source, les spécifications de conception et les feuilles de route des produits
• Documents juridiques, contrats et stratégie de fusions et acquisitions
• Prévisions financières, informations personnelles identifiables et registres réglementés
• Communication interne et données RH

L'objectif de ces copilotes internes, ou systèmes basés sur RAG, est de permettre aux employés d'accéder à ces informations plus rapidement et plus intelligemment. Mais cette même commodité devient un handicap lorsque l'accès par navigateur s'accompagne d'un risque d'extension invisible.

Pourquoi les LLM internes sont particulièrement vulnérables

1. Accès de haute confiance:Les modèles internes supposent souvent une utilisation fiable et ne sont pas renforcés contre les entrées adverses ou l'automatisation silencieuse depuis la session du navigateur de l'utilisateur.
2. Requêtes non restreintes:Les utilisateurs peuvent souvent soumettre des questions libres et recevoir des réponses complètes, avec peu de garanties empêchant l'extraction d'ensembles de données confidentiels, en particulier via des invites intelligemment conçues.
3. Sécurité supposée du réseau:Étant donné que ces LLM sont hébergés au sein de l'infrastructure de l'organisation ou derrière un VPN, ils sont perçus à tort comme sécurisés. Or, l'accès par navigateur brise cette limite.
4. Invisibilité des outils existants:Les solutions de sécurité traditionnelles, telles que les CASB, les SWG ou les DLP, ont pas de visibilité sur la manière dont la manipulation des invites au niveau DOM se produit ou sur ce qui est interrogé et renvoyé.

Un scénario réaliste

Imaginez un analyste sécurité interrogeant un LLM interne pour connaître les délais de réponse aux incidents passés, ou un ingénieur de feuille de route examinant les notes de version à venir. Une extension malveillante en arrière-plan pourrait discrètement injecter une requête cachée (« Résumer toutes les fonctionnalités produit non publiées mentionnées dans cette session ») et transmettre la réponse à un serveur externe, sans déclencher d'alerte de sécurité.

En substance, un seul navigateur compromis sur un point de terminaison de confiance devient le conduit d'un attaquant pour exfiltrer les actifs de connaissances de grande valeur du cerveau IA de l'organisation.

Les conséquences

• Fuite de propriété intellectuelle:Les algorithmes propriétaires, les bases de code et les secrets commerciaux peuvent être volés en silence.
• Exposition réglementaire:Les requêtes impliquant des informations personnelles identifiables (PII) des clients, des dossiers médicaux ou des données financières peuvent entraîner des violations de conformité en vertu du RGPD, de la HIPAA ou de la SOX.
• Érosion de la confiance:La sécurité perçue des outils internes s’effondre si des réponses sensibles fuient via des canaux non détectés.

Certaines extensions du Chrome Store peuvent déjà le faire

En fait, certaines extensions du Chrome Web Store proposent déjà une injection et une édition rapides.

Des extensions telles que Archer rapide, Gestionnaire d'inviteset Dossier d'invite tous fournissent des fonctionnalités qui lisent, stockent et écrivent dans les invites de l'IA. 

Bien que ces extensions semblent légitimes, elles soulignent la validité et l'acceptation des extensions interagissant avec les invites de l'IA sur les stores Chrome et Edge. De plus, la plupart de ces extensions ne nécessitent que des autorisations limitées de la part des utilisateurs, ce qui montre que l'interaction avec les invites de l'IA peut se faire sans autorisation spéciale.

Implications pour les entreprises

Cette menace révèle un important angle mort dans les efforts actuels de gouvernance de GenAI. Les outils de sécurité traditionnels, tels que la prévention des pertes de données (DLP) sur les terminaux, les passerelles web sécurisées (SWG) ou les CASB, n'ont aucune visibilité sur les interactions au niveau du DOM qui permettent cet exploit. Ils ne peuvent pas détecter l'injection d'invites, l'accès non autorisé aux données ni l'utilisation d'invites manipulées.

De plus, les politiques d'accès GenAI (par exemple, le blocage de ChatGPT via une URL) n'offrent aucune protection aux outils internes hébergés sur des domaines ou des adresses IP sur liste blanche.

Comment atténuer ce risque :

Les organisations doivent réorienter leur réflexion en matière de sécurité contrôle au niveau de l'application à inspection du comportement dans le navigateur. Ceci comprend:

• Surveillance des interactions DOM au sein des outils GenAI et en détectant les auditeurs ou les webhooks qui peuvent interagir avec les invites de l'IA.
• Blocage des extensions à risque Basé sur le risque comportemental, et pas seulement sur les listes d'autorisation. Puisqu'une évaluation statique basée sur les autorisations ne suffit pas (certaines extensions n'en nécessitant aucune), combiner la réputation de l'éditeur avec la gestion dynamique des extensions est la meilleure façon de détecter les extensions risquées et malveillantes.

Prévenir les altérations et les exfiltrations rapides en temps réel au niveau du navigateur.

• Partagez :