Qu’est-ce que la sécurité par IA générative ?

La sécurité GenAI vise à protéger les environnements d'entreprise contre les risques émergents liés aux outils d'IA générative tels que ChatGPT, Gemini et Claude. À mesure que ces outils gagnent en popularité, ils introduisent des risques liés aux fuites de données, à la conformité et à l'IA fantôme. Cet article définit la sécurité GenAI et présente les stratégies d'entreprise pour garantir une utilisation sûre et responsable de l'IA.

GenAI expliqué

La sécurité GenAI consiste à identifier et à atténuer les risques introduits par les outils d'IA générative tels que ChatGPT, Copilot et Claude dans les flux de travail des entreprises. Ces outils améliorent l'efficacité et l'innovation, mais introduisent également une nouvelle surface d'attaque de l'IA en constante évolution, que les solutions de cybersécurité traditionnelles ne parviennent souvent pas à couvrir. La sécurité GenAI comble cette lacune en gérant l'exposition des données sensibles, en appliquant des politiques d'utilisation de l'IA à l'échelle de l'organisation et en détectant les comportements d'IA dangereux, non conformes ou malveillants. Elle associe des mesures de protection techniques telles que la prévention des pertes de données (DLP), la surveillance par navigateur et les contrôles d'accès à des cadres de gouvernance de l'IA robustes, conformes aux politiques de l'entreprise et aux normes réglementaires. Contrairement à la sécurité du développement de l'IA, qui se concentre sur la sécurisation de l'entraînement et de l'infrastructure des modèles, la sécurité GenAI protège la couche d'utilisation, là où les employés interagissent avec les outils d'IA externes, garantissant ainsi une protection de l'IA d'entreprise sûre, conforme aux politiques et responsable.

Principaux risques de GenAI dans l'entreprise

Alors que les entreprises accélèrent l'adoption d'outils d'IA générative, elles doivent également faire face à une nouvelle catégorie de menaces. Ces risques ne proviennent pas uniquement d'acteurs malveillants, mais aussi de la manière dont l'IA générative interagit avec les données, les utilisateurs et les environnements externes. Voici les vulnérabilités et les risques de sécurité les plus urgents que les entreprises doivent gérer en matière d'IA.

1. Propriété intellectuelle et exposition des données confidentielles

L’un des risques GenAI les plus immédiats et les plus critiques est Fuite de données de l'IALes employés insèrent souvent des informations confidentielles telles que des informations personnelles de clients, du code source, des plans d'affaires ou des projections financières dans des outils GenAI comme ChatGPT sans en comprendre les implications. Ces informations peuvent être stockées, traitées ou utilisées pour des formations complémentaires, entraînant une perte de contrôle permanente sur ces données. Même lorsque les fournisseurs affirment ne pas former sur les données d'entrée, celles-ci peuvent être mises en cache ou enregistrées dans l'historique des sessions, ce qui ouvre la porte à des violations ou à des utilisations abusives.

ExempleUn membre de l'équipe financière utilise ChatGPT pour générer un résumé et y colle une feuille de calcul contenant les données de chiffre d'affaires du quatrième trimestre. Ces informations financières peuvent désormais être stockées par le fournisseur du modèle ou potentiellement exposées lors de futures requêtes d'autres utilisateurs.

2. Violations réglementaires et de conformité

L'utilisation non surveillée de GenAI peut facilement entraîner des violations des réglementations sur la protection des données, telles que GDPR, HIPAA, PCI-DSS, ou CCPACes lois exigent un traitement strict des données personnelles, de santé ou de paiement, ce que la plupart des outils d’IA tiers ne sont pas contractuellement ou architecturalement préparés à garantir.

ExempleUn professionnel de santé utilise un assistant de rédaction IA pour rédiger un résumé des soins d'un patient, incluant son dossier médical. Une simple demande contenant des informations médicales protégées (PHI) partagée avec un outil IA externe pourrait constituer une violation de la loi HIPAA, risquant des amendes réglementaires et une atteinte à la réputation. Dans les secteurs hautement réglementés, un seul incident de ce type peut entraîner une surveillance soutenue de la part des régulateurs et des auditeurs.

Les entreprises doivent traiter les invites de l’IA comme des communications sortantes et appliquer les mêmes règles. Politique d'IA et gouvernance des données rigueur pour rester conforme.

3. Utilisation de l'IA fantôme

Les employés utilisent souvent des comptes personnels ou outils d'IA non autorisés Sans connaissances informatiques, créer des environnements d'IA fantômes. Bien que l'IA fantôme soit souvent bien intentionnée et profondément ancrée dans les flux de travail pour améliorer la productivité, elle finit par échapper aux politiques de sécurité et manque de surveillance ou de journalisation, ce qui en fait un terrain fertile pour les violations de conformité et les fuites de données d'IA, et un angle mort pour les équipes de sécurité et de protection des données.

ExempleUne équipe commerciale commence à utiliser une version grand public de ChatGPT pour rédiger des propositions clients. Au fil du temps, elle commence à saisir des stratégies tarifaires, des conditions contractuelles et des indicateurs de performance internes, qui ne sont pas protégés par les outils de prévention des pertes de données (DLP) de l'entreprise.

4. Plugins et extensions tiers risqués

Les extensions et plugins de navigateur alimentés par l'IA introduisent de sérieuses Vulnérabilités de l'IA En raison de conceptions trop permissives, nombre d'entre eux ont accès à l'ensemble des activités de navigation, aux données du presse-papiers ou aux cookies de session pour fonctionner, ce qui en fait des cibles d'exploitation attrayantes. 

Les risques comprennent:

• Attaques par injection d'IA:Des sites Web ou des scripts malveillants manipulent les invites des plugins pour extraire ou divulguer des données.
• Détournement de session:Les plugins ayant accès aux jetons de session peuvent être exploités pour usurper l'identité des utilisateurs.
• Collecte silencieuse de données:Les extensions peuvent lire ou transmettre des données à l'insu de l'utilisateur.

La plupart des plugins sont créés par des tiers et ne sont pas soumis aux mêmes contrôles de sécurité que les outils internes. L'utilisation non contrôlée de plugins peut entraîner une exfiltration incontrôlée de données et exposer des informations réglementées à des acteurs inconnus, ce qui représente un risque majeur pour l'entreprise en matière de données d'IA génératrice.

Exemple: Une extension de synthèse d'IA installée par un utilisateur dispose des autorisations nécessaires pour lire tous les onglets. Un attaquant exploite une faille du plugin pour extraire les données CRM sensibles consultées par l'utilisateur sans jamais déclencher d'alerte DLP ou antivirus classique.

5. Érosion de la posture de sécurité intérieure

L'utilisation non contrôlée de l'IA affaiblit la sécurité globale de l'entreprise. Lorsque les employés utilisent des outils d'IA publics via des navigateurs non gérés ou des comptes personnels, les données sensibles contournent les contrôles de sécurité traditionnels tels que les pare-feu, la protection des terminaux ou la prévention des pertes de données dans le cloud. Les équipes de sécurité perdent la visibilité sur la manière et le lieu de traitement des données. À terme, cela érode la capacité de l'organisation à détecter les failles, à se préparer aux audits et à appliquer les politiques de sécurité, rendant l'entreprise vulnérable aux menaces internes et externes. angles morts de sécurité donner aux attaquants ou aux initiés négligents un moyen d'exploiter les données sans déclencher les défenses standard, ce qui sécurité de l'IA générative une priorité urgente.

Exemple:

Les employés utilisant des outils GenAI comme ChatGPT sur des appareils personnels partagent des données clients qui ne touchent jamais l'infrastructure de l'entreprise, les rendant invisibles pour les équipes informatiques et de conformité.

6. Perturbation opérationnelle et juridique

L'exposition des données par les outils GenAI peut déclencher des poursuites judiciaires, des audits et des enquêtes internes, détournant ainsi des ressources et perturbant les opérations quotidiennes en retardant les projets et en créant des frictions internes entre les équipes en quête de responsabilité et d'atténuation. Outre les pertes financières liées à la rupture du contrat, l'organisation peut également faire face à des poursuites judiciaires, des clauses de pénalité ou des procédures d'arbitrage. 

Exemple:

Une entreprise manufacturière découvre que des conditions fournisseurs sensibles ont été saisies dans ChatGPT et ont peut-être fuité. Les équipes achats sont contraintes de renégocier les contrats, tandis que le service juridique gère les demandes des fournisseurs et les évaluations de responsabilité.

Ces risques illustrent pourquoi les contrôles de sécurité traditionnels ne suffisent plus à l'ère de l'IA générative. Des fuites de données et de l'IA fantôme aux violations réglementaires et aux menaces liées aux plugins, les entreprises doivent repenser leur façon de surveiller, de gouverner et de sécuriser l'utilisation de l'IA dans l'entreprise. Pour approfondir ces menaces en constante évolution et savoir comment y faire face, lisez l'article complet sur Risques liés à l'IA générative.

Qu'est-ce qui motive l'expansion de la surface d'attaque de l'IA dans les entreprises ?

L'essor rapide de l'IA générative a profondément remodelé le paysage des menaces pour les entreprises. Ce qui était autrefois un périmètre clairement défini est désormais fragmenté par une constellation croissante d'outils, de plugins et de workflows cloud basés sur l'IA. Ces technologies améliorent la productivité, mais élargissent aussi considérablement le champ d'application. Surface d'attaque de l'IA, introduisant de nouveaux angles morts de sécurité que les défenses traditionnelles n'ont jamais été conçues pour gérer.

Explosion des outils d'IA et des applications SaaS intégrées à l'IA

GenAI n'est pas équivalent à ChatGPT. En réalité, beaucoup de choses ont changé depuis le lancement de ChatGPT en novembre 2022. Depuis, l'écosystème GenAI évolue à un rythme sans précédent. De nouveaux modèles et outils basés sur l'IA apparaissent chaque semaine et chaque mois, offrant chacun plus de fonctionnalités et d'avancées que le précédent. L'innovation s'accélère si rapidement que, selon Gartner, elle surpasse largement toute autre technologie. 

Les entreprises intègrent l'IA générative à tous les niveaux de leur infrastructure. Des copilotes IA intégrés aux environnements de développement aux assistants automatisés des plateformes CRM, l'employé moyen peut désormais interagir quotidiennement avec plusieurs systèmes d'IA. Des fournisseurs SaaS comme Notion et Slack, en passant par Salesforce et Microsoft 365, ont tous lancé cette solution. Fonctionnalités intégrées à l'IA Conçues pour améliorer l'efficacité des flux de travail, les améliorations basées sur l'IA deviennent une attente standard pour les utilisateurs plutôt qu'un simple complément pratique. GenAI est devenue partie intégrante de l'environnement de travail. Mais ces mêmes intégrations s'accompagnent souvent d'un accès étendu aux données, documents, calendriers et conversations internes.

Cette prolifération de Outils d'IA SaaS Cela signifie que les organisations doivent désormais sécuriser un ensemble diversifié de plateformes externes qui ingèrent des informations sensibles, souvent sans journalisation, contrôle d'accès ou visibilité cohérents. Chaque nouvelle intégration crée un vecteur potentiel de vulnérabilité. Exposition des données de l'IA, en particulier lorsque les paramètres par défaut privilégient la convivialité à la sécurité.

Les navigateurs sont les nouveaux espaces de travail de l'IA

Contrairement aux applications d'entreprise traditionnelles qui fonctionnent comme des applications de bureau dédiées, la plupart des interactions GenAI se font via des navigateurs web. La plupart des outils d'IA comme ChatGPT, Claude et Gemini sont accessibles via un navigateur. Bien que pratique, ce modèle basé sur un navigateur présente des avantages uniques. risques liés à l'IA du navigateur comme Attaques de l'homme du milieu (MITM), le vol de jetons, voire l'exploitation d'extensions de navigateur, deviennent possibles si la session n'est pas correctement isolée.

Les outils de sécurité traditionnels, conçus pour les applications d'entreprise traditionnelles et les environnements contrôlés, sont mal équipés pour inspecter ou contrôler les interactions de l'IA lors des sessions de navigation dynamiques. Ils ne peuvent pas distinguer les saisies sûres des saisies non sûres, l'utilisation d'un compte personnel de celle d'un compte professionnel, ni détecter les données sensibles copiées-collées dans les invites LLM. Par exemple, les utilisateurs peuvent facilement coller des données financières sensibles d'entreprises dans ChatGPT ou importer du code source propriétaire sans déclencher d'alertes de sécurité. Ce manque de visibilité et de contrôle contextuels en temps réel au niveau du navigateur crée des risques importants, obligeant les entreprises à repenser leurs stratégies de sécurité dans un environnement de travail axé sur l'IA.

Extensions de productivité alimentées par l'IA

Les extensions de navigateur optimisées par l'IA générative, telles que les outils de synthèse, les assistants d'écriture ou les preneurs de notes de réunion, requièrent souvent des autorisations excessives. Celles-ci incluent l'accès au contenu des pages, aux cookies et parfois aux frappes clavier. Nombre d'entre elles sont créées par des développeurs tiers avec une surveillance de sécurité limitée, voire inexistante.

Ces extensions ouvrent la porte à Attaques par injection d'IA, grattage silencieux des données, ou détournement de session, en particulier lorsqu'ils sont installés sur des terminaux non gérés. Une fois installés, ils fonctionnent silencieusement, interagissent avec les données utilisateur en temps réel et les transmettent à des API externes, souvent hors de portée des outils de sécurité traditionnels.

Workflows connectés aux API dans le cloud

Dans les environnements cloud-natifs, les capacités d'IA sont de plus en plus intégrées aux workflows automatisés via des API. Les développeurs peuvent intégrer les LLM aux pipelines CI/CD, aux flux de service client ou aux pipelines de traitement de données, transmettant souvent des données structurées ou non structurées à des modèles d'IA tiers pour synthèse, traduction ou classification.

Cela crée un environnement largement invisible Surface d'attaque de l'IA, où des données sensibles circulent vers et depuis les services d'IA sans être correctement analysées ou filtrées. Les terminaux d'API peuvent également être exploités pour injecter des données malveillantes, exfiltrer des données internes ou exécuter des exploits de sécurité d'IA s'ils ne sont pas correctement validés.

Le défi de l'observabilité

L’un des principaux défis pour sécuriser ce nouveau paysage axé sur l’IA est la manque d'observabilité en temps réelLes outils de sécurité traditionnels ne détectent pas nativement les messages d'IA, ne suivent pas l'utilisation des outils d'IA et n'identifient pas le contexte des flux de données au sein des sessions de navigation ou des interactions avec les API. Par conséquent, les organisations ne savent pas comment, où et quand les données entrent ou sortent de la couche d'IA. 

Pour se protéger contre les maladies modernes Risques de sécurité liés à l'IALes organisations ont besoin de visibilité sur chaque interaction entre les utilisateurs et l'IA, qu'elle se produise via un onglet de navigateur, une intégration SaaS ou un appel d'API cloud. Sans surveillance, gouvernance et application continues, la couche IA devient une porte d'entrée non surveillée permettant aux données sensibles de fuir, de se déplacer ou d'être exploitées.

Protection contre la perte de données (DLP) basée sur un navigateur et conception de plug-ins non sécurisés dans les écosystèmes GenAI

Avec l'adoption accélérée de l'IA générative par les entreprises, le navigateur est devenu un point d'accès central où les employés interagissent avec des outils comme ChatGPT, Microsoft Copilot et des centaines d'extensions basées sur l'IA. Mais cette évolution s'accompagne d'un besoin urgent de repenser la prévention traditionnelle des pertes de données (DLP). Navigateur DLP apparaît comme une couche de sécurité vitale pour la surveillance et le contrôle de l'utilisation de l'IA dans des environnements de plus en plus dépendants des extensions Chrome, des applications SaaS et des plugins intégrés au Web.

Pourquoi la protection DLP au niveau du navigateur est importante à l'ère de la GenAI

Contrairement aux applications traditionnelles, les outils GenAI sont largement basés sur le web et souvent accessibles en dehors des plateformes autorisées. Les employés utilisent fréquemment des extensions de navigateur ou des applications web pour générer du code, du contenu ou des informations. Cette utilisation contourne les outils DLP traditionnels qui ciblent les terminaux, les e-mails ou le trafic réseau. angles morts dans la protection des données de l'IA.

Les solutions DLP basées sur navigateur comblent ces lacunes en inspectant les interactions des utilisateurs en temps réel. Cela permet aux organisations de détecter lorsque des données sensibles, telles que du code source, des dossiers clients ou des documents financiers, sont copiées, saisies ou téléchargées dans des invites d'IA. Associées à l'application des politiques, ces solutions permettent aux organisations de bloquer, rédiger ou alerter sur les comportements à risque avant que les données ne soient exposées.

Le risque caché des plugins et extensions d'IA non sécurisés

Extensions de navigateur AI Les extensions qui activent ou améliorent les fonctionnalités de l'IA sont particulièrement problématiques. Nombre d'entre elles sont conçues avec des autorisations étendues pour accéder aux données du presse-papiers, manipuler le contenu des pages ou intercepter les entrées. Sans vérification appropriée, ces extensions introduisent fuite de données basée sur des plugins et d’autres risques de gravité élevée, tels que :

• Séance de détournement – Les plugins malveillants peuvent récolter des cookies d’authentification, permettant aux attaquants d’accéder aux applications SaaS ou aux systèmes internes.
• Attaques par injection d'IA – Les extensions peuvent modifier les entrées ou les réponses des invites, en injectant des commandes malveillantes ou en modifiant la sortie de manière à passer inaperçue.
• Exfiltration silencieuse de données – Certains plugins enregistrent les interactions des utilisateurs ou le contenu des invites et les envoient à des serveurs tiers à l'insu de l'utilisateur.

Le risque n'est pas hypothétique. En 2023, une extension ChatGPT populaire, comptant plus de 10,000 XNUMX installations, a été découverte en train de voler des jetons de session Facebook, démontrant ainsi comment Risques liés à l'extension GenAI peut dégénérer en incidents de sécurité à part entière.

Fuite de données entre plug-ins

Les plugins de navigateur IA nécessitent souvent des autorisations étendues pour accéder au contenu des pages, aux champs de saisie, au presse-papiers ou aux processus d'arrière-plan. Lorsque plusieurs extensions s'exécutent dans le même navigateur, ces autorisations peuvent se chevaucher, créant ainsi des problèmes. voies non intentionnelles d'exposition des données.

Par exemple, un assistant d'écriture peut traiter les entrées de documents pendant qu'un plugin distinct accède au même DOM ou au même stockage local. Sans isolation stricte des données, du contenu sensible peut circuler involontairement entre les plugins même si aucun des deux n'est malveillant. 

Ce risque augmente avec les processus en arrière-plan et les API partagées, où un plugin peut servir de passerelle pour détourner les données d'un autre. Par conséquent, la coexistence d'extensions GenAI brouille les frontières des données, rendant l'isolation des plugins et la prévention des pertes de données (DLP) par navigateur essentielles.

Limitations des boutiques d'applications de navigateur

Les boutiques d'extensions Chrome et Edge privilégient l'accès des utilisateurs à la sécurité de l'entreprise. Elles manquent d'audits d'autorisation approfondis, de normes de développement sécurisées et de surveillance post-publication. Cela permet plugins GenAI malveillants ou trop permissifs Rester en ligne jusqu'à ce qu'elles soient signalées par les utilisateurs ou les chercheurs. Nombre d'entre elles sont développées par des développeurs inconnus aux pratiques opaques en matière de données, mais accèdent néanmoins à des flux de travail critiques. Les boutiques d'applications de navigateur ne sont pas des gardiens de confiance. Les entreprises doivent pré-vétérinaire, contrôle et surveillance Les plugins d'IA eux-mêmes.

Appliquer les principes Zero Trust aux extensions d'IA

Appliquer un Zero Trust L'adoption d'une approche axée sur les extensions de navigateur est essentielle, notamment dans les environnements à forte utilisation de l'IA. Tout comme les entreprises scrutent les applications, les utilisateurs et les appareils, les plugins doivent être traités comme non fiables par défaut.

Ça signifie:

• Validation de l'authenticité de l'éditeur avant l'installation
• Audit des portées d'autorisation pour éviter les dépassements (par exemple, presse-papiers, DOM, accès en arrière-plan)
• Surveillance continue du comportement des plugins, même après approbation

Dans les workflows GenAI, où les plugins accèdent souvent à des données textuelles sensibles, cette approche permet d'éviter l'exfiltration silencieuse de données et l'abus de privilèges. Les entreprises ne doivent pas faire confiance implicitement à un plugin. Elles doivent plutôt le traiter comme un risque potentiel et le mettre en œuvre. accès au moindre privilège et à l'identité vérifiéeCette approche de sécurité en couches garantit que les entreprises peuvent profiter des gains de productivité de GenAI sans ouvrir la porte à des compromissions basées sur des plugins ou à des transferts de données non autorisés.

Pourquoi la gouvernance de l'IA est essentielle à la sécurité

Alors que les outils d'IA générative s'intègrent de plus en plus aux flux de travail quotidiens des entreprises, le défi pour les responsables de la sécurité n'est plus de savoir s'il faut autoriser l'IA, mais comment la contrôler de manière responsable. C'est là que ça se passe. Gouvernance de l'IA devient essentiel à la sécurité de l'entreprise et fournit le cadre pour garantir utilisation sécurisée de l'IA, en équilibrant l’innovation avec la gestion des risques et en permettant la productivité sans compromettre l’intégrité des données, la conformité ou la confiance.

À la base, la gouvernance de l’IA aligne les équipes de sécurité, juridiques et de conformité autour d’un Politique d'IA Ce cadre stratégique et opérationnel permet de contrôler l'accès, l'utilisation et la surveillance des outils d'IA, garantissant ainsi la préparation des entreprises à l'adoption croissante de l'IA. Il doit inclure : 

1. Création de politiques pour l'utilisation de l'IA

Une gouvernance efficace de l’IA commence par une vision claire Politique d'utilisation de l'IA Cela définit les outils approuvés, les données utilisables et les domaines dans lesquels l'IA est appropriée ou restreinte. Cela élimine toute ambiguïté, aligne les parties prenantes et pose les bases d'une adoption sécurisée et conforme de l'IA au sein des équipes.

2. Accès aux outils d'IA basé sur les rôles

Les contrôles d'accès basés sur les rôles (RBAC) garantissent que les employés n'utilisent que les outils d'IA adaptés à leurs fonctions, favorisant ainsi la productivité tout en protégeant les données sensibles. Ce système repose sur le principe que tous les employés n'ont pas besoin ou ne devraient pas avoir accès aux mêmes capacités d'IA ou aux mêmes ensembles de données pour leur périmètre d'activité. Les développeurs, les équipes marketing, les équipes juridiques, etc., bénéficient d'un accès personnalisé, réduisant ainsi les risques et prévenant les abus. Ces contrôles préviennent les abus accidentels tout en répondant aux besoins légitimes de productivité, en fonction de la fonction et du profil de risque de l'entreprise.

3. Approbations d'utilisation et gestion des exceptions

Les cadres de gouvernance de l'IA doivent également inclure des workflows pour la gestion des exceptions et des cas d'utilisation spécifiques. Si un employé ou une équipe a besoin d'accéder à un outil ou à un cas d'utilisation d'IA restreint :

• Ils devraient soumettre une demande formelle.
• La demande doit passer par un processus d’examen des risques impliquant les parties prenantes en matière de sécurité ou de conformité.
• Un accès temporaire peut être accordé sous des garde-fous spécifiques, tels qu'une surveillance supplémentaire ou une révision manuelle des résultats.

Ce système de approbations d'utilisation et gestion des exceptions assure la flexibilité sans sacrifier la supervision.

4. Enregistrement et examen centralisés des interactions avec l'IA

La gouvernance ne consiste pas seulement à définir ce qui est autorisé, mais également à garantir la visibilité de ce qui se passe réellement. Journalisation centralisée des interactions des outils d’IA offrent l’auditabilité requise à la fois pour la responsabilité interne et la conformité externe.

Cela comprend l'enregistrement de l'historique des invites et des réponses, la capture de métadonnées telles que l'ID utilisateur, la durée de la session et le contexte du navigateur, etc. Ces enregistrements aident à détecter les abus, à enquêter sur les incidents et à affiner la politique au fil du temps.

5. Surveillance des violations de politique ou des comportements anormaux

Pour boucler la boucle entre politique et protection, la gouvernance de l'IA doit s'accompagner d'une surveillance en temps réel. Les équipes de sécurité ont besoin de systèmes capables de :

• Détectez les invites contenant des données restreintes (par exemple, des mots-clés, des modèles d'expression régulière).
• Signalez ou bloquez l’utilisation non autorisée d’outils d’IA dans le navigateur ou sur des appareils non gérés.
• Identifier comportement anormal, comme une fréquence d'invite excessive, des temps d'accès inhabituels ou une activité de plug-in inattendue.

En surveillant en permanence les violations de politique, la gouvernance passe d’un document statique à une couche de sécurité active et adaptative.

Adapter la gouvernance à un paysage de l'IA en évolution rapide

Les cadres de gouvernance existants, tels que la norme ISO/IEC 42001 (Systèmes de gestion de l'IA) et le Cadre de gestion des risques liés à l'IA du NIST, constituent des points de départ utiles, mais ils doivent être adaptés pour tenir compte du rythme et du comportement uniques des outils GenAI. Ces outils ne fonctionnent pas comme des logiciels traditionnels ; ils évoluent en temps réel, traitent des données imprévisibles et sont souvent utilisés via des interfaces grand public.

La gouvernance de l'IA doit donc être itérative et dynamique. Elle doit être revue fréquemment, refléter les usages réels et évoluer parallèlement aux capacités de l'IA et aux renseignements sur les menaces. 

Gouvernance : le pont entre l'habilitation et la protection

En résumé, la gouvernance de l'IA est le lien entre une IA responsable et une protection de niveau entreprise. Elle garantit que les outils d'IA sont non seulement autorisés, mais aussi utilisés de manière sûre, éthique et en totale conformité avec les mandats internes et externes. Sans structure de gouvernance formelle, les entreprises sont confrontées à un environnement fragmenté où les employés expérimentent librement ChatGPT, Copilot et d'autres outils, souvent en copiant des données sensibles dans des modèles publics ou en utilisant des plugins non vérifiés. Cela ouvre la voie à des violations de conformité, des fuites de données et des prises de décision d'IA non contrôlées, susceptibles d'impacter les opérations ou la situation juridique. Par conséquent, à mesure que GenAI continue d'évoluer, la gouvernance doit rester flexible, applicable et profondément intégrée à l'architecture de sécurité globale de l'organisation.

Meilleures pratiques pour la sécurité GenAI

• Cartographier toutes les utilisations de l'IA dans l'organisation

La première étape de la gestion des risques liés à GenAI consiste à cartographier son utilisation au sein de l'entreprise. Dans le cadre de ce processus, les organisations doivent surveiller :

• Quels outils GenAI sont utilisés ? Sont-ils accessibles via des applications Web, des extensions de navigateur ou des logiciels autonomes ?
• Qui les utilise? Sont-ils dans la R&D, le marketing, la finance ou d’autres départements ?
• À quoi servent GenAI ? Des tâches telles que des revues de code, des analyses de données et la génération de contenu ?
• Quel type de données sont saisies dans ces outils ?  Les employés exposent-ils du code, des données commerciales sensibles ou des informations personnelles identifiables ?

Une fois que vous avez répondu à ces questions, vous pouvez commencer à créer un profil d’utilisation clair, repérer les zones à haut risque et créer un plan qui permet la productivité tout en garantissant la protection des données.

• Mettre en œuvre l'accès basé sur les rôles et empêcher les comptes personnels

Appliquer contrôles d'accès basés sur les rôles Limiter l'exposition en fonction de la fonction et du risque de sensibilité des données. Les développeurs peuvent avoir besoin d'accéder à des assistants de code IA, tandis que les équipes juridiques ou financières peuvent avoir besoin de restrictions en raison du traitement de données sensibles. Utilisez des workflows d'approbation pour les exceptions, offrant ainsi une certaine flexibilité sous la supervision de la gouvernance. 

Pour empêcher les informations sensibles d'accéder aux locataires LLM non sécurisés, les organisations doivent bloquer les connexions personnelles et imposer l'accès via des comptes d'entreprise dotés de fonctionnalités de sécurité telles que des locataires privés, des engagements de formation zéro, des contrôles stricts de conservation des données et des garanties de confidentialité renforcées.

• Déployer une protection DLP IA au niveau du navigateur

Les outils d’IA générative sont principalement accessibles via le navigateur, ce qui DLP IA Au niveau du navigateur, un point de contrôle critique. Les outils de prévention des pertes de données basés sur le navigateur peuvent :

• Détecter lorsque des données sensibles sont saisies dans les invites d'IA
• Bloquer ou rédiger les informations réglementées en temps réel
• Fournir des interactions de journaux pour la conformité et la préparation à l'audit

Les contrôles DLP basés sur un navigateur sont essentiels pour surveiller l’utilisation de l’IA qui contourne les outils de sécurité traditionnels des points de terminaison ou du réseau.

• Surveiller et contrôler les extensions d'IA

Les extensions de navigateur basées sur l'IA présentent des risques en permettant un accès trop permissif aux pages web, aux frappes clavier et aux données de session. Appliquez des politiques de contrôle des extensions basées sur l'IA qui :

• Restreindre l'installation de plugins non approuvés ou inconnus
• Auditer les extensions utilisées et évaluer leurs autorisations
• Bloquer les extensions avec un accès excessif aux applications d'entreprise

Examinez en permanence le comportement du plugin pour détecter une activité anormale ou une capture de données silencieuse.

• Sensibiliser les employés à l'utilisation sécurisée de l'IA

Les programmes de sensibilisation à la sécurité en entreprise doivent également inclure des formations à l'utilisation sécurisée de GenAI. Les organisations doivent former leurs employés à :

• Reconnaître les données qui ne doivent jamais être partagées avec les outils d’IA.
• Utilisez des plateformes approuvées et suivez les directives de la politique.
• Signalez toute suspicion d’utilisation abusive ou d’outils non autorisés.

Intégrez la sécurité de l’IA aux cycles de formation réguliers pour renforcer un comportement responsable à mesure que les outils d’IA évoluent.

Impacts réels d'une mauvaise sécurité GenAI

Si les outils GenAI comme ChatGPT peuvent accélérer la productivité, leur mauvaise utilisation ou leur déploiement non sécurisé ont déjà entraîné des violations importantes, des manquements à la conformité et des atteintes à la réputation. Une gouvernance de l'IA défaillante, des extensions trop permissives et l'utilisation d'outils non autorisés ont largement contribué aux failles de sécurité réelles, soulignant pourquoi la gestion des risques GenAI n'est plus une option.

1. Exposition du code source chez Samsung

Début 2023, Samsung a fait la une des journaux après que des ingénieurs ont copié du code source propriétaire dans ChatGPT pour corriger des erreurs. Bien que l'objectif était d'améliorer la productivité, l'impact a été immédiat : du code hautement confidentiel a potentiellement été exposé aux modèles et aux systèmes de stockage d'OpenAI. Cet incident a déclenché une interdiction interne de ChatGPT et a donné lieu à un audit de l'utilisation des outils d'IA à l'échelle de l'entreprise.

Emporter: Même une utilisation bien intentionnée de GenAI peut entraîner une perte de données irréversible si des limites d'utilisation appropriées ne sont pas définies et appliquées.

2. Une utilisation abusive de ChatGPT conduit à une enquête de conformité au sein du groupe DWS

DWS Group, filiale de gestion d'actifs de Deutsche Bank, a fait l'objet d'une enquête après que des employés ont utilisé ChatGPT pour la recherche en investissement et la communication avec leurs clients. Les autorités de régulation ont signalé un manquement à la conformité, rappelant que les institutions financières doivent vérifier les outils d'IA et s'assurer que les résultats sont conformes aux normes réglementaires en matière de précision et de traitement des données.

Impact: Contrôle réglementaire, risque de réputation, renforcement de la politique de conformité.

3. Teleperformance – Préoccupations relatives à la confidentialité des données concernant les outils de surveillance de l'IA

Teleperformance, prestataire mondial de services clients, a fait l'objet d'une enquête pour avoir utilisé des outils de surveillance basés sur l'IA pour surveiller ses employés à domicile. Il a été constaté que ces outils capturaient des données personnelles et sensibles, notamment des séquences vidéo, sans le consentement ni les garanties nécessaires des utilisateurs. Les autorités de protection des données ont soulevé la question. Utilisation abusive de l'IA et les préoccupations éthiques.

Impact: Réaction du public, audits de protection des données et changements opérationnels dans le déploiement des outils d’IA.

4. L'hallucination de l'IA entraîne un risque juridique

Un cabinet de conseil international a vu sa réputation ternie lorsqu'un outil d'IA générative utilisé pour des recherches internes a renvoyé des informations inexactes dans un livrable destiné aux clients. Ce contenu halluciné, présenté comme factuel, a entraîné une dégradation de la relation client et la perte d'un contrat.

Emporter: L’impact de l’IA générative s’étend au-delà de la sécurité, car les outils qui génèrent des résultats erronés ou trompeurs peuvent entraîner des dommages à la réputation, aux opérations et à la justice s’ils sont utilisés sans examen approprié.

5. Augmentation de la charge de travail informatique due à la prolifération des outils d'IA fantôme

En l'absence de contrôles centralisés, les employés adoptent souvent des outils et plugins d'IA non autorisés pour accroître leur productivité. Cette prolifération impose aux équipes informatiques la lourde tâche de suivre, d'évaluer et d'atténuer les risques inconnus.

Exemple : Une entreprise Fortune 500 a découvert plus de 40 outils d'IA non approuvés utilisés activement dans tous les départements, chacun avec des niveaux d'accès différents et des pratiques de traitement des données peu claires.

Impact: Augmentation des frais informatiques, paysage des risques fragmenté, besoin urgent de gouvernance.

6. Incidents de sécurité via des extensions ou des plugins malveillants

Les extensions de navigateur GenAI peuvent introduire des risques d'injection d'IA, d'accès silencieux aux données ou de détournement de session, en particulier lorsqu'elles sont trop permissives ou non contrôlées par les équipes de sécurité.

Exemple : Une extension ChatGPT sur le Chrome Web Store a été découverte en train de voler des cookies de session Facebook, accordant aux attaquants un accès complet au compte.

Impact: Prises de contrôle de comptes, violations au niveau du navigateur, érosion de la confiance des utilisateurs.

Sans une sécurité et une gouvernance GenAI solides, les entreprises risquent bien plus que de simples vulnérabilités techniques. Elles s'exposent à des conséquences juridiques, réputationnelles et opérationnelles. Il est essentiel de gérer proactivement ces risques grâce à des contrôles au niveau de l'utilisation, à la prévention des pertes de données (DLP) et à une gouvernance basée sur les rôles pour permettre une adoption sûre et productive de l'IA.

Comment LayerX sécurise l'utilisation de GenAI

Alors que les entreprises adoptent les outils GenAI, la protection des données sensibles contre toute exposition involontaire devient un enjeu crucial. Les outils de sécurité traditionnels n'ont pas été conçus pour la nature dynamique et basée sur navigateur des interactions GenAI. C'est là que LayerX intervient : des défenses natives spécialement conçues pour les navigateurs offrent une visibilité, un contrôle et une protection en temps réel contre les fuites de données accidentelles, sans compromettre la productivité.

• Protection contre la perte de données (DLP) en temps réel pour les invites d'IA

Au cœur de la solution LayerX se trouve sa fonctionnalité DLP (prévention des pertes de données). Contrairement aux outils DLP traditionnels qui fonctionnent au niveau du réseau ou des terminaux, LayerX s'intègre directement au navigateur, interface principale des outils d'IA comme ChatGPT. Cela lui permet d'inspecter et de contrôler les saisies des utilisateurs en temps réel, avant même que les données ne quittent le périmètre de l'entreprise. LayerX détecte les données sensibles telles que les informations personnelles identifiables, le code source, les informations financières ou les documents confidentiels lorsque les utilisateurs tentent de les copier ou de les saisir dans ChatGPT. Il applique ensuite des actions basées sur des politiques, telles que la suppression, les avertissements ou le blocage pur et simple.

Résultat:Les données sensibles sont arrêtées à la source, empêchant toute exposition accidentelle ou non autorisée sans interrompre le flux de travail de l'utilisateur.

• Surveillance générative de l'IA et visibilité de l'IA fantôme

LayerX offre une visibilité complète sur tous les outils GenAI, sites web et applications SaaS consultés par les utilisateurs, qu'ils soient autorisés ou non. En surveillant en permanence l'activité des navigateurs, il identifie qui utilise quels outils d'IA et via quels comptes (professionnels, SSO ou personnels). Il détecte également le type de données saisies, qu'il s'agisse d'invites de saisie, de collage de données client ou de téléchargement de fichiers sensibles. 

Résultat: Cela permet aux équipes de sécurité de détecter les utilisations non autorisées, d'éliminer l'IA fantôme, de surveiller les interactions de données sensibles, d'identifier les comportements à haut risque et de prendre des mesures correctives avant qu'un incident de données ne se produise.

• Application granulaire et contextuelle des politiques

Avec LayerX, les entreprises peuvent définir des politiques contextuelles adaptées aux cas d'utilisation de l'IA. Ces politiques peuvent être appliquées au niveau du navigateur en fonction du rôle de l'utilisateur, du contexte de l'application, du type de données et des attributs de session. Par exemple, elles permettent aux équipes marketing d'utiliser ChatGPT pour la génération de contenu tout en bloquant la soumission de données clients ou de documents internes. Les développeurs peuvent tester des extraits de code, mais sans partager les référentiels de code source. LayerX applique des actions basées sur des politiques, telles que la rédaction, l'affichage d'avertissements pour alerter les utilisateurs lorsqu'ils sont sur le point de violer une politique, ou le blocage pur et simple.

Résultat: Activation de l'IA et protection de l'IA d'entreprise, garantissant une utilisation responsable sans restreindre l'innovation.

• Gouvernance des plugins et des extensions

LayerX protège également contre les interactions risquées des plugins d'IA, qui peuvent discrètement exfiltrer du contenu d'invite vers des API tierces. Il identifie et catégorise les extensions et plugins de navigateur IA par niveau de risque, source et fonctionnalité. Il surveille et gère également le comportement des plugins, permettant aux administrateurs d'approuver, de bloquer ou de restreindre leur utilisation en fonction de leurs pratiques de gestion des données. 

Résultat:Les entreprises réduisent leur exposition aux vulnérabilités basées sur les plugins et appliquent une gouvernance des données d'IA plus stricte dans toute l'organisation.

Conclusion : permettre une IA sûre et évolutive dans toute l'entreprise avec LayerX

L'IA générative est là pour durer et transforme les méthodes de travail dans toutes les organisations. Mais sans les protections adéquates, les outils GenAI comme ChatGPT peuvent rapidement passer du statut de gain de productivité à celui de risque de fuite de données. LayerX permet aux entreprises d'adopter l'IA en toute confiance, avec la visibilité, le contrôle et la protection nécessaires pour garantir la sécurité des données sensibles, la conformité des usages et la maîtrise des risques. Que vous combattiez l'IA fantôme, appliquiez des politiques d'utilisation de l'IA ou préveniez les fuites de données en temps réel, LayerX offre les bases de sécurité nécessaires à une adoption sûre et évolutive de l'IA. 

Ne laissez pas l'innovation en IA prendre le pas sur votre stratégie de sécurité. Adoptez LayerX dès aujourd'hui et transformez l'IA d'un risque en avantage concurrentiel.

Démo en visio pour voir LayerX en action.