Las 5 principales herramientas GenAI vulnerables a ataques Man-in-the-Prompt: miles de millones de personas podrían verse afectadas

Un nuevo vector para ataques de inyección rápida que amenaza tanto a las herramientas de IA comerciales como a las internas

Los investigadores de LayerX han identificado una nueva clase de exploit que ataca directamente a estas herramientas a través de un vector previamente pasado por alto: la extensión del navegador. Esto significa que prácticamente cualquier usuario u organización que tienen extensiones de navegador instaladas en sus navegadores (como lo hace el 99% de los usuarios empresariales) están potencialmente expuestos a este vector de ataque.

La investigación de LayerX muestra que cualquier La extensión del navegador, incluso sin ningún permiso especial, puede acceder a las indicaciones de los LLM comerciales e internos. y les inyectan indicaciones para robar datos, exfiltrarlos y cubrir sus huellas. 

El exploit ha sido probado en todos los LLM comerciales más importantes, con demostraciones de prueba de concepto proporcionadas para ChatGPT y Google Gemini. 

La implicación para las organizaciones es que, a medida que dependen cada vez más de las herramientas de IA, estos LLM, especialmente aquellos capacitados con información confidencial de la empresa, pueden convertirse en "copilotos de hackers" para robar información corporativa confidencial.

El Exploit: El hombre en el aviso

Esta vulnerabilidad se debe a la forma en que la mayoría de las herramientas GenAI se implementan en el navegador. Cuando los usuarios interactúan con un asistente basado en LLM, el campo de entrada del mensaje suele formar parte del Modelo de Objetos del Documento (DOM) de la página. Esto significa que cualquier extensión del navegador con acceso al DOM mediante scripts puede leer o escribir directamente en el mensaje de IA.

Los actores maliciosos pueden aprovechar extensiones maliciosas o comprometidas para realizar actividades nefastas:

• Grabación ataques rápidos de inyección, alterando la entrada del usuario o insertando instrucciones ocultas.
• Extraer datos directamente desde el mensaje, la respuesta o la sesión.
• Comprometer la integridad del modelo, engañando al LLM para que revele información confidencial o realice acciones no deseadas.
  

Debido a esta estrecha integración entre las herramientas de IA y los navegadores, los LLM heredan gran parte de la superficie de riesgo del navegador. El exploit crea efectivamente un hombre en el aviso.

El riesgo se ve agravado por la ubicuidad de los LLM y las extensiones del navegador

El riesgo se ve amplificado por dos factores clave:

1. Los LLM contienen datos confidenciales. En las herramientas comerciales, los usuarios suelen copiar contenido propietario o regulado. Por otro lado, los LLM internos suelen recibir formación en conjuntos de datos corporativos confidenciales, lo que les da acceso a una gran cantidad de información sensible, desde código fuente hasta documentos legales y estrategias de fusiones y adquisiciones.
2. Las extensiones del navegador tienen amplios privilegios. Muchos entornos empresariales permiten a los usuarios instalar extensiones libremente. Una vez instalada una extensión maliciosa o comprometida en el navegador de un usuario, puede acceder a cualquier herramienta web de GenAI con la que interactúe dicho usuario.

Si un usuario con acceso a un LLM interno tiene incluso una sola extensión vulnerable instalada, los atacantes pueden extraer datos silenciosamente inyectando consultas y leyendo los resultados, completamente dentro de los límites de la sesión del usuario.

Todas las solicitudes de LLM e IA se ven afectadas

• LLM de terceros:Herramientas como ChatGPT, Claude, Gemini, Copilot y otras, a las que se accede a través de aplicaciones web.
• Implementaciones de LLM empresarial:Copilotos personalizados, asistentes de búsqueda basados en RAG o cualquier herramienta interna creada con una interfaz LLM servida a través del navegador.
• Usuarios de aplicaciones SaaS habilitadas para IA:Aplicaciones SaaS existentes que mejoran sus capacidades al agregar integraciones de IA y LLM incorporados, que se pueden usar para consultar datos confidenciales de los clientes almacenados en la aplicación (como información del usuario, información de pago, registros de salud y más).
• Cualquier usuario con riesgo de extensión del navegador:En particular aquellos en roles técnicos, legales, de recursos humanos o de liderazgo con acceso a datos privilegiados.

LLM	Vulnerable al hombre en el aviso	Vulnerable a la inyección mediante bots	# de visitas mensuales
ChatGPT	✅	✅	5 mil millones
Gemini	✅	✅	400 millones de
Copilot	✅	✅	160 millones de
Claude	✅	✅	115 millones de
Búsqueda profunda	✅	✅	275 millones de
Maestría en Derecho Externa	✅	❌

 

Prueba de concepto n.º 1: Convertir ChatGPT en el copiloto de un hacker

Para demostrar esta vulnerabilidad, los investigadores de LayerX implementaron una extensión de prueba de concepto que No requiere ningún permiso especialNuestra extensión no solo pudo inyectar un mensaje y consultar ChatGPT para obtener información, sino que también pudo exfiltrar los resultados y cubrir sus huellas. 

Esto significa que cualquier Las extensiones comprometidas pueden abusar de esta técnica para robar datos del ChatGPT de los usuarios y las empresas.

Cómo funciona el exploit ChatGPT:

1. El usuario instala una extensión comprometida sin ningún permiso.
2. Un servidor de comando y control (que puede estar alojado local o remotamente) envía una consulta a la extensión. 
3. La extensión abre una pestaña en segundo plano y consulta ChatGPT.
4. Los resultados se filtran a un registro externo.
5. La extensión entonces elimina El chat, para borrar su existencia y borrar sus rastros. Si el usuario revisara su historial de ChatGPT, no vería nada.

Trascendencia:

ChatGPT es la herramienta de IA más popular del mundo, con un estimado de 5 mil millones de visitas mensuales. Es utilizada frecuentemente tanto por particulares como por organizaciones, tanto para fines personales como profesionales.

Según la investigación de LayerX, el 99% de los usuarios empresariales tienen al menos una extensión de navegador instalada en sus navegadores y el 53% tiene más de 10 extensiones. 

El hecho de que los investigadores de seguridad de LayerX pudieran crear este exploit sin ningún permiso especial demuestra cómo Prácticamente cualquier usuario es vulnerable a un ataque de este tipo.. 

Cualquier sistema de puntuación de riesgo de extensión pasiva no podrá detectar dicha extensión, ya que no requiere permisos. Además, al no requerirlos, recibirá puntuaciones de riesgo bajas.

Prueba de concepto n.º 2: Convertir a Google Gemini en un gemelo hacker malvado

Como segunda prueba de concepto para ilustrar esta vulnerabilidad, LayerX implementó un exploit que puede robar datos internos de entornos corporativos utilizando Google Gemini a través de su integración en Google Workspace.

En los últimos meses, Google ha implementado nuevas integraciones de Gemini AI en Google Workspace. Actualmente, esta función está disponible para organizaciones que usan Workspace y usuarios de pago.

Esta integración ofrece un nuevo panel lateral en aplicaciones web como Google Mail, Docs, Meet y otras aplicaciones, permitiendo a los usuarios automatizar tareas repetitivas y/o que consumen mucho tiempo como resumir correos electrónicos, hacer preguntas sobre un documento, agregar datos de diferentes fuentes, etc.

Una de las características que hace que la integración de Gemini sea única es que tiene acceso a todos Datos accesibles al usuario en su espacio de trabajo. Esto incluye correo electrónico, documentos (en Google Drive), carpetas compartidas y contactos. Sin embargo, una distinción importante es que Gemini puede acceder no solo a archivos y datos propiedad directa del usuario, sino también a... cualquier carpeta, archivo o datos que se han compartido con ellos y para los que tienen permisos de acceso.

Google ya está al tanto de los intentos de explotación de su motor de inteligencia artificial Gemini y ha Intentos ampliamente documentados de explotar a Gemini con fines nefastosSin embargo, hasta el momento no han abordado el riesgo de que las extensiones del navegador se utilicen como vehículo para acceder a los datos personales de los usuarios a través de las indicaciones de Gemini Workspace, lo que indica que se trata de un método novedoso.

Cómo funciona el exploit Gemini

La nueva integración de Gemini se implementa directamente en la página como código añadido sobre la página existente. Modifica y escribe directamente en el Modelo de Objetos de Documento (DOM) de la aplicación web, lo que le otorga control y acceso a todas sus funciones.

Paso 1: El usuario utiliza una cuenta de Google Workspace Pro con integración de Gemini

Sin embargo, LayerX ha descubierto que, con esta integración, cualquier extensión del navegador, sin permisos especiales, puede interactuar con el mensaje e insertar mensajes. Como resultado, prácticamente cualquier extensión puede acceder al mensaje de la barra lateral de Gemini y consultarlo para obtener cualquier dato.

Además, el acceso persiste incluso si se cierra la barra lateral o incluso si la extensión manipula activamente el código de la página para ocultar la interfaz de solicitud de Gemini.

Una vez que las extensiones inyectan código en el prompt, se comportan como cualquier otra consulta de texto. Algunos ejemplos de acciones que pueden realizar son:

• Extraer títulos y contenidos de correos electrónicos
• Consultar información sobre las personas que aparecen en la lista de contactos del usuario
• Listar todos los documentos accesibles
• Estructurar consultas complejas para solicitar datos específicos de correos electrónicos y archivos accesibles
• Aproveche la funcionalidad de autocompletar incorporada para enumerar los archivos accesibles
• Agregue permutaciones para enumerar todos los archivos y solicitar resultados
• Etc.

Paso 2: una vez que se cierra la barra lateral, una extensión comprometida inyecta el mensaje de Gemini con una consulta, recupera archivos confidenciales del usuario y extrae información.

LayerX reveló esta vulnerabilidad a Google bajo medidas de divulgación responsable.

A qué datos pueden acceder los piratas informáticos mediante la explotación de Gemini

La integración de Gemini Workspace de Google permite acceder a cualquier dato accesible para el usuario. Esto incluye no solo los archivos e información que son propiedad del usuario y están almacenados en sus directorios, sino también cualquier archivo o dato compartido con él y para el que el usuario tenga permisos de lectura. Esto incluye:

• Emails
• Contacto
• Contenido del archivo
• Carpetas compartidas (y sus contenidos)
• Invitaciones a reuniones
• Resúmenes de reuniones

Sin embargo, además de acceder directamente a archivos y datos accesibles para el usuario, Gemini permite analizar datos a gran escala sin necesidad de extraer archivos individuales. Entre las consultas que se le pueden solicitar se incluyen:

• Listar todos los clientes
• Resúmenes de llamadas
• Información sobre personas y contactos
• Buscar información específica (como información de identificación personal u otra propiedad intelectual de la empresa)
• Y más…

Los LLM internos están particularmente expuestos

Si bien las herramientas de IA comerciales como ChatGPT y Gemini son puntos de entrada populares para el uso de GenAI, algunas de las objetivos más importantes Para este exploit son LLM implementados internamente—aquellos construidos y perfeccionados por las empresas para servir a su propia fuerza laboral.

A diferencia de los modelos públicos, los LLM internos suelen recibir capacitación o ampliación con datos organizacionales confidenciales y altamente sensibles:

• Propiedad intelectual, como código fuente, especificaciones de diseño y hojas de ruta de productos
• Documentos legales, contratos y estrategia de fusiones y adquisiciones
• Pronósticos financieros, información personal identificable y registros regulados
• Comunicaciones internas y datos de RR.HH.

El objetivo de estos copilotos internos o sistemas basados en RAG es que los empleados puedan acceder a esta información de forma más rápida e inteligente. Sin embargo, esa misma comodidad se convierte en una desventaja cuando el acceso a través del navegador se combina con el riesgo de extensiones invisibles.

Por qué los LLM internos son especialmente vulnerables

1. Acceso de alta confianzaLos modelos internos a menudo suponen un uso confiable y no están protegidos contra entradas adversas o automatización silenciosa desde dentro de la sesión del navegador del usuario.
2. Consultas sin restricciones:Los usuarios a menudo pueden enviar preguntas de formato libre y recibir respuestas completas, con pocas garantías que impidan la extracción de conjuntos de datos confidenciales, especialmente a través de indicaciones ingeniosamente diseñadas.
3. Seguridad de la red asumidaDado que estos LLM se alojan en la infraestructura de la organización o tras una VPN, se perciben erróneamente como seguros. Sin embargo, el acceso a través del navegador rompe esa barrera.
4. Invisibilidad de las herramientas existentes:Las soluciones de seguridad tradicionales, como CASB, SWG o DLP, tienen sin visibilidad en cómo se produce la manipulación del mensaje a nivel DOM o qué se consulta y se devuelve.

Un escenario realista

Imagine a un analista de seguridad consultando un LLM interno sobre los plazos de respuesta a incidentes anteriores o a un ingeniero de hoja de ruta revisando las notas de futuras versiones. Una extensión maliciosa en segundo plano podría inyectar silenciosamente una consulta oculta ("Resumir todas las características no publicadas del producto mencionadas en esta sesión") y reenviar la respuesta a un servidor externo, sin activar ninguna alerta de seguridad.

En esencia, Un único navegador comprometido en un punto final de confianza se convierte en un conducto para un atacante. para exfiltrar activos de conocimiento de alto valor del cerebro de IA de la organización.

Las consecuencias

• Fuga de IPSe pueden robar algoritmos propietarios, bases de código y secretos comerciales de forma silenciosa.
• Exposición regulatoria:Las consultas que involucran información personal identificable (PII) del cliente, registros médicos o datos financieros podrían dar lugar a violaciones de cumplimiento según GDPR, HIPAA o SOX.
• erosión de la confianzaLa seguridad percibida de las herramientas internas se desmorona si respuestas confidenciales se filtran a través de canales no detectados.

Algunas extensiones de Chrome Store ya pueden hacer esto

De hecho, algunas extensiones de Chrome Web Store ya ofrecen inyección y edición rápidas.

Extensiones como Arquero rápido, Administrador de avisos, y Carpeta de aviso Todos proporcionan una funcionalidad que lee, almacena y escribe indicaciones de IA. 

Si bien estas extensiones parecen legítimas, demuestran que las extensiones que interactúan con las indicaciones de IA son válidas y aceptables en las tiendas de Chrome y Edge. Además, la mayoría de estas extensiones solo requieren permisos limitados de los usuarios, lo que demuestra que la interacción con las indicaciones de IA puede realizarse sin permisos especiales.

 

Implicaciones para las empresas

Esta amenaza expone un grave punto ciego en las iniciativas actuales de gobernanza de GenAI. Las herramientas de seguridad tradicionales, como la prevención de pérdida de datos (DLP) en endpoints, las puertas de enlace web seguras (SWG) o los CASB, carecen de visibilidad de las interacciones a nivel de DOM que habilitan esta vulnerabilidad. No pueden detectar la inyección de avisos, el acceso no autorizado a datos ni el uso de avisos manipulados.

Además, las políticas de acceso de GenAI (por ejemplo, bloquear ChatGPT a través de URL) no brindan protección para las herramientas internas alojadas en dominios o IP incluidos en la lista blanca.

Cómo mitigar este riesgo:

Las organizaciones necesitan cambiar su forma de pensar en seguridad. control a nivel de aplicación a inspección del comportamiento en el navegador. Esto incluye:

• Monitoreo de interacciones DOM dentro de las herramientas GenAI y detectar oyentes o webhooks que pueden interactuar con indicaciones de IA.
• Bloqueo de extensiones de riesgo Basado en el riesgo conductual, no solo en listas de permitidos. Dado que una evaluación estática basada en permisos no es suficiente (ya que algunas extensiones no requieren permisos), combinar la reputación del editor con el standboxing dinámico de extensiones es la mejor manera de detectar extensiones peligrosas y maliciosas.

Prevención de la manipulación y exfiltración rápidas en tiempo real en la capa del navegador.