五大 GenAI 工具易受即时攻击，数十亿人可能受到影响

威胁商业和内部 AI 工具的即时注入攻击新载体

LayerX 研究人员已经确定 新型漏洞 通过之前被忽视的向量直接针对这些工具： 浏览器扩展。 这意味着 几乎任何用户或组织 浏览器上安装了浏览器扩展程序（99% 的企业用户都安装了） 可能会受到这种攻击媒介的影响。

LayerX 的研究表明 任何 浏览器扩展程序即使没有任何特殊权限，也可以访问商业和内部 LLM 的提示 并向他们注入提示以窃取数据、泄露数据并掩盖其踪迹。 

该漏洞已在所有顶级商业 LLM 上进行测试，并为 ChatGPT 和 Google Gemini 提供了概念验证演示。 

对组织而言，这意味着随着它们越来越依赖人工智能工具，这些LLM（尤其是那些使用公司机密信息训练的LLM） 可以变成“黑客副驾驶”来窃取敏感的公司信息。

漏洞：提示人

这种漏洞源于大多数 GenAI 工具在浏览器中的实现方式。当用户与基于 LLM 的助手交互时，提示输入字段通常是页面文档对象模型 (DOM) 的一部分。这意味着任何拥有 DOM 脚本访问权限的浏览器扩展程序都可以直接读取或写入 AI 提示。

不良行为者可以利用恶意或受损的扩展程序来执行邪恶活动：

• 演出 即时注入攻击，改变用户的输入或插入隐藏指令。
• 提取数据 直接从提示、响应或会话中获取。
• 损害模型完整性诱骗法学硕士泄露敏感信息或执行非预期的操作。
  

由于AI工具与浏览器之间的紧密集成，LLM继承了浏览器的大部分风险面。该漏洞实际上创建了一个 提示中的人.

无处不在的 LLM 和浏览器扩展程序加剧了风险

两个关键因素加剧了风险：

1. LLM 持有敏感数据。 在商业工具中，用户通常会粘贴专有或受监管的内容。而内部法学硕士 (LLM) 通常接受机密公司数据集的训练，因此他们可以访问大量敏感信息，从源代码到法律文件，再到并购战略。
2. 浏览器扩展具有广泛的权限。 许多企业环境允许用户自由安装扩展程序。一旦恶意或被入侵的扩展程序安装在用户的浏览器上，它就可以访问用户交互的任何基于 Web 的 GenAI 工具。

如果有权访问内部 LLM 的用户安装了哪怕一个易受攻击的扩展，攻击者就可以通过注入查询和读取结果来悄悄窃取数据，这完全是在用户会话的范围内。

所有法学硕士、人工智能应用均受影响

• 第三方法学硕士：ChatGPT、Claude、Gemini、Copilot 等工具，可通过网络应用程序访问。
• 企业 LLM 部署：自定义副驾驶、基于 RAG 的搜索助手，或任何使用通过浏览器提供的 LLM 前端构建的内部工具。
• 支持 AI 的 SaaS 应用程序的用户：现有的 SaaS 应用程序通过添加内置 AI 集成和 LLM 来增强其功能，可用于查询存储在应用程序上的敏感客户数据（例如用户信息、付款信息、健康记录等）。
• 任何存在浏览器扩展风险的用户：特别是那些担任技术、法律、人力资源或领导职务并有权访问特权数据的人。

LLM	易受提示人攻击	易受机器人注入	每月访问量
ChatGPT	✅	✅	5十亿
双子座	✅	✅	400百万
副驾驶	✅	✅	160百万
克劳德	✅	✅	115百万
深度探索	✅	✅	275百万
外部法学硕士	✅	❌

 

概念验证 #1：将 ChatGPT 变成黑客的副驾驶

为了证明这一漏洞，LayerX 研究人员实施了一个概念验证扩展， 根本不需要任何特殊权限。我们的扩展程序不仅能够注入提示并查询 ChatGPT 以获取信息，而且还能够窃取结果并 掩盖其踪迹。 

这意味着 任何 受损的扩展程序可以滥用此技术来窃取用户和企业的 ChatGPT 数据。

ChatGPT 漏洞的工作原理：

1. 用户安装了被感染的扩展程序 没有任何权限.
2. 命令和控制服务器（可以本地或远程托管）向扩展发送查询。 
3. 该扩展程序打开一个后台选项卡并查询 ChatGPT。
4. 结果被泄露到外部日志中。
5. 然后扩展 删除 聊天记录，抹去它的存在，掩盖它的踪迹。如果用户查看他们的 ChatGPT 历史记录，他们将看不到任何内容。

启示：

ChatGPT 是全球最受欢迎的人工智能工具，每月访问量估计达 5 亿次。它被个人和组织广泛用于个人和商业用途。

根据 LayerX 的研究，99% 的企业用户在其浏览器中安装至少一个浏览器扩展，53% 的企业用户安装超过 10 个扩展。 

LayerX 安全研究人员无需任何特殊权限就能创建此漏洞，这表明 几乎任何用户都容易受到此类攻击. 

任何被动扩展程序风险评分都无法检测到此类扩展程序，因为它不需要任何权限。此外，由于不需要任何权限，它的风险评分也较低。

概念验证 #2：将 Google Gemini 变成邪恶黑客双胞胎

作为说明此漏洞的第二个概念验证，LayerX 实施了一个漏洞利用程序，该漏洞可以通过与 Google Workspace 的集成使用 Google Gemini 从公司环境中窃取内部数据。

在过去的几个月里，谷歌推出了 Gemini AI 与 Google Workspace 的新集成。目前，此功能可供使用 Workspace 和付费用户的组织使用。

这种集成在 Google Mail、Docs、Meet 等网络应用程序提供了一个新的侧面板，允许用户自动执行重复和/或耗时的任务，例如汇总电子邮件、询问有关文档的问题、聚合来自不同来源的数据等。

Gemini 集成的独特之处在于它可以访问 所有 用户在其工作区中可访问的数据。这包括电子邮件、文档（在 Google Drive 上）、共享文件夹和联系人。然而，一个重要的区别是，Gemini 不仅可以访问用户直接拥有的文件和数据，还可以访问 任何 已与他们共享且他们具有访问权限的文件夹、文件或数据。

谷歌已经意识到对其 Gemini AI 引擎的攻击企图，并且 大量记录显示有人试图利用 Gemini 进行邪恶目的然而，到目前为止，他们还没有解决浏览器扩展被用作通过 Gemini Workspace 提示访问用户个人数据的工具的风险，这表明这是一种新颖的方法。

双子座漏洞的工作原理

新的 Gemini 集成直接在页面内部实现，作为在现有页面顶部添加的代码。它修改并直接写入 Web 应用程序的文档对象模型 (DOM)，从而赋予其对应用程序内所有功能的控制和访问权。

步骤 1：用户使用集成了 Gemini 的 Google Workspace Pro 帐号

然而，LayerX 发现，这种集成的实现方式，任何浏览器扩展程序无需任何特殊扩展权限，都可以与提示符交互并向其中注入提示符。因此，实际上任何扩展程序都可以访问 Gemini 侧边栏提示符，并从中查询所需的任何数据。

此外，即使侧边栏关闭或扩展程序主动操纵页面代码以隐藏 Gemini 提示界面，访问仍然持续。

一旦扩展程序将代码注入提示，其行为将与任何其他文本查询一样。它可以执行的操作示例包括：

• 提取电子邮件标题和内容
• 查询用户联系人列表中出现的人员信息
• 列出所有可访问的文档
• 构建复杂的查询以从可访问的电子邮件和文件中请求特定数据
• 利用内置的自动完成功能枚举可访问的文件
• 添加排列以列出所有文件并提示结果
• 等等

第 2 步：侧边栏关闭后，受损的扩展程序会向 Gemini 提示注入查询，检索机密用户文件并泄露信息。

LayerX 根据负责任的披露措施向 Google 披露了此漏洞。

黑客可以通过 Gemini 漏洞访问哪些数据

Google 的 Gemini Workspace 集成可以访问用户可访问的任何数据。这不仅包括用户拥有并存储在其目录中的文件和信息，还包括用户与其共享且用户拥有读取权限的任何文件或数据。这包括：

• 电子邮件
• 联系方式
• 文件内容
• 共享文件夹（及其内容）
• 会议邀请
• 会议纪要

然而，除了直接访问用户可访问的文件和数据外，Gemini 还可以用来大规模分析数据，而无需提取单个文件。它可以执行的示例查询包括：

• 列出所有客户
• 通话摘要
• 有关人员和联系人的信息
• 查找特定信息（例如 PII 或其他公司知识产权）
• 以及更多...

国内法学硕士尤其容易受到影响

虽然 ChatGPT 和 Gemini 等商业 AI 工具是 GenAI 使用的热门切入点，但其中一些 最重要的目标 对于这一漏洞 内部部署的法学硕士—由企业建立和微调以服务于自己的员工。

与面向公众的模型不同，内部 LLM 通常经过训练或增强 高度敏感的专有组织数据:

• 源代码、设计规范和产品路线图等知识产权
• 法律文件、合同和并购战略
• 财务预测、PII 和受监管记录
• 内部沟通和人力资源数据

这些内部副驾驶系统或基于 RAG 的系统的目标是让员工能够更快、更智能地访问这些信息。但当基于浏览器的访问方式伴随着隐形的扩展风险时，这种便利性就变成了一种负担。

为什么内部法学硕士特别容易受到攻击

1. 高信任访问：内部模型通常假设可信使用，并且不会针对用户浏览器会话中的对抗性输入或静默自动化进行强化。
2. 非限制查询：用户通常可以提交自由形式的问题并得到完整的答复，几乎没有安全措施可以防止提取机密数据集，尤其是通过巧妙设计的提示。
3. 假定网络安全：由于这些 LLM 托管在组织的基础设施内或 VPN 之后，因此人们误以为它们是安全的。但浏览器级访问打破了这种界限。
4. 现有工具的隐形性：传统安全解决方案（例如 CASB、SWG 或 DLP） 没有可见度 DOM 级提示操作如何发生或查询和返回什么。

现实情况

假设一位安全分析师正在向内部 LLM 查询过去的事件响应时间表，或者一位路线图工程师正在审查未来的发布说明。后台的恶意扩展程序可能会悄悄地注入一个隐藏的查询（“总结本次会话中提到的所有未发布的产品功能”），并将响应转发到外部服务器，而不会触发任何安全警报。

在本质上， 受信任终端上的单个被攻破的浏览器就成了攻击者的通道。 从组织的人工智能大脑中窃取高价值知识资产。

后果

• IP泄漏：专有算法、代码库和商业机密可能会被悄悄窃取。
• 监管风险：涉及客户 PII、医疗记录或财务数据的查询可能会导致违反 GDPR、HIPAA 或 SOX 的规定。
• 信任的侵蚀：如果敏感答案通过未被发现的渠道泄露，内部工具的安全性就会崩溃。

Chrome 商店中的一些扩展程序已经可以做到这一点

事实上，Chrome 网上应用店中的一些扩展程序已经提供了快速注入和编辑功能。

扩展如 速射弓箭手, 提示经理和 提示文件夹 所有这些都提供了读取、存储和写入 AI 提示的功能。 

虽然这些扩展程序看似合法，但它们凸显了与 AI 提示交互的扩展程序在 Chrome 和 Edge 商店中是有效且可接受的。此外，大多数扩展程序只需要用户有限的权限，这凸显了无需任何特殊权限即可与 AI 提示进行交互。

 

对企业的启示

这一威胁暴露了当前 GenAI 治理工作中的一个严重盲点。传统的安全工具，例如终端 DLP、安全 Web 网关 (SWG) 或 CASB，无法洞察导致此漏洞的 DOM 级交互。它们无法检测提示注入、未经授权的数据访问或操纵提示的使用。

此外，GenAI 访问策略（例如，通过 URL 阻止 ChatGPT）无法为托管在白名单域或 IP 上的内部工具提供保护。

如何降低风险：

组织需要转变安全思维， 应用级控制 至 浏览器内行为检查。 这包括：

• 监控 DOM 交互 在 GenAI 工具中并检测可以与 AI 提示交互的监听器或 webhook。
• 阻止有风险的扩展 基于行为风险，而不仅仅是白名单。由于基于权限的静态评估不足以解决问题（因为某些扩展程序不需要任何权限），因此将发布者信誉与动态扩展程序标准测试相结合是检测高风险和恶意扩展程序的最佳方法。

防止迅速篡改和泄露 在浏览器层实时。