人工智能治理挑战：领导者必须了解什么

组织大规模部署人工智能面罩 人工智能治理挑战 本文探讨了人工智能治理在监管合规、数据安全、影子人工智能扩散和运营问责等方面面临的主要挑战，分析了生成式人工智能和智能体人工智能特有的风险，并为领导者提供了构建企业级有效治理框架的切实可行的步骤。

关键精华

为什么如今企业面临的人工智能治理挑战日益严峻？
人工智能的普及速度超过了政策制定速度，员工经常使用未经授权的人工智能工具在受监管渠道之外处理公司数据，从而扩大了安全和合规风险。

是什么让影子人工智能成为人工智能数据治理领域最紧迫的挑战之一？
Shadow AI 工具通过浏览器和 SaaS 应用程序运行，不受 IT 部门的监控，因此传统的网络安全和终端解决方案无法检测或控制流入其中的敏感数据。

智能体人工智能治理挑战与对话式人工智能治理挑战有何不同？
智能体人工智能可以自主执行多步骤任务——浏览、编码、发送电子邮件——这需要操作级别的权限、执行边界、完整的审计跟踪和终止开关，而对话式人工智能则不需要这些。

浏览器在解决企业人工智能治理挑战方面发挥着什么作用？
浏览器是几乎所有 AI 交互的通用界面，因此浏览器级别的监控和数据防泄漏是跨受管和非受管设备强制执行策略的最有效控制点。

组织应如何制定政策来应对实施人工智能治理中的关键挑战？
分层框架将人工智能工具与风险级别相匹配——从完全批准的企业许可平台到被阻止的未经审查的服务——从而实现可执行、可扩展的控制，而不是一刀切的禁令。

为什么生成式人工智能特有的治理挑战比传统软件风险更难审计？
生成式人工智能会产生非确定性输出，这意味着相同的提示在不同的会话中可能会产生不同的结果，这使得决策的可追溯性、可重现性和合规性验证变得更加复杂。

克服人工智能治理实施挑战的最关键的第一步是什么？
建立对所有 AI 使用情况的完全可见性——包括影子工具、浏览器扩展程序和 SaaS 嵌入式功能——因为组织无法对他们尚未发现的系统实施治理。

人工智能治理挑战概述

人工智能治理是指确保人工智能系统在可接受的伦理、法律和运营范围内运行的政策、流程和技术控制措施。随着组织在各个部门加速采用人工智能——从客户服务聊天机器人到自主编码代理——治理这些系统的复杂性也成比例地增加。了解人工智能治理的全部范围至关重要。 人工智能治理面临的挑战 这是构建可防御战略的第一步。

人工智能治理的核心维度

人工智能治理并非单一学科，它涵盖多个领域，每个领域都面临着独特的挑战，领导者必须同时应对这些挑战。

• 数据治理 – 控制人工智能系统可以访问、处理和保留哪些数据，包括敏感的企业信息、客户个人身份信息和受监管的数据集。
• 访问控制 – 确定谁可以使用 AI 工具，他们可以与哪些模型交互，以及这些模型在企业系统中拥有哪些权限。
• 使用情况监控 – 跟踪员工和自动化代理实际如何使用人工智能，包括绕过 IT 监管的未经授权的工具（影子人工智能）。
• 输出验证 – 确保 AI 生成的响应、代码和决策在投入生产之前符合准确性、安全性和合规性标准。
• 监管协调 – 将人工智能的使用与适用的框架（例如欧盟人工智能法案、NIST 人工智能风险管理框架和特定行业的法规）进行映射。

治理差距为何不断扩大

人工智能的普及速度始终超过其治理成熟度。行业调查显示，大多数企业都有员工在没有正式政策的情况下使用生成式人工智能工具。这种差距导致安全、合规和知识产权等多个方面存在风险。影子人工智能——即员工通过网络浏览器和SaaS应用程序使用未经授权的人工智能服务——是增长最快且最不易察觉的风险来源之一。

为什么人工智能治理对现代组织至关重要

人工智能治理并非可有可无的合规措施。它直接影响组织的风险状况、竞争地位以及负责任地扩展人工智能项目的能力。将治理视为战略职能而非官僚障碍的领导者，将在安全性、信任度和运营效率方面获得显著优势。

监管压力正在加剧

世界各国政府正在出台具有约束力的人工智能法规。欧盟《人工智能法案》根据风险等级对人工智能系统进行分类，并对高风险应用提出严格要求，包括强制性风险评估、人工监督机制和文档记录义务。在美国，来自美国证券交易委员会（SEC）、食品药品监督管理局（FDA）和货币监理署（OCC）的行政命令和机构特定指南，导致相关要求五花八门。缺乏治理框架的机构将面临罚款、执法行动和市场准入限制。

人工智能工具造成的数据泄露是一个真实存在的威胁

每当员工将专有源代码、财务预测或客户数据粘贴到第三方人工智能工具中时，组织就会失去对这些信息的控制权。如果没有人工智能数据丢失防护 (DLP) 控制措施，敏感数据就会通过基于浏览器的人工智能交互流出企业边界，而传统的网络安全工具无法检测到这些交互。这正是企业人工智能治理面临挑战的主要原因之一。

声誉和法律责任

人工智能生成的输出如果包含带有偏见的建议、不准确的医疗或法律信息，或受版权保护的材料，会使组织面临诉讼和声誉损害。包含人工智能响应验证和输出监控的治理框架，通过在人工智能输出到达最终用户或客户之前建立问责链和质量控制，可以降低这种风险。

实现负责任的人工智能规模化

及早建立治理机制的组织能够更积极、更自信地采用人工智能。围绕人工智能访问控制、已批准的工具列表和数据处理制定的明确政策，使业务部门能够在不造成不可接受风险的情况下试验和部署人工智能。治理并非创新的绊脚石，而是确保创新安全加速发展的机制。

实施人工智能治理面临的主要挑战

在企业范围内实施人工智能治理需要克服技术、组织和文化方面的障碍。以下列举了其中最重要的几项。 人工智能治理实施面临的主要挑战 领导者会遇到的问题。

1. 影子人工智能的发现和可见性

最根本的挑战在于了解员工正在使用哪些人工智能工具。员工未经IT部门批准便使用人工智能浏览器扩展程序、SaaS应用程序和基于Web的助手。这些“影子人工智能”工具在受监管渠道之外处理企业数据，造成传统资产管理和云访问安全代理（CASB）解决方案无法完全解决的盲点。

有效的影子AI检测需要对浏览器层进行监控，因为大多数AI交互都发生在浏览器层。监控浏览器活动的解决方案可以识别未经授权的AI工具使用情况，对风险级别进行分类，并实时执行策略，而不会中断合法的工作流程。

2. 组织协调不力

人工智能治理需要法律、合规、安全、数据工程和业务部门之间的协调。然而，在实践中，这些团队往往面临相互冲突的优先事项。安全团队希望限制人工智能的使用；业务部门则希望最大限度地提高生产力。法律团队需要文档；工程团队则需要速度。如果没有高管的支持和跨职能的治理委员会，政策就会变得零散且无法有效执行。

3. 人工智能能力的快速变化

新的AI模型、功能和交互模式每周都在涌现。围绕ChatGPT式文本生成设计的治理框架可能无法涵盖多模态模型、自主执行多步骤任务的AI代理，或嵌入现有SaaS平台中的模型。治理策略必须具备适应性，并采用定期审查机制和模块化控制架构。

4. 界定大规模可接受的使用方式

制定人工智能可接受使用政策并不难，但要在成千上万的员工、承包商和自带设备 (BYOD) 上强制执行却并非易事。难点在于如何将政策语言转化为技术控制措施，从而区分工程师使用经批准的编码助手和将专有算法粘贴到未经授权的工具中这两种情况。

5. 衡量治理有效性

许多组织都制定了治理政策，但缺乏评估这些政策有效性的指标。人工智能治理的关键绩效指标应包括：

企业人工智能治理挑战与解决方案

大型组织面临 企业人工智能治理挑战 规模、复杂性和人工智能在各个业务部门的应用场景多样性，都加剧了这些挑战。以下章节将探讨企业面临的最关键挑战以及切实可行的解决方案。

跨分布式环境管理人工智能

企业运营涉及多个云服务提供商、SaaS 平台、本地系统和地理区域。人工智能工具嵌入在生产力套件（例如 Microsoft Copilot、Google Gemini）、开发者环境（例如 GitHub Copilot）和独立应用程序中。因此，对人工智能使用进行管控需要一个能够覆盖所有这些环境的控制点。基于浏览器的管控解决方案在此方面具有战略优势，因为无论底层基础架构如何，浏览器都是员工访问几乎所有人工智能工具的通用界面。

自带设备办公 (BYOD) 和非托管设备风险

承包商、合作伙伴和使用个人设备的员工可以访问终端管理解决方案无法覆盖的人工智能工具。这造成了严重的治理漏洞，尤其对于拥有远程或混合办公模式的组织而言更是如此。在浏览器级别运行的安全访问控制（无需设备级代理）可以将人工智能治理策略扩展到非托管设备，而无需进行完整的终端注册。

SaaS嵌入式AI功能

主流SaaS供应商正将人工智能功能直接嵌入到其平台中，通常默认启用。Salesforce Einstein、Notion AI、Slack AI等类似功能可在第三方环境中处理企业数据。企业需要能够实现以下功能的治理控制措施：

1. 确定哪些SaaS应用程序已启用AI功能。
2. 评估这些功能可以访问哪些数据。
3. 制定并执行关于员工是否以及如何使用嵌入式人工智能功能的政策。
4. 监控SaaS AI功能与外部模型提供商之间的数据流。

浏览器扩展程序风险

人工智能驱动的浏览器扩展程序构成了一种特别危险的“影子人工智能”载体。这些扩展程序可以读取页面内容、捕获键盘输入、访问 Cookie 并窃取数据——所有这些都伪装成提供有用的人工智能辅助功能。LayerX Security 通过浏览器扩展程序保护功能来应对这一挑战，该功能可以监控已安装的扩展程序，评估其风险状况，并强制执行策略，在高风险人工智能扩展程序访问敏感数据之前将其阻止或限制。

人工智能的身份和访问治理

传统的身份治理侧重于应用程序访问权限。人工智能治理则在此基础上增加了一个新的维度：控制人工智能工具可以代表已认证用户访问哪些数据和功能。例如，有权查看客户记录的用户未必能够将这些记录导出到人工智能摘要工具中。细粒度的人工智能访问控制策略必须弥合身份管理和数据保护之间的鸿沟。

生成式人工智能特有的治理挑战

生成式人工智能引入了传统软件甚至传统机器学习系统所不存在的治理问题。 生成式人工智能特有的治理挑战 源于大型语言模型和多模态系统的不可预测性、创造性和数据需求量。

非确定性输出

传统软件针对给定的输入产生可预测的输出，而生成式人工智能则不然。相同的提示信息在不同的会话中可能产生不同的响应，这使得验证、审计或复现人工智能生成的内容变得困难。这种不确定性使得决策可追溯性至关重要的受监管行业难以遵守相关规定。因此，人工智能响应验证机制——包括输出日志记录、置信度评分和人机协作审核工作流程——成为必不可少的治理控制措施。

数据摄取和培训风险

当员工与生成式人工智能工具交互时，他们提交的数据可能会被用于训练或微调模型，具体取决于服务提供商的服务条款。这会带来知识产权泄露和违反监管规定的风险。治理框架必须根据人工智能工具的数据保留和训练策略对其进行分类，并实施控制措施，防止敏感数据落入条款不利的工具。

快速注射和操作

生成式人工智能系统容易受到提示注入攻击，恶意输入会导致模型绕过安全防护措施、泄露系统提示或执行非预期操作。对于部署面向客户的人工智能应用的组织而言，这既是安全性的挑战，也是治理方面的挑战。控制措施必须包括输入清理、输出过滤以及对对抗性交互的持续监控。

智能体人工智能治理挑战

智能体人工智能（能够自主规划和执行多步骤任务的系统）的出现，引入了一个新的类别。 智能体人工智能治理挑战与对话式人工智能不同，智能体可以浏览网页、编写和执行代码、发送电子邮件、修改数据库以及与应用程序接口 (API) 交互。管理智能体人工智能需要：

• 操作级权限 – 定义人工智能代理被授权执行哪些操作，而不仅仅是它可以访问哪些数据。
• 执行边界 – 限制自主行为的范围和影响（例如，防止代理未经批准修改生产系统）。
• 审计跟踪 – 记录代理采取的每一个行动，包括导致每个决策的推理链。
• 终止开关 – 实现当检测到异常行为时立即停止代理执行的机制。

版权和知识产权的模糊性

生成式人工智能的输出可能包含源自受版权保护的训练数据的模式、短语或结构。人工智能生成内容的法律地位在不同司法管辖区仍未明确。各组织必须制定政策，规范如何在面向客户的材料、法律文件和出版物中使用人工智能生成内容，并实施审查流程以降低侵权风险。

应对人工智能数据治理挑战

人工智能数据治理挑战 数据是更广泛的治理问题中最具技术复杂性的方面之一。数据既是人工智能系统的燃料，也是治理失败时面临风险的主要资产。

人工智能环境下的数据分类

现有的数据分类方案并非为人工智能交互模式而设计。例如，一份被归类为“内部”的文档，员工可以阅读，但不能粘贴到外部人工智能工具中。企业需要针对人工智能的特定数据分类层级，以区分人类阅读和机器处理之间的差异。这包括制定区分以下内容的策略：

• 可用于任何人工智能工具的数据（公开信息）。
• 数据仅限于经批准的、获得企业许可的、具有合同数据保护的 AI 工具。
• 绝对不能提交给任何人工智能系统的数据（受监管的个人身份信息、商业秘密、机密信息）。

防止浏览器层数据泄露

大多数人工智能数据泄露都发生在基于浏览器的交互过程中，例如复制粘贴、文件上传以及向人工智能网络应用程序提交表单。传统的数据防泄漏 (DLP) 解决方案侧重于电子邮件和终端文件传输，完全忽略了这些交互。浏览器原生 DLP 功能可以检查传输到人工智能工具的数据，应用基于分类的策略，并在敏感内容离开组织之前将其阻止或编辑。LayerX Security 提供专门设计的人工智能 DLP 功能，用于在浏览器级别监控和控制企业用户与人工智能工具之间的数据流，从而精准地解决数据泄露问题。

跨境数据传输的复杂性

托管于不同司法管辖区的AI工具会引发数据主权问题。例如，身处德国的员工使用托管于美国的AI服务可能会无意中违反GDPR的数据传输要求。AI数据治理必须融入地理感知，根据用户位置和数据分类，将AI交互路由至已获批准的服务。

数据沿袭和溯源追踪

当人工智能生成的内容进入业务流程时，企业需要追踪其来源。例如，财务分析是由分析师、人工智能工具还是两者共同生成的？对人工智能生成的内容进行数据沿袭追踪对于审计合规、质量保证和责任管理至关重要。治理框架应强制要求对人工智能辅助输出进行元数据标记。

克服人工智能治理实施挑战的实用步骤

解决 人工智能治理实施挑战 这需要一种结构化的方法，将政策制定、技术控制和组织变革管理结合起来。以下步骤为领导者提供了切实可行的路线图。

第一步：建立完全可见性

你无法管理你看不见的东西。首要任务是部署能够全面展现组织内人工智能使用情况的工具。这包括发现隐藏的人工智能工具、映射人工智能浏览器扩展程序、识别嵌入人工智能功能的SaaS应用程序，以及监控流向人工智能服务的数据流。浏览器级监控能够提供最全面的可见性，因为它可以捕获所有人工智能交互，而无需考虑所使用的工具、设备或网络。

步骤二：成立跨职能治理委员会

成立一个专门的AI治理委员会，成员包括安全、法务、合规、人力资源、IT和关键业务部门的代表。该委员会应负责制定AI治理政策，进行季度审查，并作为AI相关事件的升级处理点。指定一位高管发起人——理想情况下是首席信息安全官（CISO）或首席技术官（CTO）——以确保委员会拥有相应的权限和预算。

步骤三：制定分层人工智能使用策略

与其一刀切地批准或禁止，不如制定分级政策，使人工智能工具的使用与风险等级相匹配。一个切实可行的分级框架可能如下所示：

第四步：在交互点部署技术控制措施

没有强制执行的政策只是建议。必须在人工智能交互发生的地方——主要是浏览器中——部署技术控制措施。有效的人工智能治理技术控制措施包括：

1. 人工智能访问控制 – 根据角色、部门和数据敏感度限制哪些用户和组可以访问特定的 AI 工具。
2. 人工智能DLP – 实时检查并阻止向人工智能工具提交敏感数据。
3. 人工智能使用情况监控 – 记录所有 AI 交互，用于审计、合规性和异常检测。
4. 人工智能滥用预防 – 检测并阻止使用人工智能工具进行违禁目的的尝试，例如生成恶意代码或绕过安全控制。
5. 浏览器扩展控制 – 识别和管理可能泄露数据或引入漏洞的 AI 浏览器扩展程序。

第五步：实施持续监测和调整

人工智能治理并非一蹴而就。应建立持续的监控流程，追踪人工智能的使用模式，检测新型的影子人工智能工具，评估政策合规性，并识别新兴风险。在监控数据和政策更新之间建立反馈机制，使治理框架能够随着人工智能能力和威胁的变化而调整。季度治理审查应评估新进入市场的人工智能工具、供应商数据处理条款的变更、监管动态以及内部事件数据。

第六步：投资员工教育

技术控制可以降低风险，但员工的充分了解和培训能进一步降低风险。人工智能治理培训应涵盖已批准的工具及其正确使用方法、人工智能交互特有的数据处理规则、如何识别和报告影子人工智能工具、向人工智能服务提交敏感数据的风险，以及组织对人工智能生成内容审核的期望。培训内容应针对特定角色——开发人员需要的指导与市场营销团队或财务分析师所需的指导不同——并随着政策和工具的变化而更新。

克服所有方面的 人工智能治理挑战 这需要领导层的持续投入、对专用技术控制措施的投资，以及将负责任地使用人工智能视为组织共同优先事项的企业文化。从一开始就将治理融入人工智能战略的组织——而不是在事故发生后才进行补救性控制——将更有利于在有效管理风险的同时，充分利用人工智能带来的生产力提升。