像 ChatGPT 这样的生成式人工智能工具正在席卷全球。与任何新技术一样，CISO 需要找到一种方法来抓住机遇，同时保护组织免受生成式 AI 和 ChatGPT 风险的影响。让我们在本文中探讨机会和安全最佳实践。
什么是生成式人工智能？
生成式人工智能是一种专注于利用机器学习技术创建和生成新内容的人工智能。这可能包括图像、文本、音乐或视频。与大多数识别模式或根据现有数据进行预测的人工智能方法不同，生成式人工智能旨在产生原创和创造性的输出。
生成式人工智能模型基于 LLM（大型语言模型），这意味着它们是在大型数据集上进行训练的。他们学习数据中存在的潜在模式和结构，并将其转化为概率模型。然后，当给出“提示”时，他们使用学到的知识来生成与训练数据类似的新内容，但不是精确的副本。因此，生成式人工智能模型可以设计逼真的图像、写出连贯的故事或诗歌、创作音乐，甚至产生逼真的、类似人类的对话。
用于生成式 AI 的常见框架之一称为 GAN（生成对抗网络）。 GAN 由两个神经网络组成：生成器网络和判别器网络。生成器网络生成新内容，而鉴别器网络评估生成的内容并尝试将其与真实数据区分开。这两个网络在竞争过程中一起训练，其中生成器的目标是产生越来越真实的内容来欺骗鉴别器，而鉴别器则努力更好地识别生成的内容。这种对抗性训练可以创造出高质量和多样化的内容。
生成式人工智能工具有多种用例，包括艺术、设计、娱乐，甚至医学。然而，生成式人工智能也引发了道德方面的考虑，例如生成虚假内容的可能性、技术的滥用、偏见和网络安全风险。
ChatGPT 是一款非常流行的生成式 AI 聊天机器人，于 2022 年 XNUMX 月发布，引起了人们对生成式 AI 工具概念和功能的广泛关注。
生成式人工智能有哪些风险？
生成式人工智能存在安全团队需要注意的几个相关风险，例如隐私问题和网络钓鱼。主要安全风险包括：
隐私问题
生成式人工智能模型经过大量数据的训练，其中可能包括用户生成的内容。如果没有正确匿名，这些数据可能会在培训过程和内容开发过程中暴露，从而导致数据泄露。此类泄露可能是偶然的，即在用户无意公开共享信息的情况下提供信息，或者故意通过推理攻击恶意尝试暴露敏感信息。
就在最近，三星员工 将敏感数据粘贴到 ChatGPT 中，包括机密源代码和私人会议记录。该数据现在用于 ChatGPT 训练，并可能用于 ChatGPT 提供的答案中。
网络钓鱼电子邮件和恶意软件
攻击者可以使用生成式 AI 生成多种语言的令人信服的欺骗性内容，包括网络钓鱼电子邮件、网络钓鱼网站或网络钓鱼消息。它还可用于冒充受信任的实体和个人。这些都可以提高成功率 网络钓鱼攻击 并导致个人信息或凭证泄露。
此外，生成式人工智能可用于生成恶意代码或恶意软件变体。这种人工智能驱动的恶意软件可以根据与目标系统的交互进行适应和进化，增强其绕过防御和攻击系统的能力，同时使安全防御更难缓解它们。
访问管理
攻击者可以使用生成式人工智能来模拟或生成真实的访问凭据，例如用户名和密码。这些可用于密码猜测， 凭证填充 暴力攻击，允许未经授权访问系统、帐户或敏感数据。此外，生成式人工智能可以创建欺诈性帐户或个人资料，这些帐户或个人资料可用于绕过验证流程和系统并访问资源。
内部威胁
生成式人工智能工具可能会被组织内的个人恶意滥用以进行未经授权的活动。例如，员工可能会生成欺诈性文档或操纵数据，从而导致潜在的欺诈、数据篡改或知识产权盗窃。员工还可能无意中将数据泄露给这些工具，从而导致数据泄露。
增加攻击面
将生成式人工智能工具集成到其堆栈中的企业可能会引入新的漏洞。这些工具可能与系统和 API 交互，为攻击者创建额外的入口点。
企业减轻生成式 AI 和 ChatGPT 安全风险的方法
生成式人工智能带来了机遇和安全风险。企业可以采取以下措施来确保能够享受生产力优势和 ChatGPT 安全性，而不会面临风险：
风险评估
首先绘制与在您的企业中使用生成式 AI 工具相关的潜在安全风险。确定生成人工智能引入安全漏洞或潜在滥用的领域。例如，您可以将工程组织突出显示为面临泄露敏感代码风险的群体。或者，您可能会将类似 ChatGPT 的浏览器扩展视为风险并要求禁用它们。
访问控制、身份验证和授权
实施强大的访问控制和验证机制来管理对系统的访问以及员工可以在生成人工智能工具中执行的操作。例如，一个 浏览器安全平台 可以防止您的员工在 ChatGPT 等工具中粘贴敏感代码。
定期软件更新和修补
及时了解系统的最新版本和安全补丁。及时应用更新以解决任何已知漏洞并防范新出现的威胁。通过这样做，您将增强安全态势并防范所有威胁，包括使用生成式人工智能的攻击者造成的威胁。
监控和异常检测
部署监控解决方案来检测和响应与生成人工智能工具相关的潜在安全事件或异常活动。实施实时异常检测机制来识别可疑行为，例如未经授权的访问尝试或异常数据模式。
用户教育和意识
对员工和用户进行有关与生成式人工智能相关的风险的培训，包括网络钓鱼、 社会工程学和其他安全威胁。提供有关如何识别和响应潜在攻击或可疑活动的指南。通过培训计划和宣传活动定期强化安全意识。
为了补充这些培训，浏览器安全平台可以通过要求用户同意或证明使用生成人工智能工具的理由来提供帮助。
供应商安全评估
如果您从第三方供应商处采购生成式人工智能工具，请对其产品进行彻底的安全评估。评估他们的安全实践、数据处理程序以及对行业标准的遵守情况。确保供应商优先考虑安全性并拥有强大的安全框架。
事件响应和恢复
制定专门针对生成型人工智能相关安全事件的事件响应计划。建立明确的程序来检测、遏制安全漏洞或攻击并从中恢复。定期测试和更新事件响应计划以适应不断变化的威胁。
与安全专家的合作
向专门从事人工智能和机器学习安全的安全专家或顾问寻求指导。他们可以帮助您识别潜在风险、实施最佳实践并确保您的生成式人工智能系统得到充分保护。
LayerX 如何防止 ChatGPT 和其他生成式 AI 平台上的数据泄露
LayerX 的浏览器安全平台 减轻 ChatGPT 和其他生成式人工智能平台带来的组织数据（例如客户数据和知识产权）的暴露风险。这是通过启用策略配置来防止粘贴文本字符串、提供对浏览器上每个用户活动的精细可见性、检测和禁用类似 ChatGPT 的浏览器扩展、要求用户同意或证明使用生成 AI 工具以及强制保护数据的支持。所有 SaaS 应用程序的使用情况。享受生成式 AI 工具带来的生产力，而无需承担风险。
