Генеративные инструменты искусственного интеллекта, такие как ChatGPT, покоряют мир. Как и в случае любой новой технологии, директора по информационной безопасности должны найти способ использовать эти возможности, одновременно защищая организацию от рисков генеративного ИИ и ChatGPT. Давайте рассмотрим возможности и лучшие практики обеспечения безопасности в этой статье.
Что такое Генеративный ИИ?
Генеративный ИИ — это тип ИИ, который ориентирован на создание и генерацию нового контента с помощью методов ML. Это могут быть изображения, текст, музыка или видео. В отличие от большинства подходов к искусственному интеллекту, которые распознают закономерности или делают прогнозы на основе существующих данных, генеративный искусственный интеллект нацелен на создание оригинальных и творческих результатов.
Генеративные модели ИИ основаны на LLM (больших языковых моделях), что означает, что они обучаются на больших наборах данных. Они изучают основные закономерности и структуры, присутствующие в данных, и превращают их в вероятностные модели. Затем, получив «подсказку», они используют полученные знания для создания нового контента, похожего на обучающие данные, но не являющегося его точной копией. В результате генеративные модели искусственного интеллекта могут создавать реалистичные изображения, писать связные истории и стихи, сочинять музыку и даже вести реалистичные и человеческие разговоры.
Одна из распространенных инфраструктур, используемых для генеративного ИИ, называется GAN – Generative Adversarial Network. GAN состоят из двух нейронных сетей: сети-генератора и сети-дискриминатора. Сеть-генератор генерирует новый контент, а сеть дискриминатора оценивает сгенерированный контент и пытается отличить его от реальных данных. Две сети обучаются вместе в конкурентном процессе, в котором генератор стремится создавать все более реалистичный контент, который обманывает дискриминатор, а дискриминатор стремится лучше идентифицировать сгенерированный контент. Такое состязательное обучение приводит к созданию высококачественного и разнообразного контента.
Инструменты генеративного искусственного интеллекта имеют множество вариантов использования, включая искусство, дизайн, развлечения и даже медицину. Однако генеративный ИИ также поднимает этические вопросы, такие как возможность создания фейкового контента, неправильное использование технологии, предвзятость и риски кибербезопасности.
ChatGPT — чрезвычайно популярный чат-бот с генеративным ИИ, выпущенный в ноябре 2022 года и привлекший широкое внимание к концепции и возможностям инструментов генеративного ИИ.
Каковы риски генеративного ИИ?
Генеративный ИИ имеет несколько связанных рисков, о которых необходимо знать командам безопасности, например, проблемы конфиденциальности и фишинг. К основным угрозам безопасности относятся:
Конфиденциальность
Генеративные модели ИИ обучаются на больших объемах данных, которые могут включать пользовательский контент. Если они не будут должным образом анонимизированы, эти данные могут быть раскрыты в процессе обучения и в процессе разработки контента, что приведет к утечке данных. Такие нарушения могут быть случайными, т. е. информация предоставляется без намерения пользователя сделать ее общедоступной или преднамеренно, посредством атак на основе вывода, в злонамеренной попытке раскрыть конфиденциальную информацию.
Совсем недавно сотрудники Samsung вставил конфиденциальные данные в ChatGPT, включая конфиденциальный исходный код и записи частных встреч. Эти данные теперь используются для обучения ChatGPT и могут использоваться в ответах, которые предоставляет ChatGPT.
Фишинговые письма и вредоносное ПО
Генеративный искусственный интеллект может использоваться злоумышленниками для создания убедительного и вводящего в заблуждение контента, включая фишинговые электронные письма, фишинговые веб-сайты или фишинговые сообщения, на нескольких языках. Его также можно использовать для выдачи себя за доверенных лиц и лиц. Они могут повысить вероятность успеха фишинговые атаки и привести к компрометации личной информации или учетных данных.
Кроме того, генеративный ИИ может использоваться для создания вредоносного кода или вариантов вредоносного ПО. Такое вредоносное ПО на базе искусственного интеллекта может адаптироваться и развиваться в зависимости от взаимодействия с целевой системой, повышая их способность обходить защиту и атаковать системы, в то же время затрудняя меры защиты по их смягчению.
Управление доступом
Злоумышленники могут использовать генеративный искусственный интеллект для имитации или создания реалистичных учетных данных доступа, таких как имена пользователей и пароли. Их можно использовать для подбора пароля, учетная информация и атаки грубой силы, обеспечивающие несанкционированный доступ к системам, учетным записям или конфиденциальным данным. Кроме того, генеративный ИИ может создавать мошеннические учетные записи или профили, которые можно использовать для обхода процессов и систем проверки, а также для доступа к ресурсам.
Инсайдерские угрозы
Инструменты генеративного искусственного интеллекта могут быть злонамеренно использованы отдельными сотрудниками организации для несанкционированных действий. Например, сотрудник может создать поддельные документы или манипулировать данными, что приведет к потенциальному мошенничеству, подделке данных или краже интеллектуальной собственности. Сотрудники также могут непреднамеренно передать данные в эти инструменты, что приведет к утечке данных.
Увеличенная поверхность атаки
Компании, которые интегрируют генеративные инструменты искусственного интеллекта в свой стек, потенциально создают новые уязвимости. Эти инструменты могут взаимодействовать с системами и API, создавая дополнительные точки входа для злоумышленников.
Как компании могут снизить риски безопасности, связанные с генеративным искусственным интеллектом и ChatGPT
Генеративный ИИ создает возможности и риски для безопасности. Предприятия могут принять следующие меры, чтобы обеспечить преимущества производительности и безопасности ChatGPT, не подвергаясь рискам:
Оценка риска
Начните с отображения потенциальных рисков безопасности, связанных с использованием генеративных инструментов искусственного интеллекта в вашем бизнесе. Определите области, в которых генеративный ИИ создает уязвимости безопасности или потенциальное злоупотребление. Например, вы можете выделить инженерную организацию как группу риска утечки конфиденциального кода. Или вы можете определить расширения браузера, подобные ChatGPT, как риск и потребовать их отключения.
Контроль доступа, аутентификация и авторизация
Внедрите строгий контроль доступа и механизмы проверки для управления доступом к вашим системам, а также действиями, которые ваши сотрудники могут выполнять с помощью генеративных инструментов искусственного интеллекта. Например, платформа безопасности браузера может запретить вашим сотрудникам вставлять конфиденциальный код в такие инструменты, как ChatGPT.
Регулярные обновления и исправления программного обеспечения
Будьте в курсе последних выпусков и исправлений безопасности для ваших систем. Своевременно применяйте обновления для устранения любых известных уязвимостей и защиты от возникающих угроз. Поступив так, вы повысите свою безопасность и защититесь от всех угроз, в том числе от злоумышленников, использующих генеративный искусственный интеллект.
Мониторинг и обнаружение аномалий
Развертывайте решения для мониторинга, чтобы обнаруживать и реагировать на потенциальные инциденты безопасности или необычные действия, связанные с генеративными инструментами искусственного интеллекта. Внедрите механизмы обнаружения аномалий в режиме реального времени для выявления подозрительного поведения, например попыток несанкционированного доступа или аномальных шаблонов данных.
Обучение и осведомленность пользователей
Обучите сотрудников и пользователей рискам, связанным с генеративным искусственным интеллектом, включая фишинг, социальная инженерияи другие угрозы безопасности. Предоставьте рекомендации о том, как выявлять потенциальные атаки или подозрительные действия и реагировать на них. Регулярно повышайте осведомленность о безопасности с помощью программ обучения и информационных кампаний.
В дополнение к этим тренингам платформа безопасности браузера может помочь, потребовав от пользователя согласия или обоснования использования генеративного инструмента искусственного интеллекта.
Оценка безопасности поставщика
Если вы приобретаете генеративные инструменты искусственного интеллекта у сторонних поставщиков, проведите тщательную оценку безопасности их предложений. Оцените их методы обеспечения безопасности, процедуры обработки данных и соблюдение отраслевых стандартов. Убедитесь, что поставщики уделяют приоритетное внимание безопасности и имеют надежную систему безопасности.
Реагирование на инциденты и восстановление
Разработайте план реагирования на инциденты, специально предназначенный для устранения инцидентов безопасности, связанных с генеративным искусственным интеллектом. Установите четкие процедуры для обнаружения, сдерживания и восстановления после нарушений безопасности или атак. Регулярно тестируйте и обновляйте план реагирования на инциденты, чтобы адаптироваться к развивающимся угрозам.
Сотрудничество с экспертами по безопасности
Обратитесь за советом к специалистам по безопасности или консультантам, которые специализируются на безопасности искусственного интеллекта и машинного обучения. Они могут помочь вам выявить потенциальные риски, внедрить лучшие практики и обеспечить адекватную безопасность ваших генеративных систем искусственного интеллекта.
Как LayerX может предотвратить утечку данных на ChatGPT и других платформах генеративного искусственного интеллекта
Платформа безопасности браузера LayerX снижает риск раскрытия организационных данных, таких как данные клиентов и интеллектуальная собственность, создаваемый ChatGPT и другими генеративными платформами искусственного интеллекта. Это поддерживается за счет включения конфигурации политики для предотвращения вставки текстовых строк, обеспечения детальной видимости каждой активности пользователя в браузере, обнаружения и отключения расширений браузера, подобных ChatGPT, требования согласия или обоснования пользователя для использования генеративного инструмента искусственного интеллекта, а также обеспечения безопасности данных. использование во всех ваших приложениях SaaS. Наслаждайтесь производительностью, обеспечиваемой генеративными инструментами искусственного интеллекта, без риска.
