Утечка данных из-за ИИ: риски, предотвращение и защита.

Утечка данных из систем искусственного интеллекта представляет собой серьезную угрозу для организаций, поскольку сотрудники все чаще делятся конфиденциальной информацией с инструментами ИИ, такими как ChatGPT, Gemini и Claude. В этом руководстве рассматриваются типы, причины и реальные примеры утечки данных в системах ИИ, а также предлагаются практические стратегии и инструменты для эффективного предотвращения утечки данных из систем ИИ на уровне всего предприятия.

Основные выводы

Чем утечка данных, вызванная искусственным интеллектом, отличается от обычной потери данных?
Системы искусственного интеллекта способны сохранять, обучаться на основе и воспроизводить предоставленные данные, а это значит, что конфиденциальная информация может сохраняться в обучающих наборах данных или журналах еще долго после ее передачи — в отличие от традиционной утечки информации по электронной почте или через USB-накопитель.

Какая форма утечки данных в сфере ИИ наиболее часто встречается на предприятиях?
Утечка данных через подсказки — когда сотрудники вставляют исходный код, персональные данные или финансовую информацию непосредственно в чат-боты с искусственным интеллектом — сегодня является наиболее распространенным способом утечки данных из ИИ.

Как теневой ИИ усиливает риски утечки данных, связанных с искусственным интеллектом?
Когда сотрудники внедряют инструменты ИИ без одобрения ИТ-отдела, у групп безопасности нет никакой информации о том, какие данные передаются, что делает невозможным соблюдение политик или выявление инцидентов.

Почему контроль на уровне браузера имеет решающее значение для предотвращения утечки данных в ИИ?
Большинство взаимодействий с ИИ происходит через веб-браузеры, поэтому проверка и контроль данных на уровне браузера позволяют выявлять конфиденциальные входные данные до того, как они достигнут сторонних поставщиков ИИ — то, что часто упускают традиционные методы защиты от утечки данных (DLP).

Может ли утечка данных в ChatGPT произойти даже без ошибки пользователя?
Да, OpenAI обнаружила ошибку, которая раскрывала заголовки переписок других пользователей, демонстрируя, что программные уязвимости в платформах ИИ могут приводить к утечке данных независимо от поведения пользователя.

Какие регуляторные последствия могут возникнуть в результате неконтролируемой утечки данных, вызванной инструментами искусственного интеллекта?
Передача персональных или регулируемых данных сервисам искусственного интеллекта может являться нарушением GDPR, CCPA и HIPAA, что может повлечь за собой для организаций значительные штрафы, принудительные меры и ущерб репутации.

Какой первый шаг в создании эффективной программы предотвращения утечки данных в сфере искусственного интеллекта?
Организациям необходимо сначала обнаружить все используемые в их среде инструменты и агенты искусственного интеллекта, включая теневой ИИ и расширения для браузеров, поскольку невозможно защитить потоки данных, которые они не видят.

Что такое утечка данных в сфере ИИ?

Утечка данных в системах искусственного интеллекта (ИИ) — это непреднамеренное или несанкционированное раскрытие конфиденциальных, служебных или регулируемых данных в результате взаимодействия с системами искусственного интеллекта. Это происходит, когда пользователи вводят конфиденциальную информацию в модели ИИ, когда приложения на базе ИИ непреднамеренно раскрывают обучающие данные или когда API-соединения между корпоративными системами и сервисами ИИ передают данные за пределы разрешенных границ.

В отличие от традиционных сценариев потери данных, вопрос о том, что такое утечка данных в ИИ, становится более сложным, поскольку системы ИИ могут сохранять, обучаться на основе полученных данных и потенциально воспроизводить их. Когда сотрудник вставляет исходный код в ChatGPT для отладки, этот код может стать частью обучающего корпуса модели, фактически передавая интеллектуальную собственность третьей стороне. То же самое происходит, когда финансовые аналитики передают данные о доходах в Gemini или когда юридические отделы составляют резюме контрактов с помощью Claude.

Почему утечка данных, связанная с ИИ, отличается от традиционной потери данных?

Традиционные методы предотвращения потери данных сосредоточены на четко определенных каналах утечки, таких как электронная почта, USB-накопители и платформы для обмена файлами. Утечка данных, вызванная искусственным интеллектом, создает принципиально иные проблемы:

• Невидимая устойчивость: Данные, передаваемые моделям ИИ, могут сохраняться в обучающих наборах данных, журналах или кэшированных результатах без ведома или согласия пользователя.
• Контекстуальная реконструкция: Даже частичные входные данные могут быть объединены системами искусственного интеллекта для восстановления конфиденциальной информации, которая никогда не была явно предоставлена ​​в полном объеме.
• Неконтролируемый доступ третьих лиц: Поставщики услуг в области ИИ могут обрабатывать данные в разных юрисдикциях, делиться ими с субподрядчиками или использовать их для улучшения моделей, если иное прямо не запрещено корпоративными соглашениями.
• Эксфильтрация данных, инициированная пользователем: В отличие от кражи данных с помощью вредоносного ПО, утечка данных, связанных с искусственным интеллектом, чаще всего инициируется авторизованными пользователями, которые просто пытаются повысить свою производительность.

Масштабы проблемы

Масштабы утечки данных из-за ИИ значительны. Исследования показывают, что существенный процент сотрудников предприятий используют инструменты генеративного ИИ, и многие делают это без одобрения ИТ-отдела, создавая огромную проблему теневого ИИ. Каждое несанкционированное взаимодействие с инструментом ИИ является потенциальным вектором утечки данных, и большинство организаций не имеют полной информации о том, какие данные передаются, каким сервисам ИИ и кем.

Виды утечек данных в ИИ

Понимание различных категорий утечек данных, которые могут происходить из-за систем искусственного интеллекта, помогает группам безопасности создавать целенаправленные средства защиты. Утечка данных из-за ИИ — это не монолитный риск; она проявляется через различные механизмы, каждый из которых требует специфических мер противодействия.

Утечка данных на основе подсказок

Это наиболее распространенная форма утечки данных из ИИ. Пользователи напрямую вводят конфиденциальную информацию в чат-боты и голосовых помощников с помощью подсказок. Примеры включают вставку проприетарного исходного кода, персональных данных клиентов, финансовых прогнозов, внутренних стратегических документов или учетных данных в такие инструменты, как ChatGPT, Gemini или Claude.

Извлечение обучающих данных

Иногда модели ИИ можно использовать для получения данных из обучающих наборов. С помощью тщательно разработанных подсказок или враждебных методов злоумышленники могут извлекать заученный контент из больших языковых моделей, потенциально раскрывая данные, которые ранее были предоставлены другими пользователями или организациями.

Утечка данных ИИ в API-соединениях

Корпоративные приложения все чаще интегрируются с сервисами ИИ через API. Утечка данных ИИ через API-соединения происходит, когда эти интеграции передают больше данных, чем необходимо, не имеют надлежащей фильтрации или не обеспечивают соблюдение политик классификации данных перед отправкой информации на внешние конечные точки ИИ. Это особенно опасно, поскольку утечка данных через API автоматизирована, непрерывна и часто незаметна для конечных пользователей.

Утечка данных на основе выходных данных

Системы искусственного интеллекта могут непреднамеренно включать конфиденциальную информацию в свои ответы. Если модель была доработана на основе конфиденциальных данных или имеет доступ к корпоративным базам знаний посредством генерации с расширением поиска (RAG), ее выходные данные могут содержать конфиденциальную информацию, которая затем передается неавторизованным получателям.

Краткий обзор типов утечек данных в сфере ИИ.

Причины и риски утечки данных, связанных с ИИ.

Риски утечки данных, связанных с ИИ, возникают из-за сочетания технологических пробелов, организационных «слепых зон» и особенностей человеческого поведения. Для решения этой проблемы необходимо понимать каждый из факторов и его последующие последствия.

Коренные причины

Несколько взаимосвязанных факторов обуславливают распространенность утечек данных в средах искусственного интеллекта:

• Внедрение теневого ИИ: Сотрудники самостоятельно внедряют инструменты ИИ, минуя ИТ-отдел и проверку безопасности. Теневое использование ИИ означает, что у групп безопасности нет информации о том, какие инструменты используются и какие данные через них проходят.
• Отсутствие политик защиты от утечки данных, специфичных для ИИ: Традиционные решения для предотвращения утечки данных не были предназначены для проверки и классификации данных, вводимых в браузерные чат-интерфейсы с использованием ИИ или расширения для браузеров на базе ИИ. Это создает существенный пробел в стратегиях предотвращения утечки данных с помощью ИИ.
• Недостаточный контроль доступа: Многие организации не внедрили детализированные политики контроля доступа к ИИ, которые ограничивали бы возможности взаимодействия пользователей с различными инструментами ИИ или типы передаваемых данных.
• Интеграция с ИИ с чрезмерным разрешением: Агенты искусственного интеллекта и плагины, подключенные к корпоративным системам, часто получают широкие права доступа к данным, что позволяет им читать и обрабатывать данные, выходящие далеко за рамки их предполагаемого назначения.
• Недостаточная подготовка сотрудников: Пользователи часто не понимают, что вставка данных в окно чата ИИ означает передачу данных третьей стороне или что их входные данные могут быть использованы для обучения модели.

Организационные и регуляторные риски

Последствия бесконтрольной утечки данных, полученных с помощью ИИ, затрагивают множество аспектов бизнес-рисков:

1. Нарушения нормативных требований: Передача персональных данных инструментам искусственного интеллекта может нарушать GDPR, CCPA, HIPAA и другие правила защиты данных, что влечет за собой штрафы и меры принудительного характера.
2. Утрата прав интеллектуальной собственности: Запатентованные алгоритмы, дизайн продуктов, бизнес-стратегии и коммерческие секреты, предоставленные моделям искусственного интеллекта, могут утратить свой защитный статус или стать доступными конкурентам.
3. Конкурентный недостаток: Утечка финансовых данных, планов слияний и поглощений или планов развития продуктов может быть использована конкурентами или недобросовестными участниками рынка.
4. Риски, связанные с цепочкой поставок: Риски утечки данных, связанные с ИИ, распространяются на партнеров и клиентов, чьи данные могут быть переданы инструментам ИИ без их ведома или согласия.
5. Репутационный ущерб: Публичное раскрытие информации об утечках данных, связанных с искусственным интеллектом, подрывает доверие клиентов и может повлиять на стоимость акций.

Множитель теневого ИИ

Теневой ИИ усугубляет все перечисленные выше риски. Когда команды безопасности не могут определить, какие инструменты ИИ используют сотрудники, они не могут обеспечивать соблюдение политик, отслеживать потоки данных или реагировать на инциденты. Обнаружение теневого ИИ и агентов стало необходимым условием для любой эффективной программы предотвращения утечки данных, связанных с ИИ. Без этого организации защищаются от угроз, которые они не видят.

Примеры утечки данных из сферы ИИ

Реальные примеры утечки данных из ИИ демонстрируют, что это не теоретический риск. Многочисленные громкие инциденты выявили ощутимые последствия ненадлежащего управления данными в сфере ИИ.

Samsung и ChatGPT (2023)

В одном из наиболее часто цитируемых примеров утечки данных из ИИ инженеры Samsung вставили в ChatGPT запатентованный исходный код полупроводниковых компонентов и внутренние протоколы совещаний для отладки и составления сводных отчетов. Инцидент с утечкой данных из ChatGPT привел к тому, что Samsung запретила использование инструментов генеративного ИИ в масштабах всей компании. Этот случай наглядно показал, как благие намерения по использованию ИИ для повышения производительности могут привести к необратимому раскрытию коммерческой тайны стороннему поставщику ИИ.

Доступ к истории переписки в ChatGPT

Компания OpenAI обнаружила ошибку в ChatGPT, которая позволяла некоторым пользователям видеть заголовки переписок из истории чатов других пользователей. Хотя содержимое переписок не было раскрыто полностью, утечка данных из ChatGPT вызвала опасения по поводу безопасности данных, хранящихся поставщиками ИИ, и потенциальной возможности более широкого распространения через уязвимости программного обеспечения. OpenAI объяснила проблему ошибкой в ​​библиотеке с открытым исходным кодом.

Предложения по коду для GitHub Copilot

Исследователи продемонстрировали, что GitHub Copilot может предлагать фрагменты кода, которые точно соответствуют конфиденциальному или секретному коду из обучающих данных. Этот способ извлечения данных из обучающих данных показал, что утечка данных из ИИ может происходить пассивно через выходные данные модели, а не только через активный ввод данных пользователем. Разработчики, использующие Copilot, могут непреднамеренно получать и включать код, который изначально находился в частных репозиториях других организаций.

Инциденты интеграции API корпоративного ИИ

В ряде организаций были зафиксированы случаи, когда внутренние интеграции ИИ, такие как боты для обслуживания клиентов на базе ИИ или инструменты для составления кратких обзоров документов, подключенные через API, передавали конфиденциальные данные клиентов внешним поставщикам ИИ без надлежащей фильтрации. Эти случаи утечки данных ИИ через API-подключения подчеркивают риск автоматизированного раскрытия больших объемов данных, происходящего без каких-либо действий со стороны отдельных пользователей.

Проблемы, связанные с использованием Gemini и Claude.

По мере того, как решения Gemini от Google и Claude от Anthropic получают все большее распространение в корпоративной среде, исследователи в области безопасности выражают обеспокоенность по поводу потенциальных сценариев утечки данных, аналогичных утечкам в Gemini и Claude. Оба поставщика внедрили политики обработки данных, но риск сохраняется, когда сотрудники используют потребительские версии этих инструментов, а не корпоративные предложения с более надежными гарантиями защиты данных. Организации без контроля за использованием ИИ не могут отличить разрешенное корпоративное использование от несанкционированного использования потребительских версий.

Как предотвратить утечку данных из ИИ

Для эффективного предотвращения утечки данных, связанных с ИИ, необходим многоуровневый подход, сочетающий в себе политику, технологии и обучение пользователей. Ни одна отдельная мера не является достаточной; организациям необходимы стратегии защиты на всех уровнях, адаптированные к уникальным характеристикам потоков данных, создаваемых ИИ.

Разработать политику управления ИИ

Основой любой стратегии предотвращения является четкая система управления ИИ, определяющая допустимое использование инструментов ИИ в масштабах всей организации:

• Классифицируйте инструменты ИИ по уровням риска: Классифицируйте сервисы искусственного интеллекта (например, ChatGPT, Gemini, Claude, специализированные инструменты ИИ) на основе их методов обработки данных, корпоративных соглашений и сертификатов соответствия.
• Определите правила классификации данных для взаимодействия с ИИ: Укажите, какие уровни классификации данных (общедоступные, внутренние, конфиденциальные, ограниченный доступ) могут быть переданы каким инструментам ИИ при каких условиях.
• Обязать использовать корпоративные учетные записи ИИ: Требуйте от сотрудников использования корпоративных версий инструментов ИИ, которые предлагают соглашения об обработке данных, возможность отказа от обучения модели и ведение журнала аудита.
• Документируйте и доводите до сведения сотрудников политику: Необходимо обеспечить доступность, конкретность и регулярное обновление политик использования ИИ по мере появления новых инструментов и возможностей искусственного интеллекта.

Внедрите систему предотвращения потери данных с использованием искусственного интеллекта.

Традиционные решения для предотвращения утечки данных (DLP) часто не справляются с проверкой данных, вводимых в браузерные интерфейсы искусственного интеллекта. Организациям необходимы возможности DLP на основе ИИ, которые позволяют отслеживать, классифицировать и контролировать данные в точке взаимодействия с инструментами ИИ:

1. Проверка содержимого на уровне браузера: Внедрите решения, способные анализировать текст, код и файлы, вставляемые или загружаемые в веб-приложения с использованием ИИ, еще до того, как они покинут конечную точку.
2. Применение политики в режиме реального времени: Блокировать или предупреждать пользователей при попытке отправки данных, соответствующих конфиденциальным шаблонам (например, ключей API, персональных данных, исходного кода, финансовых данных), неавторизованным инструментам искусственного интеллекта.
3. Проверка ответа ИИ: Отслеживайте результаты работы ИИ, чтобы выявлять случаи, когда ответы содержат конфиденциальную информацию, которую не следует показывать запрашивающему пользователю или передавать третьим лицам.

Внедрите системы контроля доступа и использования на основе искусственного интеллекта.

Детальный контроль доступа к ИИ позволяет организациям управлять тем, какие пользователи и группы могут взаимодействовать с конкретными сервисами ИИ и в каком качестве:

• Права доступа к ИИ на основе ролей: Ограничьте доступ к инструментам ИИ в зависимости от должностных обязанностей, отдела и уровня доступа к данным.
• Элементы управления на уровне действий: Разрешите пользователям запрашивать у инструментов ИИ общую информацию, заблокировав при этом загрузку файлов, вставку кода или массовый ввод данных.
• Мониторинг и аналитика использования ИИ: Отслеживайте модели использования ИИ в масштабах всей организации, чтобы выявлять рискованное поведение, нарушения политики и скрытое внедрение ИИ.

Решение проблем, связанных с теневым ИИ и расширениями для браузеров.

Обнаружение теневых ИИ имеет решающее значение для устранения пробелов в видимости. Организациям следует постоянно сканировать свою экосистему SaaS на наличие несанкционированных инструментов ИИ, расширений для браузеров с поддержкой ИИ и несанкционированных интеграций ИИ. Защита расширений для браузеров особенно важна, поскольку многие ИИ-помощники работают как расширения для браузеров с широкими правами доступа к содержимому страниц, данным буфера обмена и взаимодействию с веб-приложениями.

Обучение сотрудников по вопросам рисков, связанных с данными в сфере искусственного интеллекта.

Технические средства контроля должны быть усилены осведомленностью пользователей. Программы предотвращения злоупотреблений ИИ должны обучать сотрудников конкретным рискам обмена конфиденциальными данными с инструментами ИИ, предоставлять четкие примеры того, что constitutes нарушение, и предлагать утвержденные альтернативы для распространенных задач, выполняемых с помощью ИИ. Обучение должно быть ориентировано на конкретные роли: разработчики должны получать рекомендации по рискам, связанным с кодом, а финансовые команды — рекомендации по обработке финансовых данных.

Инструменты и решения для предотвращения утечки данных с использованием ИИ.

Выбор подходящих инструментов для предотвращения утечки данных в ИИ зависит от архитектуры вашей организации, существующего комплекса мер безопасности и конкретных рисков, связанных с ИИ. Ниже представлен обзор ключевых категорий решений и их возможностей, которые следует оценить.

Безопасность на основе ИИ в браузере

Поскольку большинство взаимодействий с инструментами ИИ происходит через веб-браузеры, безопасность на уровне браузера обеспечивает наиболее прямой способ предотвращения утечки данных из ИИ. Решения этой категории работают внутри или параллельно с браузером, проверяя, классифицируя и контролируя данные в режиме реального времени по мере взаимодействия пользователей с веб-приложениями ИИ.

LayerX Security использует этот подход, предоставляя корпоративную защиту браузера, обеспечивающую прозрачность и контроль над всеми взаимодействиями с ИИ, происходящими через браузер. LayerX позволяет организациям обнаруживать использование теневого ИИ, применять политики DLP для ИИ в момент ввода данных, контролировать доступ сотрудников к инструментам ИИ, проверять ответы ИИ на наличие конфиденциальной информации и управлять расширениями браузера на основе ИИ. Поскольку LayerX работает на уровне браузера, он может защитить от утечки данных ИИ в любом веб-инструменте ИИ, включая ChatGPT, Gemini, Claude и сотни специализированных приложений ИИ, без необходимости перехвата на сетевом уровне или агентов на конечных точках.

Ключевые возможности для оценки

При оценке инструментов предотвращения утечки данных с использованием ИИ следует отдавать приоритет следующим возможностям:

Дополнительные меры безопасности

Инструменты предотвращения утечки данных на основе ИИ работают наиболее эффективно при интеграции с более широкими средствами обеспечения безопасности:

• Платформы безопасности CASB и SaaS: Расширьте возможности мониторинга теневых SaaS-приложений, которые могут включать функции искусственного интеллекта, и обеспечьте соблюдение политик обработки данных во всей вашей SaaS-инфраструктуре.
• Конечная точка DLP: Дополните элементы управления на уровне браузера средствами защиты от утечки данных на уровне конечных устройств для сценариев, когда доступ к инструментам ИИ осуществляется через настольные приложения, а не через веб-браузеры.
• Интеграция SIEM и SOAR: Интегрируйте данные об использовании ИИ и утечках данных в рабочий процесс обеспечения безопасности для централизованного мониторинга, корреляции и автоматического реагирования.
• Решения для использования собственных устройств (BYOD) и обеспечения безопасного доступа: Для организаций, использующих политику «принеси своё устройство», необходимо обеспечить распространение мер контроля за утечкой данных ИИ на неуправляемые устройства, получающие доступ к корпоративным инструментам ИИ через защищенные браузерные решения.

Разработка комплексной стратегии защиты данных с использованием ИИ.

Наиболее эффективный подход к предотвращению утечек данных, вызванных инструментами ИИ, сочетает в себе контроль на уровне браузера в режиме реального времени с организационным управлением. Начните с выявления всего использования ИИ в вашей среде, затем классифицируйте конфиденциальность данных и сопоставьте ее с уровнями риска инструментов ИИ, разверните технические средства контроля на уровне браузера, где происходят взаимодействия с ИИ, и постоянно отслеживайте появление новых инструментов ИИ, изменения в моделях использования и пробелы в политике. Организации, которые рассматривают предотвращение утечек данных, вызванных ИИ, как непрерывную программу, а не как разовое внедрение, будут лучше подготовлены к тому, чтобы получить выгоду от повышения производительности ИИ, одновременно защищая свои наиболее конфиденциальные данные.