Что такое безопасность на основе генеративного ИИ?

Безопасность GenAI подразумевает защиту корпоративных сред от новых рисков, связанных с инструментами генеративного ИИ, такими как ChatGPT, Gemini и Claude. По мере распространения этих инструментов возникают риски, связанные с утечкой данных, нарушением требований и теневым использованием ИИ. В данной статье дается определение безопасности GenAI и излагаются корпоративные стратегии, обеспечивающие безопасное и ответственное использование ИИ.

Объяснение GenAI

Безопасность GenAI — это практика выявления и снижения рисков, создаваемых инструментами генеративного ИИ, такими как ChatGPT, Copilot и Claude, в корпоративных рабочих процессах. Эти инструменты повышают эффективность и инновации, но также открывают новую и быстро развивающуюся поверхность атак ИИ, которую традиционные решения по кибербезопасности часто не могут закрыть. Безопасность GenAI устраняет этот пробел, управляя раскрытием конфиденциальных данных, применяя политики использования ИИ в масштабах всей организации и выявляя небезопасное, несоответствующее требованиям или вредоносное поведение ИИ. Она сочетает в себе технические меры безопасности, такие как предотвращение потери данных (DLP), мониторинг на основе браузера и контроль доступа, с надежными структурами управления ИИ, согласованными с политиками компании и нормативными стандартами. В отличие от безопасности разработки ИИ, которая фокусируется на защите обучения моделей и инфраструктуры, безопасность GenAI защищает уровень использования, на котором сотрудники взаимодействуют с внешними инструментами ИИ, обеспечивая безопасную, согласованную с политиками и ответственную защиту корпоративной ИИ.

Основные риски GenAI на предприятии

По мере того, как организации ускоряют внедрение инструментов генеративного ИИ, им также необходимо противостоять новой категории угроз. Эти риски возникают не только из-за действий злоумышленников, но и из-за того, как генеративный ИИ взаимодействует с данными, пользователями и внешней средой. Ниже перечислены наиболее серьёзные уязвимости ИИ и риски безопасности, которые необходимо контролировать предприятиям.

1. Интеллектуальная собственность и раскрытие конфиденциальных данных

Один из самых неотложных и критических рисков GenAI — это Утечка данных ИИСотрудники часто вставляют конфиденциальную информацию, такую как персональные данные клиентов, исходный код, бизнес-планы или финансовые прогнозы, в инструменты GenAI, такие как ChatGPT, не осознавая последствий. Эти запросы могут храниться, обрабатываться или использоваться для дальнейшего обучения, что приводит к безвозвратной потере контроля над этими данными. Даже если поставщики заявляют, что не проводят обучение на входных данных, эти данные могут кэшироваться или регистрироваться в истории сеансов, что открывает возможности для взлома или несанкционированного использования.

Пример: Сотрудник финансового отдела использует ChatGPT для создания сводки и вставляет таблицу с данными о выручке за четвёртый квартал в окно запроса. Эта финансовая информация теперь может быть сохранена поставщиком модели или потенциально предоставлена в будущих запросах другими пользователями.

2. Нарушения нормативных требований и норм

Неконтролируемое использование GenAI может легко привести к нарушениям правил защиты данных, таких как GDPR, HIPAA, PCI-DSS или CCPAЭти законы требуют строгой обработки персональных, медицинских или платежных данных, что большинство сторонних инструментов искусственного интеллекта не готовы обеспечить ни по контракту, ни архитектурно.

Пример: Медицинский работник использует ИИ-помощника для составления заключения о состоянии здоровья пациента, включая историю болезни. Даже один запрос, содержащий PHI (защищённую медицинскую информацию), переданный внешнему инструменту ИИ, может стать нарушением HIPAA, требующим регистрации, что может повлечь за собой штрафы и ущерб репутации. В секторах с высоким уровнем регулирования даже один такой инцидент может стать причиной пристального внимания со стороны регулирующих органов и аудиторов.

Предприятия должны рассматривать запросы ИИ как исходящие сообщения и применять те же правила. Политика ИИ и управления данными строгость соблюдения требований.

3. Использование теневого ИИ

Сотрудники часто используют личные аккаунты или несанкционированные инструменты ИИ Без знаний в области ИТ, создаётся теневая среда ИИ. Хотя теневой ИИ часто используется с благими намерениями и глубоко внедряется в рабочие процессы для повышения производительности, в конечном итоге он выходит за рамки политик безопасности и не имеет мониторинга и журналирования, что делает его благоприятной средой для нарушений нормативных требований и утечек данных ИИ, а также слепым пятном для служб безопасности и защиты данных.

Пример: Отдел продаж начинает использовать потребительскую версию ChatGPT для составления предложений клиентам. Со временем они начинают вводить ценовые стратегии, условия контрактов и внутренние показатели эффективности, которые не защищены корпоративными DLP-инструментами.

4. Опасные сторонние плагины и расширения

Расширения и плагины для браузера на базе искусственного интеллекта представляют собой серьезные Уязвимости ИИ Из-за чрезмерной разрешительности. Многие имеют доступ ко всем действиям в браузере, данным буфера обмена или сеансовым cookie-файлам, что делает их привлекательными объектами для злоумышленников. 

Риски включают:

• Атаки с использованием ИИ-инъекций: Вредоносные веб-сайты или скрипты манипулируют запросами плагинов для извлечения или утечки данных.
• Session Hijacking: Плагины с доступом к токенам сеанса могут быть использованы для выдачи себя за пользователей.
• Тихий сбор данных: Расширения могут считывать или передавать данные без ведома пользователя.

Большинство плагинов разрабатываются сторонними разработчиками и могут не проходить такую же проверку безопасности, как внутренние инструменты. Использование непроверенных плагинов может привести к неконтролируемой утечке данных и раскрытию регулируемой информации неизвестным лицам, что представляет собой серьёзный риск для данных, связанных с ИИ, для предприятия.

Пример: Расширение AI Summator, установленное пользователем, имеет разрешение на чтение каждой вкладки. Злоумышленник использует уязвимость плагина, чтобы извлечь конфиденциальные данные CRM, просматриваемые пользователем, не активируя традиционные оповещения DLP или антивируса.

5. Подрыв внутренней безопасности

Неконтролируемое использование ИИ ослабляет общую систему безопасности предприятия. Когда сотрудники используют общедоступные инструменты ИИ через неконтролируемые браузеры или личные учётные записи, конфиденциальные данные обходят традиционные средства безопасности, такие как межсетевые экраны, защиту конечных точек или облачные DLP-системы. Отделы безопасности теряют контроль над тем, как и где обрабатываются данные. Со временем это подрывает способность организации выявлять нарушения, поддерживать готовность к аудиту и применять политики безопасности, делая бизнес уязвимым как для внутренних, так и для внешних угроз. слепые зоны безопасности дать злоумышленникам или неосторожным инсайдерам возможность использовать данные без активации стандартных защит, что делает генеративная безопасность ИИ неотложный приоритет.

Пример:

Сотрудники, использующие на персональных устройствах инструменты GenAI, такие как ChatGPT, обмениваются данными о клиентах, которые никогда не касаются корпоративной инфраструктуры, что делает их невидимыми для ИТ-отделов и отделов по обеспечению соответствия.

6. Операционные и юридические нарушения

Утечка данных через инструменты GenAI может спровоцировать судебные разбирательства, аудиты и внутренние расследования, что приводит к перераспределению ресурсов и срыву повседневной деятельности из-за задержек в проектах, а также к возникновению внутренних разногласий между командами, стремящимися к ответственности и смягчению последствий. Помимо финансовых потерь от сорванной сделки, организация может столкнуться с судебными исками, штрафными санкциями или арбитражными разбирательствами. 

Пример:

Производственная компания обнаруживает, что конфиденциальные условия поставщика были введены в ChatGPT и, возможно, стали достоянием общественности. Отделы закупок вынуждены пересматривать контракты, а юридический отдел занимается запросами поставщиков и оценкой ответственности.

Эти риски наглядно демонстрируют, почему традиционные средства контроля безопасности уже недостаточны в эпоху генеративного ИИ. От утечек данных ИИ и теневого ИИ до нарушений нормативных требований и угроз, связанных с плагинами, организациям необходимо переосмыслить свои методы мониторинга, управления и обеспечения безопасности использования ИИ в масштабах всего предприятия. Чтобы подробнее изучить эти меняющиеся угрозы и способы их устранения, прочтите полную статью о Генеративные риски ИИ.

Что движет расширением сферы атак ИИ на предприятиях

Стремительное развитие генеративного ИИ коренным образом изменило ландшафт корпоративных угроз. То, что когда-то было чётко очерченным периметром, теперь разрушено растущим набором инструментов, плагинов и облачных рабочих процессов на базе ИИ. Эти технологии повышают производительность, но также значительно расширяют Поверхность атаки ИИ, что приводит к появлению новых «слепых зон» безопасности, с которыми традиционные средства защиты никогда не были способны справиться.

Взрывной рост числа инструментов ИИ и интегрированных SaaS-приложений на базе ИИ

GenAI — это не то же самое, что ChatGPT. На самом деле, с момента выпуска ChatGPT в ноябре 2022 года многое изменилось. С тех пор экосистема GenAI развивается беспрецедентными темпами. Новые модели и инструменты на базе ИИ появляются еженедельно и ежемесячно, предлагая всё больше возможностей и усовершенствований, чем предыдущая. Инновации развиваются так быстро, что, по данным Gartner, значительно опережают темпы развития любой другой технологии. 

Предприятия интегрируют генеративный ИИ на каждом уровне стека. От ИИ-пилотов, встроенных в среды разработки, до автоматизированных помощников в CRM-платформах — среднестатистический сотрудник теперь может ежедневно взаимодействовать с несколькими системами ИИ. SaaS-провайдеры, от Notion и Slack до Salesforce и Microsoft 365, уже запустили Интегрированные функции ИИ Разработано для повышения эффективности рабочего процесса. Для пользователей улучшения на основе ИИ становятся стандартным ожиданием, а не удобным дополнением. GenAI стал неотъемлемой частью рабочего пространства. Однако эти же интеграции часто сопровождаются широким доступом к внутренним данным, документам, календарям и беседам.

Это распространение SaaS-инструменты искусственного интеллекта Это означает, что организациям теперь приходится защищать разнообразный набор внешних платформ, которые часто обрабатывают конфиденциальную информацию без постоянного ведения журнала, контроля доступа или прозрачности. Каждая новая интеграция создаёт потенциальный вектор для Воздействие данных ИИ, особенно когда настройки по умолчанию отдают приоритет удобству использования над безопасностью.

Браузеры — новые рабочие пространства для ИИ

В отличие от традиционных корпоративных приложений, работающих как специализированные настольные приложения, большая часть взаимодействия с GenAI осуществляется через веб-браузеры. Большинство инструментов ИИ, таких как ChatGPT, Claude и Gemini, доступны через браузер. Несмотря на удобство, эта браузерная модель предлагает уникальные возможности. риски ИИ браузера как Атаки «человек посередине» (MITM), Кража токенов или даже эксплуатация расширений браузера становятся возможными, если сеанс не изолирован должным образом.

Традиционные инструменты безопасности, разработанные для устаревших корпоративных приложений и контролируемых сред, плохо подходят для проверки и контроля взаимодействия с ИИ в динамических сеансах браузера. Они не способны различать безопасные и небезопасные входные данные, использование личных и корпоративных учётных записей, а также обнаруживать копирование и вставку конфиденциальных данных в запросы LLM. Например, пользователи могут легко вставлять конфиденциальные данные финансовой компании в ChatGPT или загружать проприетарный исходный код, не вызывая предупреждений системы безопасности. Отсутствие возможности просмотра и контроля в режиме реального времени с учётом контекста на уровне браузера создаёт значительные риски, вынуждая предприятия пересматривать свои стратегии безопасности в рабочих средах, ориентированных на ИИ.

Расширения производительности на основе ИИ

Расширения браузера на базе генеративного ИИ, такие как ИИ-конспектировщики, помощники по написанию текстов или программы для ведения протоколов совещаний, часто запрашивают избыточные разрешения. К ним относятся доступ к содержимому страниц, файлам cookie, а иногда и к нажатиям клавиш. Многие из них создаются сторонними разработчиками с ограниченным контролем безопасности или без него.

Эти расширения открывают дверь Атаки с использованием ИИ-инъекций, тихий сбор данных или захват сеанса, особенно при установке на неуправляемых конечных точках. После установки они работают незаметно, взаимодействуя с пользовательскими данными в режиме реального времени и передавая их на внешние API, часто недоступные для традиционных средств безопасности.

Рабочие процессы, подключенные к API в облаке

В облачных средах возможности ИИ всё чаще встраиваются в автоматизированные рабочие процессы через API. Разработчики могут подключать LLM к конвейерам непрерывной интеграции и непрерывной доставки (CI/CD), потокам обслуживания клиентов или конвейерам обработки данных, часто передавая структурированные или неструктурированные данные сторонним моделям ИИ для обобщения, перевода или классификации.

Это создает в значительной степени невидимый Поверхность атаки ИИ, где конфиденциальные данные передаются в службы ИИ и обратно без надлежащего сканирования и фильтрации. Конечные точки API также могут быть использованы для внедрения вредоносных входных данных, кражи внутренних данных или реализации эксплойтов безопасности ИИ, если они не прошли надлежащую проверку.

Проблема наблюдаемости

Серьезной проблемой в обеспечении безопасности этой новой среды, управляемой искусственным интеллектом, является отсутствие возможности наблюдения в реальном времениТрадиционные инструменты безопасности не способны изначально обнаруживать запросы ИИ, отслеживать использование инструментов ИИ и определять контекст потоков данных в сеансах браузера или взаимодействиях с API. В результате организации не знают, как, где и когда данные попадают на уровень ИИ или покидают его. 

Для защиты от современных Риски безопасности ИИОрганизациям необходимо отслеживать каждое взаимодействие пользователей с ИИ — будь то вкладка браузера, интеграция SaaS или вызов облачного API. Без постоянного мониторинга, управления и контроля уровень ИИ становится неконтролируемым шлюзом для утечки, перемещения или несанкционированного доступа к конфиденциальным данным.

DLP на основе браузера и небезопасная разработка плагинов в экосистемах GenAI

По мере ускорения внедрения генеративного ИИ на предприятиях браузер стал центральной точкой доступа, где сотрудники взаимодействуют с такими инструментами, как ChatGPT, Microsoft Copilot и сотнями расширений на базе ИИ. Однако эти изменения приводят к острой необходимости переосмыслить традиционные методы предотвращения утечек данных (DLP). Браузер DLP становится жизненно важным уровнем безопасности для мониторинга и контроля использования ИИ в средах, которые все больше зависят от расширений Chrome, SaaS-приложений и интегрированных в веб-интерфейс плагинов.

Почему DLP на уровне браузера важен в эпоху GenAI

В отличие от традиционных приложений, инструменты GenAI в основном основаны на веб-технологиях и часто используются вне разрешенных платформ. Сотрудники часто используют расширения браузера или веб-приложения для генерации кода, контента или аналитики. Такое использование позволяет обойти устаревшие инструменты DLP, ориентированные на конечные точки, электронную почту или сетевой трафик. слепые зоны в защите данных ИИ.

Браузерные DLP-решения устраняют эти пробелы, анализируя действия пользователя в браузере в режиме реального времени. Это позволяет организациям обнаруживать, когда конфиденциальные данные, такие как исходный код, клиентские записи или финансовые документы, копируются, вводятся или загружаются в запросы ИИ. В сочетании с применением политик это позволяет организациям блокировать, редактировать или оповещать о рискованном поведении до того, как данные будут раскрыты.

Скрытый риск небезопасных плагинов и расширений ИИ

Расширения браузера на основе ИИ Расширения, которые активируют или расширяют функциональность ИИ, особенно проблематичны. Многие из них разработаны с широкими правами доступа к данным буфера обмена, манипулированию содержимым страниц или перехвату ввода. Без надлежащей проверки эти расширения вводят утечка данных через плагин и другие риски высокой степени серьезности, такие как:

• Угон сеанса – Вредоносные плагины могут собирать файлы cookie аутентификации, предоставляя злоумышленникам доступ к SaaS-приложениям или внутренним системам.
• Атаки с использованием ИИ-инъекций – Расширения могут изменять вводимые данные или ответы, внедряя вредоносные команды или изменяя выходные данные способами, которые остаются незамеченными.
• Тихая утечка данных – Некоторые плагины регистрируют действия пользователя или запрашивают контент и отправляют его на сторонние серверы без ведома пользователя.

Риск не гипотетический. В 2023 году было обнаружено, что популярное расширение ChatGPT, установленное более чем 10,000 XNUMX раз, крадёт токены сеансов Facebook, что демонстрирует, как Риски расширения GenAI могут перерасти в полномасштабные инциденты безопасности.

Утечка данных между плагинами

Браузерные плагины с искусственным интеллектом часто требуют расширенные разрешения для доступа к содержимому страницы, полям ввода, буферам обмена или фоновым процессам. При запуске нескольких расширений в одном браузере эти разрешения могут перекрываться, создавая непреднамеренные пути раскрытия данных.

Например, помощник по написанию текстов может обрабатывать входные данные документа, в то время как отдельный плагин обращается к той же DOM или локальному хранилищу. Без строгой изоляции данных конфиденциальный контент может непреднамеренно передаваться между плагинами даже если ни то, ни другое не является вредоносным. 

Этот риск возрастает при использовании фоновых процессов и общих API, где один плагин может служить мостом для перехвата данных из другого. Поэтому сосуществование расширений GenAI размывает границы данных, делая изоляцию плагинов и DLP на уровне браузера крайне важными.

Ограничения магазинов браузерных приложений

Магазины расширений Chrome и Edge отдают приоритет доступу потребителей, а не корпоративной безопасности. В них отсутствуют глубокий аудит разрешений, стандарты безопасной разработки и мониторинг после публикации. Это позволяет вредоносные или чрезмерно разрешительные плагины GenAI оставаться в сети до тех пор, пока на них не пожалуются пользователи или исследователи. Многие из них созданы неизвестными разработчиками, использующими непрозрачные методы работы с данными, но при этом получают доступ к критически важным рабочим процессам. Магазины приложений для браузеров не являются надежным посредником. Предприятия должны предварительная ветеринарная проверка, контроль и мониторинг Сами плагины ИИ.

Применяйте принципы нулевого доверия к расширениям ИИ

Применяя Zero Trust Отношение к расширениям браузера крайне важно, особенно в средах с интенсивным использованием GenAI. Подобно тому, как предприятия тщательно изучают приложения, пользователей и устройства, плагины должны по умолчанию рассматриваться как ненадежные.

Это означает:

• Проверка подлинности издателя перед установкой
• Аудит областей разрешений для предотвращения переполнения (например, буфер обмена, DOM, фоновый доступ)
• Постоянный мониторинг поведения плагина, даже после одобрения

В рабочих процессах GenAI, где плагины часто обращаются к конфиденциальным текстовым данным, этот подход помогает предотвратить скрытую кражу данных и злоупотребление привилегиями. Ни один плагин не должен пользоваться безоговорочным доверием со стороны предприятий. Вместо этого они должны рассматривать каждый плагин как потенциальный риск и принимать меры. доступ с минимальными привилегиями и проверкой личности. Этот многоуровневый подход к безопасности гарантирует, что предприятия смогут воспользоваться преимуществами GenAI, не подвергая себя риску взлома через плагины или несанкционированной передачи данных.

Почему управление с помощью ИИ имеет решающее значение для безопасности

По мере того, как инструменты генеративного ИИ становятся неотъемлемой частью повседневных бизнес-процессов, перед руководителями служб безопасности стоит задача не в том, разрешать ли использование ИИ, а в том, как ответственно контролировать его. Именно здесь Управление ИИ становится центральным элементом безопасности предприятия и обеспечивает основу для обеспечения безопасное использование ИИ, балансируя между инновациями и управлением рисками и обеспечивая производительность без ущерба для целостности данных, соответствия требованиям или доверия.

По своей сути, управление с помощью ИИ объединяет команды по безопасности, юридические и нормативные требования вокруг общей цели. Политика ИИ Это обеспечивает стратегическую и операционную структуру, необходимую для контроля доступа к инструментам ИИ, их использования и мониторинга, обеспечивая готовность предприятия к масштабному внедрению ИИ. Эта структура должна включать: 

1. Создание политики использования ИИ

Эффективное управление ИИ начинается с четкого Политика использования ИИ Это определяет, какие инструменты одобрены, какие данные можно использовать и где применение ИИ уместно или ограничено. Это устраняет неоднозначность, объединяет заинтересованные стороны и закладывает основу для безопасного и соответствующего требованиям внедрения ИИ в различных командах.

2. Ролевой доступ к инструментам ИИ

Управление доступом на основе ролей (RBAC) гарантирует, что сотрудники используют только соответствующие их ролям инструменты ИИ, обеспечивая продуктивность и защиту конфиденциальных данных. В основе этого принципа лежит принцип, согласно которому не всем сотрудникам необходим или должен быть доступ к тем же возможностям ИИ или наборам данных, которые соответствуют их сфере деятельности. Разработчики, маркетологи, юридические специалисты и другие получают персонализированный доступ, что снижает риски и предотвращает несанкционированное использование. Эти средства контроля предотвращают случайное несанкционированное использование, одновременно поддерживая обоснованные потребности в производительности, основанные на бизнес-функциях и профиле рисков.

3. Утверждение использования и обработка исключений

Системы управления ИИ также должны включать рабочие процессы для управления исключениями и особыми сценариями использования. Если сотруднику или команде требуется доступ к ограниченному инструменту ИИ или сценарию использования:

• Им следует подать официальный запрос.
• Запрос должен пройти процедуру оценки рисков с участием заинтересованных сторон, отвечающих за безопасность и соответствие требованиям.
• Временный доступ может быть предоставлен при соблюдении определенных условий, таких как дополнительный мониторинг или ручная проверка выходных данных.

Эта система утверждения использования и обработка исключений обеспечивает гибкость без ущерба для контроля.

4. Централизованное ведение журнала и просмотр взаимодействий ИИ

Управление заключается не только в определении того, что разрешено, но и в обеспечении прозрачности того, что на самом деле происходит. Централизованное ведение журнала взаимодействия инструментов ИИ обеспечивает контролируемость, необходимую как для внутренней подотчетности, так и для внешнего соответствия.

Это включает в себя запись истории запросов и ответов, сбор метаданных, таких как идентификатор пользователя, время сеанса, контекст браузера и т. д. Эти записи помогают обнаруживать злоупотребления, расследовать инциденты и со временем совершенствовать политику.

5. Мониторинг нарушений политики или аномального поведения

Чтобы замкнуть цепочку между политикой и защитой, управление на основе ИИ должно сочетаться с мониторингом в режиме реального времени. Службам безопасности необходимы системы, которые могут:

• Обнаруживать запросы, содержащие запрещенные данные (например, ключевые слова, шаблоны регулярных выражений).
• Отмечайте или блокируйте несанкционированное использование инструментов ИИ в браузере или на неуправляемых устройствах.
• Идентифицировать аномальное поведение, например, чрезмерная частота запросов, необычное время доступа или неожиданная активность плагина.

Благодаря постоянному мониторингу нарушений политики управление трансформируется из статичного документа в активный, адаптивный уровень безопасности.

Адаптация управления к быстро меняющемуся ландшафту ИИ

Существующие фреймворки управления, такие как ISO/IEC 42001 (Системы управления ИИ) и Структура управления рисками ИИ от NIST, служат полезными отправными точками, но их необходимо адаптировать с учётом уникального темпа и поведения инструментов GenAI. Эти инструменты работают не как традиционное программное обеспечение; они развиваются в режиме реального времени, обрабатывают непредсказуемые входные данные и часто используются через интерфейсы потребительского уровня.

Следовательно, управление ИИ должно быть итеративным и динамичным. Оно должно регулярно пересматриваться, отражать реальные модели использования и развиваться вместе с возможностями ИИ и аналитикой угроз. 

Управление: мост между поддержкой и защитой

Подводя итог, можно сказать, что управление ИИ — это связующее звено между ответственным внедрением ИИ и защитой корпоративного уровня. Оно гарантирует, что инструменты ИИ не просто разрешены, но и используются безопасно, этично и в полном соответствии с внутренними и внешними требованиями. Без формальной структуры управления предприятия сталкиваются с фрагментированной средой, где сотрудники свободно экспериментируют с ChatGPT, Copilot и другими инструментами, часто вставляя конфиденциальные данные в общедоступные модели или используя непроверенные плагины. Это открывает возможности для нарушений требований, утечек данных и неконтролируемого принятия решений ИИ, которые могут повлиять на операционную деятельность или юридический статус. Поэтому по мере развития GenAI управление должно оставаться гибким, поддающимся принудительному исполнению и глубоко интегрированным в общую архитектуру безопасности организации.

Лучшие практики обеспечения безопасности GenAI

• Карта всех случаев использования ИИ в организации

Первым шагом в управлении рисками, связанными с GenAI, является составление карты его использования в компании. В рамках этого процесса организации должны отслеживать:

• Какие инструменты GenAI используются? Осуществляется ли к ним доступ через веб-приложения, расширения браузера или автономное программное обеспечение?
• Кто ими пользуется? Они работают в отделах исследований и разработок, маркетинга, финансов или других?
• Для чего они используют GenAI? Такие задачи, как проверка кода, анализ данных и генерация контента?
• Какие данные вводятся в эти инструменты?  Раскрывают ли сотрудники код, конфиденциальные бизнес-данные или персональные данные?

Получив ответы на эти вопросы, вы сможете приступить к созданию четкого профиля использования, выявить области повышенного риска и создать план, который позволит повысить производительность, одновременно гарантируя защиту данных.

• Реализуйте ролевой доступ и запретите использование личных учетных записей

Применить управление доступом на основе ролей Для ограничения воздействия в зависимости от должностных обязанностей и риска конфиденциальности данных. Разработчикам может потребоваться доступ к помощникам по кодированию с использованием ИИ, а юридическим или финансовым отделам могут потребоваться ограничения в связи с обработкой конфиденциальных данных. Используйте рабочие процессы утверждения для исключений, обеспечивая гибкость в рамках надзора со стороны руководства. 

Чтобы защитить конфиденциальную информацию от незащищенных клиентов LLM, организациям следует блокировать личные входы в систему и разрешать доступ через корпоративные учетные записи с такими функциями безопасности, как частные клиенты, отсутствие обязательств по обучению, строгий контроль хранения данных и более надежные гарантии конфиденциальности.

• Развертывание ИИ DLP на уровне браузера

Инструменты генеративного ИИ в основном доступны через браузер, что делает ИИ DLP Критическая контрольная точка на уровне браузера. Инструменты предотвращения потери данных на основе браузера могут:

• Определите, когда конфиденциальные данные вводятся в подсказки ИИ
• Блокировать или редактировать регулируемую информацию в режиме реального времени
• Обеспечить взаимодействие журналов для обеспечения соответствия и готовности к аудиту

Средства управления DLP на основе браузера необходимы для мониторинга использования ИИ, который обходит традиционные инструменты безопасности конечных точек или сетей.

• Мониторинг и управление расширениями ИИ

Расширения браузера на базе ИИ представляют риск, предоставляя чрезмерно разрешённый доступ к веб-страницам, нажатиям клавиш и данным сеанса. Применяйте политики контроля расширений на базе ИИ, которые:

• Ограничить установку неутвержденных или неизвестных плагинов
• Аудит используемых расширений и оценка их разрешений
• Блокировка расширений с чрезмерным доступом к корпоративным приложениям

Постоянно проверяйте поведение плагина, чтобы обнаружить аномальную активность или скрытую передачу данных.

• Обучите сотрудников безопасному использованию ИИ

Программы повышения осведомленности о безопасности на предприятиях должны включать обучение безопасному использованию GenAI. Организации должны обучать сотрудников:

• Узнайте, какие данные ни в коем случае нельзя передавать инструментам ИИ.
• Используйте одобренные платформы и следуйте рекомендациям политики.
• Сообщайте о подозрениях на неправильное использование или использование несанкционированных инструментов.

Сделайте обеспечение безопасности ИИ частью регулярных циклов обучения, чтобы закрепить ответственное поведение по мере развития инструментов ИИ.

Реальные последствия низкой безопасности GenAI

Хотя инструменты GenAI, такие как ChatGPT, могут повысить производительность, их неправильное использование или небезопасное развёртывание уже привело к серьёзным нарушениям, несоответствиям требованиям и репутационному ущербу. Слабое управление ИИ, чрезмерно разрешённые расширения и несанкционированное использование инструментов оказались основными причинами реальных сбоев безопасности, что подчёркивает, почему управление рисками GenAI больше не является факультативным.

1. Раскрытие исходного кода в Samsung

В начале 2023 года компания Samsung попала в заголовки газет после того, как инженеры вставили проприетарный исходный код в ChatGPT для отладки ошибок. Хотя целью было повышение производительности, эффект не заставил себя ждать: строго конфиденциальный код потенциально подвергался воздействию моделей и систем хранения данных OpenAI. Этот инцидент привёл к внутреннему запрету ChatGPT и к общекорпоративному аудиту использования инструментов ИИ.

Еда на вынос: Даже благонамеренное использование GenAI может привести к необратимой потере данных, если не определены и не соблюдаются четкие границы использования.

2. Неправомерное использование ChatGPT привело к расследованию нарушений в DWS Group

DWS Group, дочерняя компания Deutsche Bank по управлению активами, подверглась расследованию после того, как её сотрудники использовали ChatGPT для инвестиционных исследований и общения с клиентами. Регулирующие органы отметили это как нарушение нормативных требований, отметив, что финансовые учреждения обязаны проверять инструменты искусственного интеллекта и обеспечивать соответствие результатов регуляторным стандартам точности и обработки данных.

Влияние: Контроль со стороны регулирующих органов, репутационный риск, ужесточение политики соответствия.

3. Teleperformance – проблемы с конфиденциальностью данных при использовании инструментов мониторинга на основе ИИ

Компания Teleperformance, международный поставщик услуг для клиентов, подверглась пристальному вниманию из-за использования инструментов видеонаблюдения на базе искусственного интеллекта для мониторинга сотрудников, работающих из дома. Было установлено, что эти инструменты собирают персональные и конфиденциальные данные, включая видеозаписи, без надлежащего согласия пользователя и без соблюдения мер безопасности. Регуляторы по защите данных обратились в неправильное использование ИИ и этические проблемы.

Влияние: Общественная реакция, аудиты защиты данных и операционные изменения в развертывании инструментов ИИ.

4. Галлюцинации ИИ приводят к юридическому риску

Международная консалтинговая фирма столкнулась с репутационными потерями, когда инструмент генеративного искусственного интеллекта, используемый для внутренних исследований, выдал неточную информацию в клиентском документе. Выдаваемая за фактическую информацию ложная информация привела к ухудшению отношений с клиентом и потере контракта.

Еда на вынос: Генеративное влияние ИИ выходит за рамки безопасности, поскольку инструменты, генерирующие некорректные или вводящие в заблуждение результаты, могут нанести репутационный, операционный и юридический ущерб, если используются без надлежащего контроля.

5. Увеличение нагрузки на ИТ-отдел из-за разрастания теневых инструментов ИИ

В отсутствие централизованного контроля сотрудники часто используют несанкционированные инструменты и плагины ИИ для повышения производительности. Это разрастание обременяет ИТ-отделы необходимостью отслеживания, оценки и минимизации неизвестных рисков.

Пример: Компания из списка Fortune 500 обнаружила более 40 несертифицированных инструментов ИИ, активно используемых в разных отделах, каждый из которых имеет разные уровни доступа и неясные методы обработки данных.

Влияние: Увеличение расходов на ИТ, раздробленный ландшафт рисков, острая необходимость в управлении.

6. Инциденты безопасности из-за вредоносных расширений или плагинов

Расширения браузера GenAI могут привести к риску внедрения ИИ-уязвимостей, скрытого доступа к данным или перехвата сеанса, особенно если они чрезмерно разрешительны или не проверяются службами безопасности.

Пример: Было обнаружено, что расширение ChatGPT в интернет-магазине Chrome похищает сеансовые cookie-файлы Facebook, предоставляя злоумышленникам полный доступ к аккаунту.

Влияние: Взломы учетных записей, взломы на уровне браузера, подрыв доверия пользователей.

Без надежной системы безопасности и управления GenAI предприятия рискуют не только техническими уязвимостями. Им грозят юридические, репутационные и операционные последствия. Проактивное устранение этих рисков с помощью средств контроля на уровне использования, DLP и управления на основе ролей крайне важно для безопасного и продуктивного внедрения ИИ.

Как LayerX защищает использование GenAI

По мере того, как предприятия внедряют инструменты GenAI, задача защиты конфиденциальных данных от непреднамеренного раскрытия становится всё более актуальной. Традиционные инструменты безопасности не рассчитаны на динамичное взаимодействие с GenAI в браузере. Именно здесь на помощь приходит LayerX, предлагающий специализированные браузерные средства защиты, обеспечивающие отслеживание, контроль и защиту от непреднамеренных утечек данных в режиме реального времени без ущерба для производительности.

• DLP-подсказки ИИ в браузере в реальном времени

В основе решения LayerX лежит функция DLP (предотвращение потери данных). В отличие от устаревших инструментов DLP, работающих на уровне сети или конечной точки, LayerX интегрируется непосредственно в браузер — основной интерфейс для инструментов ИИ, таких как ChatGPT. Это позволяет ему проверять и контролировать вводимые пользователем данные в режиме реального времени, прежде чем они покинут периметр предприятия. LayerX обнаруживает конфиденциальные данные, такие как персональные данные (PII), исходный код, финансовую информацию или конфиденциальные документы, при попытке пользователя вставить или ввести их в ChatGPT. Затем он применяет меры на основе политик, такие как редактирование, выдача предупреждений или полная блокировка.

Результат: Конфиденциальные данные задерживаются у источника, что предотвращает случайное или несанкционированное раскрытие без прерывания рабочего процесса пользователя.

• Генеративный ИИ-мониторинг и теневая видимость ИИ

LayerX обеспечивает полную прозрачность всех инструментов GenAI, веб-сайтов и SaaS-приложений, к которым обращаются пользователи, как санкционированных, так и теневых. Непрерывно отслеживая активность в браузере, LayerX определяет, кто использует те или иные инструменты ИИ и через какие учётные записи — корпоративные, SSO или личные. LayerX также отслеживает, какие данные вводятся, будь то написание подсказок, вставка данных клиентов или загрузка конфиденциальных файлов. 

Результат: Это позволяет службам безопасности обнаруживать несанкционированное использование, устранять теневой ИИ, отслеживать взаимодействие с конфиденциальными данными, выявлять высокорискованное поведение и принимать корректирующие меры до возникновения инцидента с данными.

• Детальное, контекстно-зависимое применение политики

С помощью LayerX предприятия могут определять контекстно-зависимые политики, адаптированные к сценариям использования ИИ. Политики могут применяться на уровне браузера с учетом роли пользователя, контекста приложения, типа данных и атрибутов сеанса. Например, политики могут разрешить маркетинговым отделам использовать ChatGPT для генерации контента, блокируя при этом отправку данных клиентов или внутренних документов. Разработчикам может быть разрешено тестировать фрагменты кода, но без предоставления доступа к репозиториям исходного кода. LayerX применяет действия на основе политик, такие как редактирование, предупреждающие сообщения для пользователей о возможном нарушении политики или полная блокировка.

Результат: Поддержка искусственного интеллекта и защита искусственного интеллекта на предприятии, обеспечение ответственного использования без ограничения инноваций.

• Управление плагинами и расширениями

LayerX также защищает от рискованных взаимодействий плагинов ИИ, которые могут незаметно перенаправлять содержимое запросов в сторонние API. LayerX идентифицирует и классифицирует браузерные расширения и плагины ИИ по уровню риска, источнику и функционалу. Он также отслеживает и управляет поведением плагинов, предоставляя администраторам возможность одобрять, блокировать или ограничивать их использование в зависимости от применяемых ими методов обработки данных. 

Результат: Предприятия снижают подверженность уязвимостям, связанным с подключаемыми модулями, и обеспечивают более строгое управление данными на основе ИИ во всей организации.

Заключение: Обеспечение безопасного и масштабируемого ИИ на предприятии с помощью LayerX

Генеративный ИИ никуда не денется и меняет подход к работе в каждой организации. Но без надлежащих мер безопасности инструменты GenAI, такие как ChatGPT, могут быстро превратиться из инструментов повышения производительности в источники риска утечки данных. LayerX позволяет предприятиям уверенно внедрять ИИ, обеспечивая прозрачность, контроль и защиту, необходимые для обеспечения безопасности конфиденциальных данных, соблюдения правил использования и контроля рисков. Боретесь ли вы с теневым ИИ, внедряете политики использования ИИ или предотвращаете утечки данных в режиме реального времени, LayerX обеспечивает основу безопасности для безопасного и масштабируемого внедрения ИИ. 

Не позволяйте инновациям в области ИИ опережать вашу стратегию безопасности. Внедрите LayerX сегодня и превратите ИИ из риска в конкурентное преимущество.

Запросить демо чтобы увидеть LayerX в действии.