Что такое теневой ИИ? Риски, примеры и решения.

Понимание того, что такое теневой ИИ, имеет решающее значение для групп безопасности, сталкивающихся с несанкционированным внедрением инструментов ИИ в своих организациях. Теневой ИИ — это несанкционированное использование приложений искусственного интеллекта сотрудниками без одобрения ИТ-отдела или службы безопасности. В этой статье рассматривается определение теневого ИИ, примеры из реальной жизни, риски кибербезопасности и проверенные стратегии обнаружения и предотвращения несанкционированного использования ИИ на предприятии.

Основные выводы

Что такое теневой ИИ и почему это должно волновать команды безопасности?
Теневой ИИ — это использование инструментов искусственного интеллекта сотрудниками без одобрения ИТ-отдела или службы безопасности, что создает каналы утечки данных и «слепые зоны» в сфере соблюдения нормативных требований, позволяющие обходить традиционные средства контроля безопасности.

Чем теневой ИИ отличается от традиционных теневых ИТ?
В отличие от теневых ИТ, где данные хранятся в неавторизованных приложениях, теневой ИИ активно отправляет конфиденциальные данные внешним моделям ИИ для обработки, что требует проверки содержимого на уровне браузера, а не обнаружения на основе сети.

Приведите пример теневого ИИ, который ставит под угрозу интеллектуальную собственность.
Разработчик вставляет проприетарный исходный код с жестко закодированными учетными данными в неавторизованный чат-бот с искусственным интеллектом для его отладки, потенциально раскрывая коммерческие секреты стороннему поставщику в процессе обучения.

Какие нормативные требования может нарушать несанкционированное использование ИИ?
Использование теневого ИИ может привести к нарушениям GDPR, HIPAA, SOX и PCI DSS, когда сотрудники передают персональные данные, медицинские записи, финансовую информацию или данные платежных карт в неконтролируемые сервисы ИИ.

Почему традиционные инструменты DLP и CASB не способны выявлять риски, связанные с теневым ИИ?
Традиционные инструменты отслеживают сетевой трафик и доступ к приложениям, но не могут проверить фактическое содержимое, которое сотрудники вставляют в подсказки ИИ — эффективная защита от утечки данных с помощью ИИ требует видимости на уровне браузера для анализа данных в момент отправки.

Какова наиболее эффективная стратегия по сокращению использования теневого ИИ?
Предоставление сотрудникам одобренных корпоративных инструментов искусственного интеллекта, отвечающих их потребностям в повышении производительности, в сочетании с детальными политиками контроля доступа к ИИ, позволяет значительно эффективнее сократить несанкционированное использование, чем полная блокировка.

Каким образом расширения для браузеров, использующие искусственный интеллект, способствуют возникновению рисков, связанных с теневым ИИ?
Эти расширения часто запрашивают широкие права доступа для чтения данных во всех открытых вкладках, включая внутренние приложения и системы управления персоналом, создавая вектор атаки на цепочку поставок, позволяющий незаметно получать учетные данные и конфиденциальную информацию.

Что такое теневой ИИ?

Вопрос «что такое теневой ИИ?» часто возникает среди руководителей служб информационной безопасности и ИТ-лидеров, сталкивающихся с быстрым распространением инструментов генеративного ИИ. По сути, теневой ИИ — это любое приложение, сервис или модель искусственного интеллекта, которые сотрудники используют в рабочих целях без явного ведома, одобрения или контроля со стороны ИТ-отдела или службы безопасности своей организации. Сюда входят браузерные чат-боты на основе ИИ, расширения для браузеров на базе ИИ, интеграция ИИ со сторонними сервисами в SaaS-платформы и локально установленные инструменты ИИ, которые обходят корпоративный контроль.

Официальное определение теневого ИИ

Определение теневого ИИ включает в себя все инструменты, платформы, плагины и сервисы на основе ИИ, используемые отдельными лицами или командами внутри организации вне утвержденных процессов закупок, проверки и анализа безопасности. В отличие от официально одобренных корпоративных развертываний ИИ, теневой ИИ работает без контроля управления данными, политик доступа или проверки соответствия требованиям. Это делает его существенным «слепым пятном» для операций по обеспечению безопасности.

Почему теневой ИИ распространяется?

Внедрение теневого ИИ в предприятиях обусловлено несколькими факторами:

• Простота доступа: Большинство инструментов генеративного ИИ, таких как ChatGPT, Google Gemini и Claude, доступны бесплатно через любой веб-браузер и не требуют установки программного обеспечения или участия ИТ-специалистов.
• Давление, связанное с повышением производительности: Сотрудники обращаются к инструментам искусственного интеллекта для ускорения таких задач, как написание текстов, программирование, анализ данных и составление резюме, часто не задумываясь о последствиях для безопасности.
• Отсутствие одобренных альтернатив: Когда организации не предоставляют утвержденные инструменты искусственного интеллекта, сотрудники самостоятельно находят решения.
• Низкий уровень воспринимаемого риска: Многие пользователи рассматривают чат-боты с искусственным интеллектом как простые средства повышения производительности, не понимая, что вставка конфиденциальных данных в эти инструменты представляет собой риск утечки данных.

Масштабы проблемы

Исследования неизменно показывают, что значительная часть сотрудников предприятий использует инструменты искусственного интеллекта, о которых их ИТ-отделы не знают. Использование теневого ИИ охватывает все отделы, от инженерных групп, использующих помощников по программированию на основе ИИ, до маркетинговых команд, создающих контент с помощью несанкционированных платформ, и финансовых команд, передающих конфиденциальные данные в аналитические инструменты на основе ИИ. Браузер является основной точкой входа для этой деятельности, поскольку большинство взаимодействий с теневым ИИ происходит через веб-интерфейсы, которые традиционные инструменты защиты конечных точек не могут эффективно отслеживать.

Теневой ИИ и агенты ИИ

Проблема выходит за рамки простого использования чат-ботов. ИИ-агенты — автономные системы искусственного интеллекта, способные выполнять действия от имени пользователей, — представляют собой новое и более опасное измерение теневого ИИ. Сотрудники могут подключать ИИ-агентов к корпоративным SaaS-приложениям, предоставляя им доступ к конфиденциальным данным и рабочим процессам без проверки безопасности. Для обнаружения этих теневых ИИ-агентов необходима информация об активности в браузере, интеграциях с SaaS-приложениями и поведении расширений, которой в большинстве организаций в настоящее время не хватает.

Теневой ИИ против теневых ИТ: понимание различий

Теневой ИИ часто путают с теневыми ИТ, но между этими двумя понятиями существуют важные различия. Хотя у них есть общая основа — несанкционированное использование технологий сотрудниками, — теневой ИИ создает уникальные риски, для предотвращения которых традиционные модели управления теневыми ИТ не были разработаны.

Определение теневых ИТ

Теневые ИТ — это, в широком смысле, любое оборудование, программное обеспечение или облачные сервисы, используемые внутри организации без одобрения ИТ-отдела. Сюда входят несанкционированные приложения SaaS (теневые SaaS), личные устройства, используемые для работы (BYOD), несанкционированные учетные записи облачного хранилища и неутвержденные средства связи. Теневые ИТ представляют собой серьезную проблему уже более десяти лет, и многие организации разработали процессы обнаружения и управления для борьбы с ними.

Основные различия между теневым ИИ и теневыми ИТ

Почему традиционные методы контроля теневых ИТ-систем неэффективны

Традиционные инструменты обнаружения теневых ИТ-систем, такие как CASB и сетевые прокси, могут выявлять случаи доступа сотрудников к несанкционированным SaaS-приложениям. Однако они испытывают трудности с теневым ИИ по нескольким причинам. Во-первых, доступ ко многим инструментам ИИ осуществляется через домены, которые также используются в законных целях (например, расширение браузера, добавляющее возможности ИИ к одобренному SaaS-приложению). Во-вторых, критическое событие безопасности заключается не просто в доступе к инструменту ИИ, а в конкретных данных, передаваемых в него. Для обнаружения того, вставил ли сотрудник исходный код, персональные данные клиентов или финансовые прогнозы в запрос ИИ, требуется проверка на уровне содержимого на уровне браузера, чего не могут обеспечить сетевые инструменты.

Сближение теневого SaaS и теневого ИИ

Многие SaaS-приложения теперь встраивают функции ИИ непосредственно в свои платформы, иногда включая их по умолчанию. Это означает, что сотрудник, использующий одобренный SaaS-инструмент, может неосознанно активировать использование теневого ИИ, когда платформа отправляет данные сторонней модели ИИ для обработки. Такое сближение теневого SaaS и теневого ИИ делает видимость на уровне браузера и контроль доступа к ИИ важнейшими компонентами любой современной стратегии безопасности.

Типичные примеры теневого ИИ на рабочем месте

Понимание того, что является примером теневого ИИ, помогает командам безопасности распознать масштабы несанкционированной деятельности в области ИИ, происходящей в их организациях. Примеры теневого ИИ охватывают практически все бизнес-функции и принимают множество форм, выходящих за рамки очевидного взаимодействия с чат-ботами.

Инструменты для генерации кода и разработки

Программисты часто вставляют проприетарный исходный код, ключи API, схемы баз данных и внутреннюю документацию в помощников по программированию на основе ИИ. Какой пример теневого ИИ в инженерии? Разработчик, копирующий функцию, содержащую жестко закодированные учетные данные, в ChatGPT для отладки, или устанавливающий несанкционированное расширение для браузера на основе ИИ, которое автоматически дополняет предложения кода, отправляя фрагменты во внешнюю модель.

Создание контента и маркетинг

Маркетинговые и коммуникационные команды используют инструменты ИИ для создания постов в блогах, контента для социальных сетей, пресс-релизов и коммуникаций с клиентами. Использование теневого ИИ в этом контексте часто включает в себя копирование руководств по фирменному стилю, неопубликованной информации о продуктах, конкурентной разведки и данных о клиентах в платформы генеративного ИИ без наличия средств защиты от потери данных.

Финансовый анализ и отчетность

Финансовые отделы могут загружать электронные таблицы, содержащие данные о доходах, прогнозы, информацию о слияниях и поглощениях или сведения о вознаграждении сотрудников, в инструменты искусственного интеллекта для анализа и обобщения. Это представляет собой серьезный риск утечки данных, особенно для публичных компаний, где преждевременное раскрытие существенной непубличной информации может привести к нарушениям нормативных требований.

Отдел кадров и юридический отдел

Специалисты по управлению персоналом иногда используют ИИ для составления описаний должностей, обобщения результатов оценки работы сотрудников или подготовки писем об увольнении — часто вводя при этом конфиденциальные данные сотрудников. Юридические отделы могут вставлять в инструменты ИИ тексты договоров, документы по стратегии ведения судебных процессов или конфиденциальную переписку, потенциально нарушая принцип адвокатской тайны.

Дополнительные примеры теневого ИИ

• Расширения для браузеров на основе искусственного интеллекта: Сотрудники устанавливают расширения, использующие искусственный интеллект для составления кратких обзоров веб-страниц, автоматического заполнения форм или перевода контента, часто предоставляя этим расширениям широкие права доступа к содержимому страниц на всех вкладках, включая внутренние приложения.
• Искусственный интеллект для организации совещаний: Несанкционированные боты с искусственным интеллектом подключаются к видеозвонкам для расшифровки и обобщения встреч, записывая конфиденциальные обсуждения без ведома участников.
• Электронные помощники на основе ИИ: Сторонние инструменты на основе искусственного интеллекта, которые подключаются к корпоративным почтовым ящикам для составления черновиков ответов, определения приоритетов сообщений или извлечения пунктов действий из содержимого входящих сообщений.
• Инструменты визуализации данных на основе ИИ: Сотрудники, загружающие наборы данных на аналитические платформы на основе ИИ, которые не подпадают под действие соглашений организации об обработке данных.

Каковы риски теневого ИИ в сфере кибербезопасности?

Чтобы понять, что такое теневой ИИ в кибербезопасности, необходимо изучить конкретные векторы угроз, которые создает несанкционированное использование ИИ. Риски выходят далеко за рамки простых нарушений политики и могут привести к утечкам данных, нарушениям требований соответствия, потере интеллектуальной собственности и ущербу репутации.

Утечка и эксфильтрация данных

Наиболее непосредственная опасность теневого ИИ заключается в неконтролируемом потоке конфиденциальных данных во внешние сервисы ИИ. Когда сотрудники вставляют конфиденциальную информацию в подсказки ИИ, эти данные покидают периметр безопасности организации. В зависимости от условий предоставления услуг поставщика ИИ, предоставленные данные могут храниться, регистрироваться, использоваться для обучения модели или быть доступны сотрудникам поставщика. Это создает канал утечки данных, который полностью обходит традиционные средства защиты от утечки данных (DLP). Для проверки и контроля этого потока данных в режиме реального времени необходимы возможности DLP для ИИ, работающие на уровне браузера.

Соблюдение нормативных требований и нарушения нормативных требований

Использование теневого ИИ может привести к нарушениям в рамках различных нормативных актов:

• GDPR: Передача персональных данных граждан ЕС в сервисы искусственного интеллекта без надлежащих соглашений об обработке данных или правовых оснований.
• ЗИПАА: Медицинские работники вводят защищенную медицинскую информацию в инструменты искусственного интеллекта, не подпадающие под действие Закона о деловом сотрудничестве.
• СОКС: Финансовые данные, передаваемые инструментам искусственного интеллекта, могут поставить под угрозу целостность аудиторского следа.
• PCIDSS: Обработка данных платежных карт неавторизованными сервисами искусственного интеллекта.
• Отраслевые правила: Финансовый, юридический и государственный секторы сталкиваются с дополнительными ограничениями в обработке данных, которые регулярно нарушаются теневым искусственным интеллектом.

Раскрытие интеллектуальной собственности

Когда сотрудники предоставляют платформам искусственного интеллекта собственные алгоритмы, коммерческие секреты, планы развития продуктов или данные исследований, организация рискует потерять контроль над своей интеллектуальной собственностью. Условия предоставления услуг некоторых поставщиков ИИ предоставляют им широкие права на использование предоставленных данных, что потенциально может поставить под угрозу защиту коммерческой тайны, требующую от владельца демонстрации разумных усилий по сохранению конфиденциальности.

Проверка ответов ИИ и риски, связанные с результатами.

Теневой ИИ создает риски не только из-за ввода данных, но и из-за результатов, генерируемых ИИ. Сотрудники, которые полагаются на сгенерированный ИИ код, юридический язык, финансовый анализ или общение с клиентами без надлежащей проверки ответов ИИ, могут вносить ошибки, предвзятость или сфабрикованную информацию («галлюцинации») в бизнес-процессы. Без механизмов управления отсутствует возможность проверки точности или пригодности результатов работы ИИ до их использования в производственной среде.

Риски, связанные с цепочкой поставок и третьими сторонами.

Теневые инструменты искусственного интеллекта часто предполагают предоставление сторонним сервисам доступа к корпоративным данным и системам. Например, несанкционированные расширения для браузеров, использующие ИИ, могут запрашивать разрешения на чтение и изменение данных на всех веб-сайтах, которые посещает сотрудник, включая внутренние приложения, системы управления персоналом и финансовые платформы. Это создает вектор атаки на цепочку поставок, где скомпрометированное или вредоносное расширение ИИ может собирать учетные данные, токены сеансов и конфиденциальные данные по всей активности браузера сотрудника. Защита расширений браузера является критически важным инструментом для снижения этого риска.

Как предотвратить и контролировать использование теневого ИИ

Для ответа на вопрос «что такое теневой ИИ и как его предотвратить?» необходим многоуровневый подход, сочетающий в себе контроль за технологиями, политические рамки и управление организационными изменениями. Полная блокировка всех инструментов ИИ редко бывает практичной и часто приводит к тому, что их использование уходит в подполье. Вместо этого организациям следует сосредоточиться на прозрачности, управлении и контролируемом внедрении.

Шаг 1: Получите представление об использовании ИИ.

Вы не можете управлять тем, чего не видите. Первый шаг в управлении теневым ИИ — это развертывание инструментов, обеспечивающих всестороннюю видимость всех взаимодействий с ИИ, происходящих в организации. Это требует мониторинга на уровне браузера, поскольку именно в браузере происходит подавляющее большинство действий теневого ИИ. Возможности обнаружения теневого ИИ и агентов должны определять, к каким инструментам ИИ обращаются сотрудники, какие данные они отправляют, какие расширения для браузера с поддержкой ИИ установлены и в каких приложениях SaaS включены встроенные функции ИИ.

Шаг 2: Внедрение политик контроля доступа к ИИ.

После обеспечения прозрачности процесса организации должны внедрить детальные политики контроля доступа к ИИ, выходящие за рамки простых решений о разрешении/блокировке:

1. Классифицировать инструменты ИИ Разделить на разрешенные, ограниченные и заблокированные уровни на основе результатов проверки безопасности.
2. Определите ограничения по типам данных. которые предотвращают передачу определенных категорий конфиденциальных данных (исходный код, персональные данные, финансовые данные) в любой инструмент искусственного интеллекта.
3. Примените ролевые элементы управления. которые предоставляют разные уровни доступа к ИИ в зависимости от должностных обязанностей и конфиденциальности данных.
4. Внедрить требования к аутентификации. которые гарантируют доступ к инструментам ИИ через корпоративные учетные записи с включенным надлежащим ведением журналов.
5. Мониторинг разрешений агентов ИИ чтобы предотвратить несанкционированный доступ автономных систем искусственного интеллекта к корпоративным SaaS-приложениям и данным.

Шаг 3: Внедрение системы предотвращения потери данных с использованием ИИ.

Традиционные решения DLP не были разработаны для обработки уникальных шаблонов потока данных при взаимодействии с ИИ. DLP для ИИ должна быть способна проверять данные в точке отправки — в браузере — и применять контекстно-зависимые политики, которые различают безобидный запрос ИИ и запрос, содержащий конфиденциальные корпоративные данные. Это включает в себя проверку текста, вставленного в интерфейсы чата ИИ, файлов, загруженных на платформы ИИ, и данных, передаваемых через расширения браузера с поддержкой ИИ. LayerX Security предоставляет встроенные в браузер возможности DLP для ИИ, которые проверяют и контролируют данные, отправляемые инструментам ИИ, в режиме реального времени, без необходимости использования сетевых прокси или агентов на конечных устройствах, которые ухудшают пользовательский опыт.

Шаг 4: Создание системы управления ИИ.

Технические средства контроля должны поддерживаться формальной программой управления ИИ, которая включает в себя:

• Политика допустимого использования ИИ Это четко определяет, какие инструменты ИИ одобрены, какие данные могут быть предоставлены и какие процедуры проверки применяются.
• Процесс проверки инструментов искусственного интеллекта которая оценивает новые сервисы на основе ИИ с точки зрения безопасности, конфиденциальности и соответствия нормативным требованиям перед их утверждением.
• Регулярные проверки использования ИИ которые анализируют модели внедрения ИИ и выявляют возникающие риски, связанные с теневым ИИ.
• Процедуры реагирования на инциденты конкретно к случаям утечки данных, связанных с ИИ.
• Межфункциональный комитет по управлению ИИ с участием представителей подразделений безопасности, юридического отдела, отдела соответствия нормативным требованиям и бизнес-подразделений.

Шаг 5: Обеспечение безопасного внедрения ИИ.

Наиболее эффективный способ сократить использование теневого ИИ — предоставить сотрудникам утвержденные инструменты ИИ, которые отвечают их потребностям в повышении производительности и одновременно удовлетворяют требованиям безопасности. Организации, которые заблаговременно внедряют корпоративные платформы ИИ с надлежащими средствами контроля безопасности, отмечают значительно более низкий уровень несанкционированного использования ИИ. Контроль за использованием ИИ следует рассматривать как предоставление возможностей, а не как ограничение — обеспечивая сотрудникам доступ к мощным возможностям ИИ в контролируемой и безопасной среде.

Рекомендации по контролю доступа сотрудников к GenAI

Для контроля доступа сотрудников к генеративному ИИ требуется сочетание технических мер, обучения пользователей и постоянного мониторинга. Следующие рекомендации представляют собой практическую основу для организаций, стремящихся управлять рисками, связанными с теневым ИИ, не подавляя при этом инновации.

Применение на уровне браузера

Поскольку доступ к инструментам генеративного ИИ преимущественно осуществляется через веб-браузеры, наиболее эффективным способом обеспечения безопасности является защита на уровне браузера. Возможности защиты браузера от ИИ должны включать мониторинг доступа к инструментам ИИ в режиме реального времени, проверку содержимого данных, отправляемых в запросы ИИ, контроль над расширениями браузера, использующими ИИ, и прозрачность функций ИИ, встроенных в утвержденные SaaS-приложения. Платформа безопасности браузеров LayerX Security для предприятий предоставляет эти возможности нативно, позволяя организациям обеспечивать соблюдение политик управления ИИ непосредственно в браузере, где происходит взаимодействие с ИИ.

Классификация данных и маркировка чувствительности

Эффективный контроль доступа к ИИ зависит от способности организации классифицировать данные по уровню конфиденциальности. К передовым методам относятся:

• Автоматизированная классификация данных которая идентифицирует конфиденциальную информацию (персональные данные, исходный код, финансовые данные, учетные данные) по мере ее ввода в интерфейсы искусственного интеллекта.
• Политики, учитывающие контекст которые позволяют использовать ИИ в целом, блокируя или оповещая о сообщениях, содержащих секретные данные.
• Уведомления о коучинге пользователей которые предупреждают сотрудников о том, что они собираются передать конфиденциальные данные инструменту искусственного интеллекта, обеспечивая обучение в режиме реального времени без снижения производительности.

Управление расширениями браузера

Расширения для браузеров с поддержкой ИИ представляют собой значительный и часто недооцениваемый вектор теневого ИИ. Организациям следует вести учет всех установленных расширений для браузеров, оценивать запрашиваемые каждым расширением разрешения, блокировать расширения, запрашивающие слишком широкие разрешения (например, чтение данных со всех веб-сайтов), и постоянно отслеживать новые установленные расширения ИИ, которые обходят утвержденные каталоги программного обеспечения. Это критически важный компонент как защиты расширений для браузеров, так и предотвращения теневого ИИ.

Управление идентификацией и доступом в SaaS-среде

Многие риски, связанные с теневым ИИ, возникают из-за функций ИИ, встроенных в SaaS-приложения. Меры защиты идентификационных данных в SaaS-приложениях должны гарантировать, что функции ИИ в утвержденных SaaS-инструментах настроены в соответствии с политикой организации, что интеграции ИИ со сторонними сервисами, подключенные через OAuth или API-токены, обнаруживаются и проверяются, а доступ агентов ИИ к данным SaaS регулируется теми же средствами управления идентификацией и доступом, которые применяются к пользователям-людям.

Непрерывный мониторинг и предотвращение злоупотреблений ИИ

Управление теневым ИИ — это не разовый проект. Организациям следует внедрить непрерывный мониторинг, отслеживающий тенденции использования ИИ, выявляющий новые инструменты ИИ по мере их появления, определяющий аномальные закономерности, которые могут указывать на неправомерное использование ИИ, и генерирующий отчеты о соответствии требованиям для целей аудита и регулирования. Предотвращение неправомерного использования ИИ требует постоянной бдительности, поскольку новые инструменты и возможности ИИ выпускаются быстрыми темпами. Группы безопасности должны разработать процессы для оценки и реагирования на новые риски ИИ по мере их возникновения, используя телеметрию на уровне браузера в качестве основного источника данных для обеспечения прозрачности использования ИИ.

Формирование культуры, ориентированной на безопасность в сфере ИИ.

Технические средства контроля наиболее эффективны в сочетании с повышением осведомленности сотрудников. Организациям следует проводить регулярное обучение по рискам передачи конфиденциальных данных инструментам ИИ, публиковать четкие руководства по допустимому использованию ИИ с конкретными примерами того, что допустимо, а что нет, создавать каналы обратной связи, где сотрудники могут запрашивать новые инструменты ИИ для проверки безопасности, а также отмечать и поощрять команды, ответственно внедряющие ИИ в рамках системы управления. Сочетая встроенные в браузер средства контроля безопасности, комплексные политики управления ИИ и культуру ответственного внедрения ИИ, организации могут использовать преимущества генеративного ИИ для повышения производительности, сохраняя при этом контроль над своими конфиденциальными данными и снижая риск использования теневого ИИ до приемлемого уровня.