Проблемы управления агентным ИИ: риски и барьеры для предприятий

По мере распространения автономных агентов искусственного интеллекта в корпоративных средах организации сталкиваются с новой категорией рисков в области безопасности и соответствия нормативным требованиям. В этой статье рассматриваются наиболее актуальные проблемы управления агентным ИИ, от обнаружения теневого ИИ и пробелов в контроле доступа до неопределенности в регулировании, а также излагаются практические стратегии управления рисками, связанными с агентами ИИ, в масштабах предприятия.

Основные выводы

Почему проблемы управления агентным ИИ отличаются от традиционных рисков, связанных с ИИ?
Агентный ИИ автономно объединяет многоэтапные действия в SaaS-приложениях, API и браузерах без участия человека, создавая риски управления, для решения которых традиционные системы безопасности никогда не были предназначены.

Как теневой ИИ усложняет управление рисками, связанными с агентами ИИ?
Сотрудники часто развертывают браузерные ИИ-помощники и расширения без одобрения ИТ-отдела, обходя средства контроля безопасности и политики предотвращения утечки данных, поэтому всесторонний поиск ИИ-агентов является важнейшим первым шагом в любой программе управления.

Почему традиционные инструменты защиты от утечки данных не справляются с потоками данных, генерируемыми агентным ИИ?
Агенты искусственного интеллекта могут преобразовывать и перемещать конфиденциальные данные исключительно в рамках браузерных сессий или в рамках интеграций с SaaS-сервисами, обходя сетевые системы защиты от утечки данных (DLP), которые проверяют файлы только в состоянии покоя или при передаче по контролируемым каналам.

Что делает проблемы соблюдения нормативных требований в отношении агентов искусственного интеллекта особенно сложными в регулируемых отраслях?
В таких секторах, как здравоохранение и финансовые услуги, необходимо соблюдать строгие требования к отслеживанию данных, их объяснимости и размещению в определенных юрисдикциях — однако агенты принимают решения в режиме реального времени, которые трудно зафиксировать, объяснить или ограничить рамками одной юрисдикции.

Как может произойти повышение привилегий посредством цепочки агентов?
Когда один агент с правами на чтение передает данные другому агенту с правами на запись на внешнюю платформу, объединенный рабочий процесс выходит за рамки индивидуальных разрешений каждого из агентов — это новый пробел в управлении рисками, возникающий при использовании ИИ-агентов, который не учитывается традиционными средствами контроля доступа.

Какова роль мониторинга на уровне браузера в обеспечении соблюдения политик контроля использования ИИ?
Поскольку многие агенты ИИ работают как расширения для браузера или веб-приложения, встроенная в браузер телеметрия имеет решающее значение для обнаружения теневого ИИ, отслеживания взаимодействия агентов с приложениями SaaS и блокировки несанкционированной передачи данных в режиме реального времени.

Какие основополагающие элементы должна включать в себя корпоративная система управления ИИ?
Организациям необходима обязательная регистрация агентов, назначение ответственного за каждого агента, периодические проверки разрешений и планы реагирования на инциденты, а также непрерывный мониторинг поведения для решения проблем, связанных с непредсказуемым характером управления ИИ с помощью агентов.

Почему агентный ИИ создает новые риски для управления

Традиционные системы искусственного интеллекта работают в рамках жестко ограниченных параметров: модель получает входные данные, выдает выходные, а человек решает, что с ними делать. Агентный ИИ коренным образом ломает эту схему. Агенты ИИ могут планировать многоэтапные задачи, вызывать внешние инструменты, получать доступ к приложениям SaaS, просматривать веб-страницы и выполнять действия от имени пользователей с минимальным или полным отсутствием человеческого контроля. Эта автономия создает риски управления, для решения которых существующие системы безопасности никогда не были предназначены.

Автономное принятие решений без участия человека.

В отличие от традиционных ИИ-помощников, агентные системы могут объединять действия в цепочку из нескольких сервисов. ИИ-агент, которому поручено «подготовить квартальный отчет», может самостоятельно запросить данные из CRM-системы, получить данные из финансовой SaaS-платформы, сгенерировать документ и отправить его по электронной почте заинтересованным сторонам. Каждый шаг сопряжен с потенциальной утечкой данных, и вся последовательность может быть выполнена до того, как ее проверит человек. Отсутствие промежуточных контрольных точек означает, что один неправильно настроенный агент может за считанные секунды передать конфиденциальные данные через границы системы.

Расширение поверхности атаки за счет использования инструментов.

Системы искусственного интеллекта взаимодействуют с API, браузерными приложениями, базами данных и сторонними сервисами. Каждая точка интеграции становится потенциальным вектором атаки. Рассмотрим следующие факторы, усиливающие риски:

• Делегирование учетных данных: Агенты часто наследуют права доступа на уровне пользователя, что означает, что они могут получить доступ ко всему, к чему имеет доступ пользователь, зачастую без той же контекстной оценки, которую применил бы человек.
• Действия, выполняемые через браузер: Агенты, работающие через веб-браузеры, могут взаимодействовать с инструментами SaaS, отправлять формы, загружать файлы и переходить на внешние сайты — и все это вне поля зрения традиционных средств защиты конечных точек.
• Непроверенные расширения и плагины: Многие платформы для создания агентов поддерживают сторонние плагины или расширения для браузеров, не прошедшие проверку безопасности, что создает теневые точки входа для ИИ.

Проблема теневого ИИ

Пожалуй, наиболее фундаментальный риск в сфере управления заключается в том, что предприятия часто не знают, какие именно агенты ИИ работают в их среде. Сотрудники могут развертывать браузерные помощники ИИ, подключать агентов к корпоративным учетным записям SaaS или использовать расширения для браузеров на основе ИИ без одобрения ИТ-отдела. Эта теневая деятельность ИИ обходит средства контроля безопасности, политики предотвращения потери данных и мониторинг соответствия требованиям. Без всестороннего обнаружения агентов ИИ, работающих в различных браузерах и приложениях SaaS, организации не могут управлять тем, чего не видят.

Ключевые проблемы управления агентами искусственного интеллекта

Проблемы управления агентами ИИ выходят далеко за рамки традиционного управления ИТ. Агентные системы ИИ демонстрируют динамичное, контекстно-зависимое и труднопредсказуемое поведение, что делает стандартные методы обеспечения соблюдения политик недостаточными.

Отсутствие прозрачности в отношении поведения агентов

Большинство инструментов корпоративной безопасности отслеживают сетевой трафик, процессы на конечных устройствах или вызовы облачных API. Однако агенты искусственного интеллекта часто работают на уровне браузера, взаимодействуя с веб-приложениями и платформами SaaS способами, которые невидимы для сетевого мониторинга. Без телеметрии на уровне браузера группы безопасности не могут ответить на основные вопросы:

1. Какие агенты искусственного интеллекта активно работают в организации?
2. К каким данным имеют доступ эти агенты или какие данные они генерируют?
3. С какими SaaS-приложениями взаимодействуют агенты?
4. Передают ли агенты корпоративные данные внешним сервисам?

Пробелы в системах контроля идентификации и доступа

Агенты ИИ усложняют управление идентификацией несколькими способами. Агент может аутентифицироваться с помощью токена OAuth пользователя, работать под учетной записью службы или использовать сохраненные учетные данные в сеансе браузера. Традиционные модели управления идентификацией предполагают, что запросы на доступ исходят от людей. Когда агент действует от имени пользователя, становится неясно, должны ли действия агента подчиняться политикам доступа пользователя, отдельной политике, специфичной для агента, или и тому, и другому. Эта неопределенность создает значительные проблемы в управлении агентами ИИ, связанные с обеспечением принципа наименьших привилегий.

Слепые зоны предотвращения потери данных

Традиционные решения DLP проверяют файлы в состоянии покоя, при передаче по сетям или в точках выхода в облако. Агентный ИИ вводит новый шаблон потока данных: агенты могут копировать, обобщать, преобразовывать и передавать конфиденциальные данные полностью в рамках браузерной сессии или через интеграции SaaS-to-SaaS. Если агент ИИ обобщает конфиденциальный документ и вставляет это резюме во внешний чат, большинство систем DLP не обнаружат утечку данных, поскольку данные были преобразованы и перемещены по неконтролируемому каналу.

Непредсказуемое многоэтапное выполнение

Управление одним вызовом API — это простая задача. Управление цепочкой из 15 взаимозависимых действий, которые агент решает выполнить на основе промежуточных результатов, — задача непростая. Недетерминированный характер рассуждений в больших языковых моделях означает, что один и тот же запрос может приводить к различным последовательностям действий при разных запусках. Эта непредсказуемость делает крайне сложным написание статических политик управления, которые предугадывали бы любое возможное поведение агента.

Проблемы соблюдения нормативных требований и регулирования для агентов искусственного интеллекта

Нормативно-правовая база с трудом успевает за внедрением ИИ-агентств. Организации, использующие ИИ-агентов, сталкиваются со значительными проблемами соблюдения нормативных требований, поскольку существующие правила были разработаны для мира, где решения принимают люди, а программное обеспечение выполняет инструкции, а не для систем, которые автономно планируют и действуют.

Неопределенность в вопросах подотчетности и ответственности

Когда ИИ-агент принимает решение, нарушающее нормативные требования, кто несет ответственность? Пользователь, развернувший агента? Разработчик, создавший его? Организация, разрешившая его использование? Такие нормативные акты, как Закон ЕС об ИИ, устанавливают рамки, основанные на оценке рисков, но вопрос ответственности за действия автономных агентов остается в значительной степени нерешенным. Предприятия должны создать четкие внутренние структуры подотчетности, даже если внешние нормативные акты еще не соответствуют требованиям.

Размещение данных и трансграничные потоки данных

Агенты искусственного интеллекта, работающие в интернете или взаимодействующие с глобальными SaaS-платформами, могут непреднамеренно передавать данные через границы юрисдикций. Агент, работающий в организации, базирующейся в ЕС, может отправлять персональные данные в размещенный в США сервис ИИ для обработки, потенциально нарушая требования GDPR к передаче данных. Отслеживание этих потоков затруднено, поскольку агенты принимают решения в режиме реального времени о том, какие сервисы задействовать, и эти решения могут различаться от одного выполнения к другому.

Требования к журналу аудита и объяснимости

Во многих нормативных актах от организаций требуется вести учет решений, затрагивающих отдельных лиц или финансовые результаты. Системы искусственного интеллекта, использующие агентные технологии, представляют здесь особые проблемы:

• Пробелы в регистрации действий: Если агент работает через браузер, его действия могут не фиксироваться в журналах на стороне сервера. Мониторинг на уровне браузера становится необходимым для ведения полных журналов аудита.
• Дефицит объяснимости: Агенты, использующие LLM-технологии, не всегда могут объяснить, почему они выбрали ту или иную последовательность действий. Соответствие требованиям объяснимости, установленным такими нормативными актами, как Закон ЕС об искусственном интеллекте, требует дополнительных инструментов для фиксации и восстановления рассуждений агентов.
• Управление согласием: Агентам, получающим доступ к персональным данным или обрабатывающим их, может потребоваться проверить наличие соответствующего согласия. Автоматизированная проверка согласия со скоростью выполнения агентом этой процедуры остается в значительной степени нерешенной проблемой.

Отраслевое регуляторное давление

Финансовый сектор, здравоохранение и государственное управление сталкиваются с повышенным вниманием к соблюдению нормативных требований. В этих отраслях агенты искусственного интеллекта, взаимодействующие с регулируемыми данными — медицинскими картами пациентов, финансовыми транзакциями, секретной информацией — должны соответствовать отраслевым правилам, таким как HIPAA, PCI DSS и FedRAMP. Риски, связанные с агентными системами ИИ в этих контекстах, возрастают, поскольку одно несанкционированное действие агента может повлечь за собой санкции со стороны регулирующих органов, требования об уведомлении о нарушении или лишение сертификации.

Проблемы управления рисками в агентных системах искусственного интеллекта

Системы управления корпоративными рисками должны развиваться, чтобы учитывать уникальный профиль угроз, исходящих от автономных агентов искусственного интеллекта. Проблемы управления рисками, связанными с агентами ИИ, охватывают технические, операционные и стратегические аспекты, требующие новых подходов к выявлению, оценке и смягчению рисков.

Быстрое введение препарата и манипуляции с ним.

Системы искусственного интеллекта, обрабатывающие внешний контент, уязвимы для атак с внедрением инструкций. Злоумышленник может внедрить инструкции в веб-страницу, электронное письмо или документ, обрабатываемый агентом, заставляя его отклоняться от поставленной задачи. Например, агент, просматривающий веб-сайт в поисках информации, может столкнуться со скрытыми инструкциями, которые приведут к краже учетных данных или переходу на фишинговый сайт. Механизмы проверки ответов ИИ имеют решающее значение для обнаружения и блокировки измененных результатов до того, как они приведут к вредоносным действиям.

Повышение привилегий посредством цепочки агентов

Когда несколько агентов взаимодействуют друг с другом или когда один агент вызывает подчиненных агентов, эффективный уровень привилегий может повыситься сверх того, что разрешено делать каждому отдельному компоненту. Рассмотрим следующий сценарий:

1. Агент А имеет доступ для чтения к базе данных клиентов.
2. Агент А передает сводку данных Агенту Б.
3. Агент B имеет права на запись во внешнюю коммуникационную платформу.
4. В результате данные клиентов попадают на внешнюю платформу, несмотря на то, что ни один из агентов по отдельности не имел одновременно прав на чтение и запись через эту границу.

Такое повышение привилегий посредством цепочек действий агентов представляет собой новый риск, который не учитывается традиционными моделями контроля доступа. Организациям необходимы политики контроля доступа на основе ИИ, которые оценивают совокупные разрешения рабочих процессов агентов, а не только возможности отдельных агентов.

Усиление внутренних угроз

Злоумышленник, осуществляющий ручную утечку данных, ограничен временем и объемом информации, к которой он может получить доступ за один сеанс. Инсайдер, использующий ИИ-агента для автоматизации сбора и утечки данных, может работать со скоростью машины, извлекая гораздо больше данных за гораздо меньшее время. Предотвращение злоупотреблений ИИ требует мониторинга не только того, что делают агенты, но и того, кто их использовал и указывают ли их модели поведения на преднамеренное злоупотребление, а не на законную автоматизацию.

Риски, связанные с третьими сторонами и агентами цепочки поставок.

Предприятия все чаще взаимодействуют с агентами искусственного интеллекта, используемыми поставщиками, партнерами и клиентами. Эти сторонние агенты могут получать доступ к корпоративным ресурсам через API, общие среды SaaS или веб-порталы. Управление рисками, связанными с внешними агентами, требует:

• Идентификация агента: Разграничение доступа к корпоративным ресурсам со стороны пользователей-людей и агентов искусственного интеллекта.
• Определение исходных показателей поведения: Установление нормальных моделей взаимодействия для сторонних агентов и выявление аномалий.
• Договорной контроль: Обеспечение того, чтобы в соглашениях с поставщиками были учтены вопросы использования агентов ИИ, обработки данных и ответственности.
• Защита идентификационных данных в SaaS: Проверка того, что сторонние агенты проходят аутентификацию через утвержденных поставщиков идентификационных данных и не обходят средства контроля доступа SaaS.

Стратегии преодоления проблем управления агентным ИИ

Для решения проблем управления ИИ-агентами требуется сочетание технических средств контроля, политических рамок и организационных практик. Следующие стратегии обеспечивают практическую основу для предприятий, стремящихся управлять ИИ-агентами, не подавляя при этом инновации.

Создание комплексной системы обнаружения агентов искусственного интеллекта

Вы не можете управлять тем, чего не видите. Первый шаг — развертывание механизмов обнаружения, которые идентифицируют всех агентов ИИ, работающих в корпоративной среде, включая теневые инструменты ИИ, которые сотрудники используют без одобрения ИТ-отдела. Мониторинг на уровне браузера особенно важен, поскольку многие агенты ИИ работают как расширения для браузера, веб-приложения или инструменты автоматизации на основе браузера. LayerX Security обеспечивает видимость активности агентов ИИ непосредственно в браузере, позволяя организациям обнаруживать использование теневых ИИ, отслеживать взаимодействие агентов с приложениями SaaS и применять политики контроля использования ИИ непосредственно в точке действия.

Внедрить детальный контроль доступа с использованием ИИ.

Агенты искусственного интеллекта должны работать по принципу минимальных привилегий, ограничивая доступ к ресурсам, необходимым для выполнения конкретной задачи. Эффективный контроль доступа к ИИ включает в себя:

• Предоставление разрешений для выполнения отдельных задач: Вместо того чтобы предоставлять агенту широкий доступ, привязанный к личности пользователя, следует устанавливать узкие права доступа для каждого конкретного рабочего процесса.
• Ограниченный по времени доступ: Автоматическое аннулирование разрешений агента после завершения задачи или истечения заданного временного окна.
• Анализ разрешений между агентами: Оцените совокупный доступ цепочек агентов, чтобы предотвратить непреднамеренное повышение привилегий.
• Элементы управления, принудительно активируемые браузером: Заблокируйте доступ агентов к несанкционированным SaaS-приложениям или категориям конфиденциальных данных на уровне браузера.

Внедрите систему предотвращения потери данных с поддержкой ИИ.

Традиционные решения DLP необходимо расширить, чтобы охватить потоки данных, специфичные для ИИ. Решения DLP для ИИ должны проверять данные по мере их перемещения в рамках браузерных сессий, обнаруживать попытки агентов скопировать конфиденциальную информацию во внешние сервисы и блокировать несанкционированную передачу данных в режиме реального времени. Это включает мониторинг операций с буфером обмена, отправки форм, загрузки файлов и вызовов API, инициированных агентами ИИ в браузере. Организации также должны проверять ответы, генерируемые ИИ, чтобы гарантировать, что агенты случайно не включают конфиденциальные данные в свои выходные данные.

Создайте систему управления ИИ с четкой системой подотчетности.

Одних лишь технических средств контроля недостаточно. Предприятиям необходима формальная система управления ИИ, которая определяет:

1. Требования к регистрации агента: Перед развертыванием все агенты ИИ должны быть зарегистрированы в системе информационной безопасности, включая документальное описание их назначения, потребностей в доступе к данным и ожидаемого поведения.
2. Ответственность и подотчетность: У каждого агента должен быть назначен ответственный сотрудник, который несет ответственность за действия агента и соблюдение им всех требований.
3. Циклы периодического пересмотра: Разрешения агентов, их поведение и обоснование целесообразности их деятельности следует пересматривать как минимум ежеквартально.
4. Процедуры реагирования на инциденты: Конкретные сценарии реагирования на инциденты безопасности, связанные с агентами, включая изоляцию агентов, аннулирование учетных данных и криминалистический анализ журналов активности на уровне браузера.

Внедрить непрерывный мониторинг и поведенческий анализ.

Статические политики не могут в полной мере регулировать непредсказуемое поведение агентов. Организациям следует внедрить непрерывный мониторинг, который устанавливает базовые показатели поведения для каждого агента и отмечает отклонения. Это включает отслеживание объема и конфиденциальности доступных данных, взаимодействующих SaaS-приложений, частоты и времени действий агентов, а также любых попыток доступа к ресурсам за пределами определенной области действия агента. Браузерные решения безопасности обладают уникальными возможностями для обеспечения такого уровня детальной видимости в режиме реального времени, поскольку они отслеживают действия агентов именно в тот момент, когда пользователи и агенты взаимодействуют с веб-ресурсами и SaaS-ресурсами.

Риски, связанные с агентными системами искусственного интеллекта, будут только расти по мере того, как агенты будут становиться более функциональными и все глубже интегрироваться в корпоративные рабочие процессы. Организации, которые сейчас инвестируют в обнаружение, контроль доступа, DLP с учетом особенностей ИИ и структурированные системы управления, будут гораздо лучше подготовлены к тому, чтобы воспользоваться преимуществами агентного ИИ для повышения производительности, одновременно управляя рисками безопасности, соответствия нормативным требованиям и операционной деятельности, которые сопровождают развертывание автономных агентов ИИ.