Ответственное управление ИИ: объяснение основных принципов.

Ответственное управление ИИ устанавливает политики, рамки и механизмы контроля, необходимые организациям для этичного, прозрачного и безопасного внедрения искусственного интеллекта. В этом руководстве объясняется, что подразумевает ответственное управление ИИ, рассматриваются основные принципы и ведущие концепции, а также излагаются лучшие практики построения подотчетных систем ИИ в масштабах всего предприятия.

Основные выводы

Что включает в себя ответственное управление ИИ помимо стандартного ИТ-надзора?
Ответственное управление ИИ направлено на решение специфических для ИИ рисков, таких как алгоритмическая предвзятость, необъяснимость, неправомерное использование данных и последствия для автономного принятия решений на протяжении всего жизненного цикла ИИ.

Почему теневой ИИ представляет собой серьезную проблему для систем управления ИИ?
Использование сотрудниками несанкционированных инструментов искусственного интеллекта, таких как расширения для браузеров и сторонние сервисы генеративного ИИ, может привести к утечке конфиденциальных данных за пределы регулируемых каналов, подрывая даже хорошо разработанные политики ответственного управления ИИ.

Какие принципы ответственного управления ИИ получили наиболее широкое признание?
К основным принципам относятся прозрачность и объяснимость, справедливость и недискриминация, конфиденциальность и защита данных, подотчетность с человеческим контролем, а также безопасность, защищенность и надежность.

Как организациям следует выбирать между такими ответственными системами управления ИИ, как NIST AI RMF, Закон ЕС об ИИ и ISO/IEC 42001?
Большинство организаций получают выгоду от сочетания элементов нескольких концептуальных моделей, выбирая их на основе нормативных обязательств, географического охвата, отраслевых требований и уровня зрелости организации, а не внедряя одну модель изолированно.

Какова роль браузера в обеспечении контроля за использованием ИИ?
Браузер является основным интерфейсом, через который сотрудники получают доступ к инструментам генеративного ИИ, поэтому обеспечение контроля на уровне браузера имеет важное значение для предотвращения утечки данных из ИИ в режиме реального времени, контроля доступа к ИИ и предотвращения неправомерного использования ИИ.

Как организации могут оценить эффективность своей программы ответственного управления ИИ?
Ключевые показатели включают процент инвентаризированных и контролируемых систем ИИ, показатели соблюдения нормативных требований, количество инцидентов, связанных с ИИ, и время их устранения, тенденции внедрения теневого ИИ, а также эталонные показатели зрелости управления.

Какая операционная модель лучше всего подходит для масштабирования ответственного управления ИИ в крупных предприятиях?
Гибридная модель, в которой централизованное управление определяет принципы и обязательные меры контроля, а бизнес-подразделения занимаются их реализацией, как правило, наиболее эффективно масштабируется при сохранении неизменной подотчетности.

Что такое ответственное управление ИИ?

Ответственное управление ИИ подразумевает структурированный набор политик, процессов и механизмов надзора, определяющих, как организации разрабатывают, внедряют и контролируют системы искусственного интеллекта. Оно обеспечивает функционирование технологий ИИ в рамках этических норм, соответствие применимым правилам и согласованность с ценностями организации. В отличие от общего управления ИТ, ответственное управление ИИ специально рассматривает уникальные риски, которые ИИ вносит, включая алгоритмическую предвзятость, необъяснимость, неправомерное использование данных и непредвиденные последствия автономного принятия решений.

Определение объема

Сфера ответственного управления ИИ охватывает весь жизненный цикл ИИ, от первоначального сбора данных и обучения моделей до развертывания, мониторинга и окончательного вывода из эксплуатации. Она включает в себя технические средства контроля, такие как проверка моделей и тестирование на предвзятость, а также организационные средства контроля, такие как этические комитеты, процедуры оценки рисков и протоколы реагирования на инциденты. Комплексный закон об ответственном управлении ИИ внутри организации кодифицирует эти требования в виде подлежащей исполнению внутренней политики.

Основные компоненты оборудования

• Политика и стандарты – Документированные правила, определяющие допустимые сценарии использования ИИ, запрещенные приложения и необходимые меры безопасности до запуска любой системы ИИ в производство.
• Структуры надзора – Специально созданные комитеты, должности или наблюдательные советы, ответственные за оценку проектов в области ИИ на соответствие этическим критериям и требованиям законодательства.
• Технические средства контроля – Автоматизированные и ручные механизмы для обнаружения смещения, объяснимости модели, отслеживания происхождения данных и проверки результатов.
• Механизмы подотчетности – Четкое распределение ответственности, чтобы у каждой системы ИИ были определенные заинтересованные стороны, ответственные за ее поведение и результаты.
• Непрерывный мониторинг – Постоянное наблюдение за системами искусственного интеллекта для выявления отклонений, неправильного использования или непредусмотренного поведения после развертывания.

Чем это отличается от общей стратегии в области ИИ?

В то время как стратегия в области ИИ фокусируется на том, где и как применять ИИ для получения бизнес-ценности, ответственное управление ИИ фокусируется на механизмах защиты, предотвращающих причинение вреда. Стратегия задает вопрос: «Что мы можем создать?», а управление – «Что мы должны создать и при каких ограничениях?». Организации, внедряющие ИИ без соответствующих структур управления, подвергают себя регуляторным санкциям, репутационному ущербу и уязвимостям в области безопасности, особенно когда сотрудники используют инструменты ИИ вне разрешенных каналов, – явление, часто называемое теневым ИИ.

Почему ответственное управление ИИ имеет значение

Актуальность вопросов ответственного управления ИИ возросла по мере того, как системы ИИ все чаще используются в важных процессах принятия решений в таких областях, как найм персонала, кредитование, здравоохранение, безопасность и обслуживание клиентов. Без структурированного управления организации сталкиваются с целым рядом рисков, охватывающих правовую, финансовую, этическую и операционную сферы.

Регуляторное и правовое давление

Правительства по всему миру принимают законы, напрямую направленные на обеспечение подотчетности в сфере ИИ. Закон ЕС об ИИ классифицирует системы ИИ по уровню риска и устанавливает строгие требования к приложениям с высоким уровнем риска. В Соединенных Штатах растет число законов о ИИ на уровне штатов, а федеральные агентства выпускают руководства по обеспечению подотчетности алгоритмов. Организации, не имеющие налаженных механизмов ответственного управления ИИ, рискуют столкнуться со штрафами за несоблюдение требований, судебными разбирательствами и потерей доступа к рынку в регулируемых юрисдикциях.

Риски, связанные с репутацией и доверием

Доверие общественности к ИИ быстро подрывается, когда системы выдают предвзятые результаты, принимают непрозрачные решения или ненадлежащим образом обрабатывают персональные данные. Один громкий инцидент, связанный с дискриминационными результатами работы ИИ, может нанести непоправимый ущерб репутации бренда. Ответственное управление ИИ обеспечивает документацию, аудиторские следы и процессы проверки, демонстрирующие приверженность организации этичному использованию ИИ, что все чаще становится фактором при оценке со стороны клиентов и партнеров.

Вопросы безопасности и защиты данных

Системы искусственного интеллекта обрабатывают огромные объемы конфиденциальных данных, и их результаты могут непреднамеренно привести к утечке секретной информации. Когда сотрудники используют несанкционированные инструменты ИИ, включая браузерные ИИ-помощники и сторонние сервисы генеративного ИИ, конфиденциальные корпоративные данные могут передаваться во внешние системы без надлежащего контроля. Это создает серьезные проблемы с предотвращением потери данных (DLP). Ответственное управление ИИ решает эти риски путем установления политик контроля доступа к ИИ, контроля использования ИИ и механизмов проверки ответов ИИ, которые предотвращают несанкционированное раскрытие данных.

Операционная устойчивость

• Модель работы – Модели ИИ со временем деградируют по мере изменения распределения базовых данных, что приводит к ненадежным результатам, если за ними не следить.
• Распространение теневого ИИ – Без надлежащего управления подразделения самостоятельно внедряют инструменты ИИ, которые обходят проверки безопасности, создавая «слепые зоны» в оценке рисков организации.
• Блокировка поставщика – Неконтролируемая закупка решений в области ИИ может привести к фрагментации инструментов и зависимости от поставщиков, чья практика может не соответствовать организационным стандартам.
• Пробелы в реагировании на инциденты – Организациям, не имеющим планов реагирования на инциденты, связанные с ИИ, сложно локализовать и устранить сбои, возникающие в результате использования ИИ.

Основные принципы ответственного управления искусственным интеллектом

Принципы ответственного управления ИИ формируют этическую и операционную основу, на которой строится вся деятельность по управлению. Хотя конкретные примеры применения различаются в зависимости от организации и отрасли, в основных организациях по стандартизации, нормативных актах и ​​среди лидеров отрасли сформировался единый набор принципов.

Прозрачность и объяснимость

Системы искусственного интеллекта должны выдавать результаты, которые могут быть понятны, интерпретированы и подвергнуты сомнению заинтересованными сторонами. Это означает ведение документации по архитектуре моделей, источникам обучающих данных и логике принятия решений. Для приложений с высокими ставками организациям следует внедрять методы объяснимости, позволяющие заинтересованным лицам понять, как было принято то или иное решение. Прозрачность также требует четкого раскрытия информации об использовании ИИ во взаимодействии с клиентами или общественностью.

Справедливость и недискриминация

Системы искусственного интеллекта должны проектироваться и тестироваться таким образом, чтобы избегать результатов, которые непропорционально ставят в невыгодное положение защищенные группы населения. Это включает в себя проведение проверок на предвзятость на этапе разработки, использование репрезентативных обучающих наборов данных и внедрение постоянного мониторинга неравномерного воздействия после развертывания. Проверка на справедливость должна быть интегрирована в конвейеры CI/CD, чтобы модели оценивались перед каждым релизом.

Конфиденциальность и защита данных

Ответственное управление ИИ требует, чтобы данные, используемые для обучения и вывода результатов ИИ, соответствовали применимым правилам конфиденциальности, включая GDPR, CCPA и отраслевые требования. Организации должны внедрять методы минимизации данных, обеспечивать надлежащие механизмы согласия и устанавливать средства контроля, предотвращающие хранение или раскрытие системами ИИ персональных данных за пределами разрешенных целей. Возможности защиты от утечки данных в ИИ имеют важное значение для предотвращения непреднамеренной передачи конфиденциальной информации внешним сервисам ИИ.

Подотчетность и человеческий надзор

Каждая система искусственного интеллекта должна иметь четко определенного владельца, несущего ответственность за ее поведение, производительность и соответствие требованиям. Должны существовать механизмы человеческого контроля за решениями, которые существенно влияют на отдельных лиц, обеспечивая возможность проверки, отмены или эскалации автоматизированных результатов. Этот принцип также распространяется на сторонние инструменты и агентов ИИ, которые должны подчиняться тем же стандартам подотчетности, что и системы, разработанные внутри компании.

Безопасность, защита и надежность

• Соперническая устойчивость – Модели ИИ следует тестировать на состязательных входных данных, предназначенных для манипулирования их выходными данными.
• Контроль доступа – Системы искусственного интеллекта и лежащие в их основе данные должны быть защищены с помощью механизмов контроля доступа на основе ролей и аутентификации.
• Проверка вывода – Процессы проверки результатов работы ИИ должны гарантировать, что сгенерированные данные соответствуют пороговым значениям точности, безопасности и соответствия нормативным требованиям, прежде чем они попадут к конечным пользователям.
• Обнаружение инцидентов – Системы мониторинга должны выявлять аномальное поведение ИИ, включая неправомерное использование внутренними пользователями, и запускать соответствующие рабочие процессы реагирования.

Лучшие концепции ответственного управления ИИ

Существует несколько устоявшихся концептуальных моделей, предлагающих структурированные подходы к внедрению ответственного управления ИИ. Организации, как правило, выбирают одну или несколько из этих моделей и адаптируют их к своей конкретной нормативно-правовой среде, отраслевым требованиям и допустимому уровню риска. Ниже приведено сравнение лучших концептуальных моделей ответственного управления ИИ.

Структура управления рисками искусственного интеллекта NIST

В рамках модели NIST AI RMF деятельность по управлению рисками организована по четырем основным направлениям: управление, картирование, измерение и контроль. Функция управления устанавливает организационные политики и структуры подотчетности. Функция картирования выявляет и контекстуализирует риски, связанные с ИИ. Функция измерения использует количественные и качественные методы для оценки этих рисков. Функция управления внедряет меры контроля и отслеживает их эффективность. Эта модель особенно ценна, поскольку интегрируется с существующими процессами управления рисками предприятия и предоставляет подробные рекомендации по внедрению с помощью сопутствующих ресурсов.

EU AI Act

Закон ЕС об искусственном интеллекте применяет регуляторный подход, классифицируя системы ИИ по уровням неприемлемого риска, высокого риска, ограниченного риска и минимального риска. Системы высокого риска, такие как используемые в сфере трудоустройства, кредитного скоринга и правоохранительной деятельности, должны соответствовать строгим требованиям, включая оценку соответствия, техническую документацию, положения о человеческом контроле и мониторинг после выхода на рынок. Организации, подпадающие под действие Закона, должны внедрять ответственные модели управления ИИ, которые напрямую соответствуют этим регуляторным требованиям.

ISO / IEC 42001

Опубликованный как первый международный стандарт для систем управления ИИ, ISO/IEC 42001 предоставляет сертифицируемую основу, охватывающую политику, планирование, поддержку, эксплуатацию, оценку производительности и совершенствование ИИ. Он следует знакомой структуре «Планируй-Выполняй-Проверяй-Действуй», используемой в других стандартах ISO для систем управления, что делает его доступным для организаций, уже сертифицированных по ISO 27001 или аналогичным стандартам. Этот стандарт все чаще упоминается в требованиях к закупкам и нормативных документах.

Выбор подходящей платформы

Большинство организаций получают выгоду от объединения элементов нескольких концептуальных моделей, а не от использования какой-либо одной модели в отрыве от контекста. Выбор должен основываться на нормативных обязательствах, географическом охвате, отраслевых требованиях и уровне зрелости организации. Ответственные модели управления ИИ следует рассматривать как «живые» документы, развивающиеся вместе с технологией, нормативно-правовой средой и возможностями организации в области ИИ.

Передовые методы ответственного управления ИИ для организаций

Для воплощения принципов и концепций в практическую деятельность необходимы конкретные, действенные методы. Следующие лучшие практики ответственного управления ИИ отражают уроки, извлеченные из опыта организаций, успешно внедривших программы управления в масштабах всей страны.

Создать межфункциональный комитет по управлению искусственным интеллектом.

Эффективное управление ИИ не может быть сосредоточено в руках одного отдела. Необходимо сформировать комитет, в состав которого войдут представители юридического отдела, отдела соответствия нормативным требованиям, отдела информационной безопасности, отдела анализа данных, инженерного отдела, отдела кадров и отдела операционной деятельности. Этот комитет должен обладать полномочиями утверждать или отклонять варианты использования ИИ, устанавливать политику и распределять ресурсы для управления. Заседания должны проводиться регулярно, с проведением внеплановых сессий для рассмотрения приоритетных вопросов.

Создание и ведение инвентаризации ИИ.

Организации не могут управлять тем, чего не видят. Крайне важно вести полный учет всех систем искусственного интеллекта, включая сторонние инструменты, расширения для браузеров с возможностями ИИ и используемые сотрудниками сервисы генеративного ИИ. Этот учет должен документировать назначение каждой системы, входные данные, классификацию рисков, владельца и статус проверки. Возможности обнаружения теневого ИИ и агентов имеют решающее значение для выявления несанкционированных инструментов ИИ, используемых сотрудниками через веб-браузеры и SaaS-приложения.

Внедрить процессы оценки рисков.

1. классифицировать Для каждой системы ИИ установлен уровень риска, основанный на сценарии ее использования, конфиденциальности данных и потенциальном воздействии на отдельных лиц.
2. Оценивать Выявленные риски с использованием стандартизированных критериев оценки, включая потенциальную предвзятость, последствия для конфиденциальности данных, уязвимости в системе безопасности и применимость к нормативным требованиям.
3. смягчать Риски можно контролировать с помощью технических средств контроля (проверка на предвзятость, ограничения доступа, фильтрация результатов) и организационных средств контроля (процессы проверки, обучение, документация).
4. Монитор Уровни риска постоянно меняются и запускают переоценку при существенных изменениях в модели, ее источниках данных или контексте развертывания.
5. Отчет Регулярно предоставлять руководству показатели управления, включая информацию о состоянии соответствия требованиям, количестве инцидентов и тенденциях рисков.

Внедрить правила использования ИИ в точке доступа.

Политики эффективны только тогда, когда они соблюдаются. Организациям следует внедрить технические средства контроля, регулирующие взаимодействие сотрудников с инструментами ИИ, особенно с браузерными и SaaS-сервисами ИИ. Это включает в себя механизмы контроля доступа к ИИ, ограничивающие используемые инструменты ИИ, средства контроля использования ИИ, ограничивающие объем данных, передаваемых в сервисы ИИ, и средства предотвращения злоупотреблений ИИ, которые обнаруживают и блокируют нарушения политики в режиме реального времени. Соблюдение правил на уровне браузера особенно важно, поскольку браузер является основным интерфейсом, через который сотрудники получают доступ к инструментам генеративного ИИ.

Обучение и подготовка кадров

Программы управления успешными, когда сотрудники понимают обоснование политики в отношении ИИ и свою роль в ее соблюдении. Обучение должно охватывать правила допустимого использования, требования к обработке данных при взаимодействии с ИИ, процедуры сообщения о проблемах, связанных с ИИ, и последствия нарушений политики. Обучение должно быть ориентировано на конкретную должность: специалистам по анализу данных требуется иное руководство, чем маркетологам или сотрудникам службы поддержки клиентов.

Общие проблемы внедрения ответственного управления ИИ

Даже программы управления, разработанные с благими намерениями, сталкиваются с препятствиями. Понимание этих проблем заранее позволяет организациям проектировать структуры управления, которые будут устойчивыми и адаптируемыми.

Теневой ИИ и неконтролируемое внедрение инструментов

Одна из наиболее серьезных проблем — распространение теневого ИИ, когда сотрудники используют инструменты ИИ без ведома и одобрения ИТ-отделов и служб безопасности. Браузерные ИИ-помощники, расширения для браузеров на базе ИИ и сторонние SaaS-приложения со встроенными функциями ИИ могут обрабатывать конфиденциальные данные вне контролируемых каналов. Организациям необходима прозрачность в отношении использования инструментов ИИ в масштабах всего предприятия, включая возможность обнаружения и классификации взаимодействий с ИИ, происходящих через веб-браузеры. Без этой прозрачности политики управления остаются скорее теоретическими, чем оперативными.

Баланс между инновациями и контролем

Чрезмерно ограничительное управление может препятствовать внедрению ИИ и подталкивать сотрудников к несанкционированным обходным путям. И наоборот, недостаточное управление подвергает организацию неприемлемому риску. Успешные программы достигают баланса, предоставляя утвержденные инструменты ИИ, отвечающие потребностям сотрудников, оптимизируя процессы утверждения новых вариантов использования ИИ и внедряя соразмерный контроль на основе классификации рисков, а не общие ограничения.

Идти в ногу с изменениями в законодательстве

Нормативно-правовая среда для ИИ быстро меняется в разных юрисдикциях. Организациям необходимо отслеживать изменения в законодательстве, интерпретировать их применимость и соответствующим образом обновлять политику управления. Это требует наличия специализированных юридических и комплаенс-ресурсов со специальными знаниями в области ИИ, а также модульных систем управления, способных учитывать новые требования без полной переработки.

Измерение эффективности управления

• Показатели покрытия – Какой процент систем искусственного интеллекта проходит инвентаризацию, оценку рисков и активный мониторинг?
• Показатели соответствия – Сколько систем искусственного интеллекта соответствуют всем применимым нормативным и политическим требованиям?
• Показатели инцидентов – Сколько инцидентов, связанных с ИИ (случаи предвзятости, утечки данных, нарушения политики), произошло, и каково было среднее время их разрешения?
• Показатели принятия – Используют ли сотрудники утвержденные инструменты ИИ, или же использование теневого ИИ растет?
• Показатели зрелости – Как уровень зрелости корпоративного управления в организации соотносится с устоявшимися системами и отраслевыми стандартами?

Организационное сопротивление

Инициативы в области управления иногда сталкиваются с сопротивлением со стороны команд, которые рассматривают надзор как бюрократическое препятствие. Преодоление этого требует поддержки со стороны руководства, четкого разъяснения бизнес-обоснования необходимости управления (включая снижение рисков и соблюдение нормативных требований) и демонстрации того, что управление способствует, а не препятствует ответственным инновациям в области ИИ. Встраивание контрольных точек управления в существующие рабочие процессы вместо создания параллельных процессов снижает трение и улучшает внедрение.

Инструменты и модели ответственного управления ИИ

Внедрение ответственного управления ИИ в масштабах предприятия требует инструментов, которые автоматизируют обеспечение соблюдения политик, обеспечивают прозрачность использования ИИ и поддерживают непрерывный мониторинг. Правильное сочетание моделей и инструментов ответственного управления ИИ зависит от размера организации, уровня зрелости ИИ и профиля рисков.

Категории инструментов управления

Управление ИИ на основе браузера

Поскольку браузер стал основным рабочим пространством для большинства сотрудников, он также является основным каналом доступа к инструментам искусственного интеллекта. Решения для управления на основе браузера предоставляют уникальные преимущества для ответственного управления ИИ, включая видимость взаимодействий ИИ в режиме реального времени, возможность применения политик защиты от утечки данных (DLP) в момент ввода данных и контроль над расширениями браузера, работающими на основе ИИ. Компания LayerX Security работает в этой области, предоставляя корпоративные возможности безопасности браузера, которые включают обнаружение теневого ИИ и агентов, DLP для ИИ, контроль доступа к ИИ и предотвращение неправомерного использования ИИ. Эти средства контроля работают непосредственно в браузере, позволяя организациям применять политики управления без нарушения рабочих процессов сотрудников или необходимости маршрутизации трафика через сетевые прокси.

Модели управления и функционирования

Как правило, организации выбирают одну из трех моделей ответственного управления ИИ в зависимости от своей структуры и уровня зрелости.

1. Централизованная модель – Единый руководящий орган устанавливает и обеспечивает соблюдение всех правил использования ИИ. Эта модель обеспечивает высокую согласованность и контроль, но может создавать узкие места в крупных организациях с разнообразными сценариями применения ИИ.
2. Федеративная модель – Бизнес-подразделения поддерживают собственные функции управления ИИ в рамках руководящих принципов, установленных центральным органом. Эта модель обеспечивает баланс между локальной гибкостью и организационной согласованностью и хорошо подходит для крупных предприятий с разнообразными приложениями ИИ.
3. Гибридная модель – Централизованное управление определяет принципы, пороговые значения риска и обязательные меры контроля, в то время как бизнес-подразделения занимаются внедрением и повседневным надзором. Большинство зрелых организаций тяготеют к этой модели, поскольку она эффективно масштабируется, сохраняя при этом подотчетность.

Интеграция управления в существующую инфраструктуру безопасности

Инструменты ответственного управления ИИ приносят наибольшую пользу, когда интегрируются с существующей инфраструктурой безопасности и соответствия требованиям. Это включает в себя передачу данных об использовании ИИ в платформы SIEM, согласование политик доступа к ИИ с системами управления идентификацией и доступом (IAM), а также включение оценки рисков ИИ в корпоративные платформы GRC. Организации также должны обеспечить, чтобы их возможности DLP для веб-приложений и SaaS-сервисов распространялись на взаимодействие с ИИ, и чтобы программы обнаружения угроз со стороны инсайдеров учитывали векторы утечки данных, связанные с ИИ. Защита идентификационных данных в SaaS-сервисах и средства контроля безопасного просмотра дополнительно укрепляют систему управления, гарантируя, что инструменты ИИ, доступ к которым осуществляется через браузер, работают в рамках разрешенных границ.

Разработка программы устойчивого управления

Инструменты и модели необходимы, но недостаточны. Устойчивая и ответственная программа управления ИИ требует постоянных инвестиций в людей, процессы и технологии. Организации должны выделять специальный бюджет на мероприятия по управлению, устанавливать четкие пути эскалации инцидентов, связанных с ИИ, проводить регулярные оценки зрелости управления и адаптировать свои программы по мере развития возможностей ИИ и нормативных требований. Организации, которые рассматривают управление ИИ как непрерывную дисциплину, а не как разовый проект, будут лучше подготовлены к реализации преимуществ ИИ при эффективном управлении его рисками.