Широкое использование генеративного искусственного интеллекта в различных отраслях требует обеспечения безопасности и оперативной осведомленности о рисках и вариантах их смягчения. В этом сообщении блога мы представляем 10 основных рисков и действенные стратегии защиты от них. В конце концов, мы предоставляем инструменты, которые могут помочь.

Появление генеративного искусственного интеллекта

2022 год ознаменовал начало новой области генеративного искусственного интеллекта. В этот период произошло быстрое развитие LLM (больших языковых моделей), таких как GPT-3, GPT-4, BERT, Claude, Gemini, Llama, Mistral и других. Эти LLM продемонстрировали замечательные возможности в области обработки естественного языка (NLP), генерации изображений и создания творческого контента. В результате инструменты на основе искусственного интеллекта распространились по различным отраслям, повышая производительность и инновации в создании контента, обслуживании клиентов, разработке и многом другом. У них также есть потенциал для дальнейшей революции в таких секторах, как здравоохранение, финансы и развлечения.

Преобразующее воздействие этой современной технологии еще предстоит полностью понять. Тем не менее, организации, стремящиеся сохранить конкурентное преимущество, должны планировать внедрение GenAI в свою деятельность как можно раньше. В то же время им следует устранить риски безопасности GenAI.

Риски генеративного искусственного интеллекта

Использование приложений Gen AI и LLM, как общедоступных, так и путем собственной разработки и/или развертывания, может представлять риски для организаций. К рискам поколения ИИ относятся:

Категория №1: Риски безопасности и конфиденциальности

1. Проблемы конфиденциальности

Генеративный ИИ опирается на огромные объемы данных, часто собираемых из различных источников. Они могут содержать личную информацию, включая PII. Если эти данные используются в выходных данных, они могут непреднамеренно раскрыть конфиденциальные сведения о людях, что приведет к нарушению конфиденциальности и потенциальному неправильному использованию. Природа «черного ящика» многих моделей GenAI еще больше усложняет прозрачность и подотчетность, затрудняя отслеживание того, как используются или хранятся конкретные данные.

2. Фишинговые письма и вредоносное ПО

Генеративный искусственный интеллект позволяет киберпреступникам создавать весьма убедительные и изощренные атаки. До появления генеративного искусственного интеллекта одним из явных признаков фишингового электронного письма была плохая грамматика и формулировка. Однако фишинговые электронные письма, генерируемые ИИ, могут имитировать тон, стиль и формат законных сообщений. Это затрудняет их обнаружение отдельными лицами и системами безопасности.

Кроме того, злоумышленники могут использовать GenAI для разработки и отладки вредоносного ПО, способного обходить традиционные меры безопасности. Это вредоносное ПО, созданное искусственным интеллектом, может адаптироваться и развиваться, что еще больше затрудняет защиту от него.

3. Инсайдерские угрозы и злоупотребления со стороны сотрудников

Инсайдерские угрозы — это отдельные лица внутри компании, которые используют свой доступ к конфиденциальной информации и системам. Эти угрозы могут быть преднамеренными, например, кража данных или саботаж, или непреднамеренными, например, случайная утечка данных по халатности. Знакомство инсайдера с мерами безопасности организации часто позволяет ему легче обойти защиту, чем внешним злоумышленникам.

В контексте GenAI инсайдеры могут случайно ввести или вставить конфиденциальные данные в приложения GenAI. Это может включать исходный код, конфиденциальную деловую информацию, финансовые данные, информацию о клиентах и ​​многое другое.

4. Увеличение площади атаки

Генеративные системы искусственного интеллекта могут увеличить поверхность атаки для угроз кибербезопасности, поскольку они часто интегрируются с различными источниками данных, API и другими системами. Это создает множество точек входа для потенциальных атак. Сложность этих интеграций может привести к появлению уязвимостей, которыми могут воспользоваться злоумышленники, например, внедрение вредоносных данных для манипулирования результатами ИИ или доступ к конфиденциальной информации через слабые звенья в системе. 

Категория №2: Риски качества и надежности

5. Проблемы с качеством вывода

Проблемы с качеством вывода в генеративных системах ИИ возникают, когда ИИ генерирует текст, изображения или другие выходные данные, которые являются неточными, неправильными, вводящими в заблуждение, предвзятыми или неуместными. Факторы, способствующие низкому качеству результатов, включают неадекватные обучающие данные, недостаточную настройку модели и присущую алгоритмам ИИ непредсказуемость.

В критически важных приложениях, таких как здравоохранение, финансы и кибербезопасность, неточные результаты искусственного интеллекта могут привести к серьезным финансовым потерям, юридической ответственности, нанесению вреда бизнесу и даже поставить под угрозу жизни. Но даже в некритических приложениях неверные результаты и распространение неверной или вводящей в заблуждение информации могут иметь последствия для работы и жизни людей, а также для эффективности бизнеса.

6. Выдуманные «факты» и галлюцинации

Крайним примером вышеупомянутой проблемы качества является создание «вымышленных фактов», называемых «галлюцинациями». Это происходит, когда LLM генерирует информацию, которая кажется правдоподобной, но полностью сфабрикована. Эти галлюцинации возникают из-за того, что модель полагается на закономерности в обучающих данных, а не на истинное понимание фактической точности. Как уже упоминалось, это может привести к распространению неверной или вводящей в заблуждение информации, что создает серьезные риски, особенно в тех случаях, когда точность имеет решающее значение, например, в здравоохранении, юриспруденции или финансовом секторе.

Категория №3: Юридические и этические риски

7. Авторское право, интеллектуальная собственность и другие юридические риски.

Генеративные системы искусственного интеллекта часто используют огромные объемы данных, в том числе материалы, защищенные авторским правом, для обучения своих моделей. Это может привести к непреднамеренному воспроизведению защищенного контента, потенциально нарушая права интеллектуальной собственности. Кроме того, существует юридический вопрос о том, разрешено ли LLM по закону обучаться работе с данными об авторских правах. Наконец, создание нового контента, который очень похож на существующие произведения, может вызвать юридические споры по поводу права собственности и оригинальности.

Эти проблемы усугубляются двусмысленностью действующих законов об авторском праве в отношении контента, созданного ИИ. В настоящее время эти вопросы обсуждаются в судах и общественности. Например, The New York Daily News, Chicago Tribune, Denver Post и другие газеты. подает в суд на OpenAI и Microsoft за нарушение авторских прав.

8. Смещенные результаты

Предвзятые результаты в системах ИИ часто возникают из-за искаженных или нерепрезентативных данных обучения, которые отражают исторические предрассудки и системное неравенство. Когда модели ИИ генерируют предвзятые результаты, это может привести к дискриминационной практике в таких областях, как найм, кредитование, правоохранительная деятельность и здравоохранение, что несправедливо влияет на маргинализированные группы. Это представляет собой серьезную угрозу справедливости и равноправию, поскольку может увековечить и даже усилить существующие социальные предубеждения.

9. податливость

Когда конфиденциальная информация обрабатывается системами искусственного интеллекта, существует вероятность утечки данных, несанкционированного доступа и неправильного использования конфиденциальных данных. Этот риск усугубляется, если у поставщика услуг искусственного интеллекта отсутствуют надежные меры безопасности и сертификаты соответствия. Таким образом, обмен данными с помощью генеративных инструментов искусственного интеллекта может значительно повысить риск нарушения нормативных требований и законов о защите данных, особенно в отраслях со строгими требованиями к защите данных.

Категория №4: Операционные и финансовые риски

10. Стоимость экспертизы и вычислений

При внутренней разработке, обучении и внедрении LLM стоимость знаний и вычислений может быть существенной. Передовые системы искусственного интеллекта требуют высокопроизводительных графических процессоров, специализированного оборудования и услуг облачных вычислений, что может повлечь за собой огромные расходы. Кроме того, высококвалифицированные специалисты, такие как специалисты по обработке данных, инженеры ML и эксперты в предметной области, получают премиальную зарплату. Глобальная нехватка графических процессоров и специалистов еще больше увеличивает эти затраты. Это создает значительные барьеры для входа на рынок для многих организаций. 

Стратегии снижения рисков безопасности, связанных с генеративным ИИ

Обозначив риски, давайте обсудим стратегии защиты от них. 

Стратегии безопасности и защиты конфиденциальности

  • Каталог – Определить области бизнеса, в которых используется ген ИИ. От сотрудников, запрашивающих популярные приложения Gen AI, такие как ChatGPT, Claude или Gemini, до ваших инженерных команд, разрабатывающих собственные LLM, до использования коммерческих LLM или LLM с открытым исходным кодом для ваших данных.
  • Оценка риска – Составьте карту и оцените потенциальные риски безопасности, связанные с каждым типом использования. Вы можете использовать список выше, чтобы помочь.
  • Внедрить контроль доступа – Используйте механизмы проверки, чтобы определить, к каким системам искусственного интеллекта будут иметь доступ ваши сотрудники и каким образом. Например, расширение корпоративного браузера может помешать вашим сотрудникам установить вредоносное расширение маскирующийся под законное расширение ChatGPT.
  • Реализация политик – Обеспечьте соблюдение политик использования приложений GenAI в организации. Например, расширение корпоративного браузера может помешать вашим сотрудникам вставлять конфиденциальный код в приложения поколения AI.
  • Исправление программного обеспечения – Обновляйте и исправляйте системы, чтобы повысить уровень безопасности от атак с использованием ИИ (и без него).
  • мониторинг – Отслеживайте и обнаруживайте необычные инциденты и подозрительное поведение: от попыток несанкционированного доступа до аномальных моделей поведения и передачи конфиденциальных данных в инструменты искусственного интеллекта.
  • Обучение пользователей – Регулярно обучайте сотрудников рискам, связанным с искусственным интеллектом, посредством переговоров, тренировок и постоянной поддержки. Расширение корпоративного браузера может поддерживать онлайн-обучение, объясняя сотрудникам, почему блокируются такие действия, как вставка исходного кода в ChatGPT.

Стратегии защиты качества и надежности

  • Обеспечить качество данных – Используйте наборы данных, которые являются разнообразными, сбалансированными и свободными от предвзятости и неточностей. Внедрите строгие процессы проверки данных, такие как автоматические проверки и проверки вручную. Постоянно обновляйте и уточняйте наборы данных, чтобы отражать актуальную и точную информацию. 
  • Метрики оценки – Используйте комплексные показатели оценки, такие как точность, полнота, оценка F1 и BLEU, чтобы выявить проблемы с точностью и производительностью модели и ее результатов.
  • Внедрение систем «человек в цикле» – Привлекайте экспертов к этапам обучения, проверки и точной настройки разработки модели. Люди могут предоставлять важную контекстную информацию, выявлять тонкие проблемы, которые могут упустить автоматизированные системы, и предлагать предложения, улучшающие реакцию модели.

Стратегии правовой и этической защиты

  • Соблюдение правовых норм – Обеспечьте соблюдение законов о защите данных, таких как GDPR и CCPA. Это означает обеспечение того, чтобы данные, используемые для обучения, получали и обрабатывали законным образом, с соответствующего согласия и анонимности.
  • Установите четкие этические принципы – Эти руководящие принципы должны охватывать такие принципы, как справедливость, прозрачность, подотчетность и недопущение предвзятости. Внедрение этических рамок ИИ может обеспечить структурированный подход к обеспечению учета этических соображений.

Стратегии операционной и финансовой защиты

  • Обеспечьте масштабируемость, оптимизацию и надежность инфраструктуры. – Используйте надежные облачные сервисы, высокопроизводительные вычислительные ресурсы, эффективные решения для хранения данных и масштабируемые конвейеры искусственного интеллекта. Например, внедрите модель оплаты по мере использования, договоритесь о оптовых скидках с поставщиками облачных услуг и используйте выделение графических процессоров.

Решение для GenAI DLP

LayerX — это расширение корпоративного браузера, которое защищает от веб-угроз в точке риска — браузере. LayerX предоставляет Решение DLP, специально разработанное для генеративного искусственного интеллекта такие инструменты, как ChatGPT, направленные на защиту конфиденциальных данных, не мешая работе пользователя.

Ключевые возможности:

  • Сопоставление и определение данных – Выявление и определение конфиденциальных данных, таких как исходный код и интеллектуальная собственность, для защиты.
  • Настраиваемые элементы управления данными – Внедряйте элементы управления, такие как всплывающие предупреждения или действия по блокировке при обнаружении конфиденциальных данных.
  • Безопасная производительность – Обеспечьте безопасное использование инструментов GenAI, применив меры, подобные DLP, для предотвращения непреднамеренного раскрытия данных.
  • Элементы управления расширениями браузера – Управляйте доступом и действиями в GenAI для обеспечения безопасности взаимодействия с данными.

Детальное снижение рисков – Обнаружение и снижение рисков действий с высоким уровнем риска, таких как вставка конфиденциальных данных, сохраняя при этом удобство работы с пользователем.