Пять самых уязвимых инструментов GenAI для атаки типа «человек по команде». Пострадать могут миллиарды человек

Новый вектор для атак с мгновенным внедрением, угрожающий как коммерческим, так и внутренним инструментам ИИ

Исследователи LayerX выявили новый класс эксплойтов который напрямую воздействует на эти инструменты через ранее упущенный из виду вектор: расширение для браузера, Это значит, что практически любой пользователь или организация в браузерах которых установлены расширения (как у 99% корпоративных пользователей) потенциально подвержены этому вектору атаки.

Исследование LayerX показывает, что любое Расширение браузера, даже без каких-либо специальных разрешений, может получить доступ к подсказкам как коммерческих, так и внутренних LLM и внедрять в них подсказки с просьбой украсть данные, вывезти их и замести следы. 

Эксплойт был протестирован на всех ведущих коммерческих LLM, с демонстрационными примерами для ChatGPT и Google Gemini. 

Для организаций это означает, что по мере того, как они все больше полагаются на инструменты ИИ, эти LLM, особенно те, кто прошел обучение по работе с конфиденциальной корпоративной информацией, могут быть превращены в «взломщиков-пилотов» для кражи конфиденциальной корпоративной информации.

Подвиг: Человек в подсказке

Эта уязвимость связана с тем, как большинство инструментов GenAI реализованы в браузере. Когда пользователи взаимодействуют с помощником на базе LLM, поле ввода подсказки обычно является частью объектной модели документа (DOM) страницы. Это означает, что любое расширение браузера, имеющее доступ к DOM для выполнения скриптов, может напрямую читать или записывать данные в подсказку ИИ.

Злоумышленники могут использовать вредоносные или скомпрометированные расширения для совершения злонамеренных действий:

• Выполнять быстрые инъекционные атаки, изменяя вводимые пользователем данные или вставляя скрытые инструкции.
• Извлечь данные непосредственно из подсказки, ответа или сеанса.
• Нарушить целостность модели, обманывая магистра права, чтобы тот раскрыл конфиденциальную информацию или совершил непреднамеренные действия.
  

Благодаря тесной интеграции инструментов ИИ и браузеров, LLM наследуют большую часть поверхности риска браузера. Эксплойт фактически создаёт человек в строке.

Риск усугубляется повсеместностью LLM и расширений для браузеров

Риск усиливается двумя ключевыми факторами:

1. LLM хранят конфиденциальные данные. В коммерческих инструментах пользователи часто вставляют проприетарный или регулируемый контент. В то же время внутренние LLM-программисты, как правило, обучаются на конфиденциальных корпоративных наборах данных, что дает им доступ к обширным массивам конфиденциальной информации: от исходного кода и юридических документов до стратегий слияний и поглощений.
2. Расширения браузера имеют широкие привилегии. Многие корпоративные среды позволяют пользователям свободно устанавливать расширения. После установки вредоносного или скомпрометированного расширения в браузер пользователя оно может получить доступ к любому веб-инструменту GenAI, с которым взаимодействует пользователь.

Если у пользователя, имеющего доступ к внутреннему LLM, установлено хотя бы одно уязвимое расширение, злоумышленники могут незаметно извлечь данные, внедряя запросы и считывая результаты, исключительно в рамках сеанса пользователя.

Все приложения LLM и AI затронуты

• Сторонние LLM: Такие инструменты, как ChatGPT, Claude, Gemini, Copilot и другие, доступ к которым осуществляется через веб-приложения.
• Корпоративные развертывания LLM: Пользовательские вторые пилоты, помощники по поиску на базе RAG или любой внутренний инструмент, созданный с использованием интерфейса LLM, обслуживаемого через браузер.
• Пользователи SaaS-приложений с поддержкой ИИ: Существующие SaaS-приложения, расширяющие свои возможности за счет добавления встроенных интеграций ИИ и LLM, которые можно использовать для запроса конфиденциальных данных клиентов, хранящихся в приложении (например, информация о пользователе, платежная информация, медицинские карты и т. д.).
• Любой пользователь с риском расширения браузера: Особенно это касается сотрудников технических, юридических, кадровых или руководящих должностей, имеющих доступ к конфиденциальным данным.

Доказательство концепции №1: Превращаем ChatGPT во второго пилота хакера

Чтобы продемонстрировать этот эксплойт, исследователи LayerX реализовали расширение для проверки концепции, которое не требует никаких специальных разрешений вообщеНаше расширение не только смогло внедрить запрос и запросить информацию у ChatGPT, но и извлечь результаты и замести следы. 

Это означает, что любое Скомпрометированное расширение может использовать эту технику для кражи данных из ChatGPT пользователей и предприятий.

Как работает эксплойт ChatGPT:

1. Пользователь устанавливает скомпрометированное расширение без каких-либо разрешений вообще.
2. Сервер управления и контроля (который может размещаться локально или удаленно) отправляет запрос расширению. 
3. Расширение открывает фоновую вкладку и отправляет запрос ChatGPT.
4. Результаты передаются во внешний журнал.
5. Расширение тогда удалений чат, чтобы стереть его существование и замести следы. Если бы пользователь посмотрел историю ChatGPT, он бы ничего не увидел.

Последствия:

ChatGPT — самый популярный в мире инструмент искусственного интеллекта, который посещают около 5 миллиардов раз в месяц. Он также часто используется как частными лицами, так и организациями в личных и деловых целях.

По данным исследования LayerX, у 99% корпоративных пользователей в браузерах установлено как минимум одно расширение, а у 53% — более 10 расширений. 

Тот факт, что исследователи безопасности LayerX смогли создать этот эксплойт без каких-либо специальных разрешений, показывает, как практически любой пользователь уязвим для такой атаки. 

Пассивная оценка риска расширения не позволит обнаружить такое расширение, поскольку оно не требует никаких разрешений. Более того, отсутствие необходимости в разрешениях приведёт к получению им низких оценок риска.

Доказательство концепции №2: Превращение Google Gemini в злого хакерского близнеца

В качестве второго доказательства концепции, иллюстрирующего эту уязвимость, LayerX реализовал эксплойт, который позволяет красть внутренние данные из корпоративных сред, используя Google Gemini посредством интеграции с Google Workspace.

За последние несколько месяцев Google внедрила новые возможности интеграции своего ИИ Gemini в Google Workspace. В настоящее время эта функция доступна организациям, использующим Workspace, и платным пользователям.

Эта интеграция предлагает новую боковую панель в веб-приложениях, таких как Google Mail, Docs, Meet и других приложениях, позволяя пользователям автоматизировать повторяющиеся и/или трудоемкие задачи, такие как составление резюме электронных писем, постановка вопросов о документе, агрегация данных из разных источников и т. д.

Одной из особенностей, делающих интеграцию Gemini уникальной, является то, что она имеет доступ к ВСЕ Данные, доступные пользователю в его рабочем пространстве. К ним относятся электронная почта, документы (на Google Диске), общие папки и контакты. Однако важное отличие заключается в том, что Gemini может получать доступ не только к файлам и данным, принадлежащим непосредственно пользователю, но и любое папка, файл или данные, к которым им был предоставлен доступ и к которым у них есть разрешения на доступ.

Google уже знает о попытках эксплуатации своего движка Gemini AI и подробно документированные попытки использовать Gemini в гнусных целяхОднако до сих пор они не устранили риск использования расширений браузера в качестве средства доступа к личным данным пользователей через запросы Gemini Workspace, что указывает на новизну этого метода.

Как работает Gemini Exploit

Новая интеграция с Gemini реализована непосредственно на странице в виде кода, добавляемого поверх существующей страницы. Она изменяет и напрямую записывает данные в объектную модель документа (DOM) веб-приложения, предоставляя ему контроль и доступ ко всем функциям приложения.

Шаг 1: Пользователь использует учетную запись Google Workspace Pro с интеграцией Gemini.

Однако LayerX обнаружил, что при реализации этой интеграции любое расширение браузера без специальных разрешений может взаимодействовать с подсказкой и добавлять в неё подсказки. В результате практически любое расширение может получить доступ к подсказке боковой панели Gemini и запросить у неё любые необходимые данные.

Более того, доступ сохраняется, даже если боковая панель закрыта или даже если расширение активно манипулирует кодом страницы, чтобы скрыть интерфейс приглашений Gemini.

После того, как расширение внедряет код в запрос, оно действует как любой другой текстовый запрос. Примеры возможных действий:

• Извлечь заголовки и содержимое электронных писем
• Запрос информации о людях, которые есть в списке контактов пользователя
• Список всех доступных документов
• Структурируйте сложные запросы для запроса определенных данных из доступных электронных писем и файлов.
• Используйте встроенную функцию автозаполнения для перечисления доступных файлов.
• Добавьте перестановки для отображения всех файлов и вывода результатов
• И т.д.

Шаг 2: После закрытия боковой панели взломанное расширение внедряет запрос Gemini, извлекает конфиденциальные файлы пользователя и извлекает информацию.

Компания LayerX раскрыла информацию об этой уязвимости компании Google в соответствии с мерами ответственного раскрытия информации.

К каким данным могут получить доступ хакеры, используя Gemini

Интеграция с Gemini Workspace от Google позволяет получить доступ к любым данным, доступным пользователю. Это касается не только файлов и информации, принадлежащих пользователю и хранящихся в его каталогах, но и любых файлов и данных, к которым был предоставлен доступ и к которым у пользователя есть разрешение на чтение. Это включает в себя:

• Сообщения электронной почты
• Контакты
• Содержимое файла
• Общие папки (и их содержимое)
• Приглашения на встречи
• Резюме встреч

Однако, помимо прямого доступа к файлам и данным, доступным пользователю, Gemini может использоваться для анализа данных в больших масштабах без необходимости извлечения отдельных файлов. Примеры запросов, которые можно выполнить, включают:

• Список всех клиентов
• Резюме звонков
• Информация о людях и контактах
• Поиск конкретной информации (например, персональных данных или другой интеллектуальной собственности компании)
• И многое другое ...

Внутренние LLM особенно уязвимы

Хотя коммерческие инструменты искусственного интеллекта, такие как ChatGPT и Gemini, являются популярными точками входа для использования GenAI, некоторые из наиболее важные цели для этого эксплойта есть внутренне развернутые LLM— те, которые созданы и настроены предприятиями для обслуживания собственной рабочей силы.

В отличие от моделей, ориентированных на публику, внутренние LLM часто обучаются или дополняются высококонфиденциальные, конфиденциальные организационные данные:

• Интеллектуальная собственность, такая как исходный код, спецификации дизайна и дорожные карты продуктов
• Юридические документы, контракты и стратегия слияний и поглощений
• Финансовые прогнозы, личные данные и регламентированные записи
• Внутренние коммуникации и данные отдела кадров

Цель этих внутренних «второпилотов» или систем на основе RAG — предоставить сотрудникам возможность доступа к этой информации быстрее и эффективнее. Однако это удобство становится проблемой, когда доступ через браузер сочетается с невидимым риском расширения.

Почему внутренние LLM особенно уязвимы

1. Доступ с высоким уровнем доверия: Внутренние модели часто предполагают доверенное использование и не защищены от вредоносного ввода или скрытой автоматизации из сеанса браузера пользователя.
2. Неограниченные запросы: Пользователи часто могут задавать вопросы в свободной форме и получать полные ответы, при этом существует мало мер защиты, препятствующих извлечению конфиденциальных наборов данных, особенно с помощью грамотно составленных подсказок.
3. Предполагаемая безопасность сети: Поскольку эти программы магистратуры права (LLM) размещаются в инфраструктуре организации или за VPN, они ошибочно считаются безопасными. Однако доступ на уровне браузера нарушает эту границу.
4. Невидимость для существующих инструментов: Традиционные решения безопасности, такие как CASB, SWG или DLP, имеют нет видимости в том, как происходит манипулирование запросами на уровне DOM или что запрашивается и возвращается.

Реалистичный сценарий

Представьте себе аналитика безопасности, запрашивающего у внутреннего магистра права (LLM) информацию о сроках реагирования на прошлые инциденты, или инженера по разработке дорожной карты, изучающего заметки о будущих выпусках. Вредоносное расширение в фоновом режиме может незаметно внедрить скрытый запрос («Обобщите все невыпущенные функции продукта, упомянутые в этом сеансе») и переслать ответ на внешний сервер, не вызывая никаких предупреждений безопасности.

По сути, один скомпрометированный браузер на доверенной конечной точке становится каналом злоумышленника извлечь ценные знания из искусственного интеллекта организации.

Последствия

• Утечка IP-адресов: Запатентованные алгоритмы, кодовые базы и коммерческие тайны могут быть тихо украдены.
• Регуляторное воздействие: Запросы, касающиеся персональных данных клиентов, медицинских записей или финансовых данных, могут привести к нарушению требований GDPR, HIPAA или SOX.
• Подрыв доверия: Воспринимаемая безопасность внутренних инструментов рушится, если конфиденциальные ответы просачиваются по незамеченным каналам.

Некоторые расширения в магазине Chrome уже умеют это делать

Фактически, некоторые расширения в Chrome Web Store уже обеспечивают быструю инъекцию и редактирование.

Такие расширения, как Стремительный лучник, Менеджер подсказок и PromptFolder все они предоставляют функциональные возможности для чтения, хранения и записи подсказок ИИ. 

Хотя эти расширения кажутся легитимными, они подчёркивают, что расширения, взаимодействующие с подсказками ИИ, допустимы и приемлемы в магазинах Chrome и Edge. Более того, большинство этих расширений требуют лишь ограниченных разрешений от пользователей, что подчёркивает, что взаимодействие с подсказками ИИ может осуществляться без каких-либо специальных разрешений.

Последствия для предприятий

Эта угроза выявляет серьёзное «слепое пятно» в текущих усилиях по управлению GenAI. Традиционные инструменты безопасности, такие как DLP для конечных точек, защищённые веб-шлюзы (SWG) или CASB, не отслеживают взаимодействия на уровне DOM, которые делают возможным этот эксплойт. Они не способны обнаружить внедрение подсказок, несанкционированный доступ к данным или использование подменённых подсказок.

Более того, политики доступа GenAI (например, блокировка ChatGPT через URL) не обеспечивают защиты для внутренних инструментов, размещенных на доменах или IP-адресах из белого списка.

Как снизить этот риск:

Организациям необходимо изменить свое мышление в отношении безопасности с контроль на уровне приложений в проверка поведения в браузере, Это включает:

• Мониторинг взаимодействий DOM в инструментах GenAI и обнаружении прослушивателей или веб-перехватчиков, которые могут взаимодействовать с подсказками ИИ.
• Блокировка рискованных расширений Основываясь на поведенческом риске, а не только на списках разрешений. Поскольку статической оценки на основе разрешений будет недостаточно (некоторые расширения не требуют никаких разрешений), сочетание репутации издателя с динамическим стендбоксингом расширений — лучший способ обнаружить опасные и вредоносные расширения.

Предотвращение быстрого взлома и эксфильтрации в режиме реального времени на уровне браузера.

• Поделиться: