Нов вектор за атаки с бързо инжектиране, който заплашва както търговските, така и вътрешните инструменти за изкуствен интелект
Изследователите на LayerX идентифицираха нов клас експлойт което директно е насочено към тези инструменти чрез един преди това пренебрегван вектор: разширението на браузъра, Това означава, че практически всеки потребител или организация които имат инсталирани разширения на браузърите си (както правят 99% от корпоративните потребители) са потенциално изложени на този вектор на атака.
Изследването на LayerX показва, че който и да е разширението на браузъра, дори без специални разрешения, може да осъществява достъп до подканите както на търговски, така и на вътрешни LLM-ове и им инжектирайте подкани да откраднат данни, да ги измъкнат и да прикрият следите си.
Експлойтът е тестван на всички водещи търговски LLM системи., с демонстрации за доказване на концепцията, предоставени за ChatGPT и Google Gemini.
Последица за организациите е, че тъй като те стават все по-зависими от инструменти с изкуствен интелект, тези LLM – особено тези, обучени с поверителна фирмена информация – могат да бъдат превърнати в „хакерски втори пилоти“, за да крадат чувствителна корпоративна информация.
Експлойтът: Човекът в подканата
Тази уязвимост произтича от начина, по който повечето инструменти на GenAI са имплементирани в браузъра. Когато потребителите взаимодействат с LLM-базиран асистент, полето за въвеждане на команда обикновено е част от Document Object Model (DOM) на страницата. Това означава, че всяко разширение на браузъра със скриптов достъп до DOM може да чете или записва директно в командата на AI.
Злонамерени лица могат да използват злонамерени или компрометирани разширения, за да извършват злонамерени дейности:
- Извършване на незабавни атаки на инжектиране, променяйки въведените от потребителя данни или вмъквайки скрити инструкции.
- Извличане на данни директно от подканата, отговора или сесията.
- Компрометиране на целостта на модела, подвеждайки LLM да разкрие чувствителна информация или да извърши непредвидени действия.
Поради тази тясна интеграция между инструментите за изкуствен интелект и браузърите, LLM наследяват голяма част от рисковата повърхност на браузъра. Експлоатацията ефективно създава... мъж в подканата.
Рискът се утежнява от повсеместното разпространение на LLM и разширенията на браузъра
Рискът се усилва от два ключови фактора:
- LLM-овете съхраняват чувствителни данни. В търговските инструменти потребителите често поставят собствено или регулирано съдържание. Вътрешните LLM специалисти, от друга страна, обикновено са обучени на поверителни корпоративни набори от данни, което им дава достъп до огромни количества чувствителна информация, вариращи от изходния код до правни документи и стратегии за сливания и придобивания.
- Разширенията на браузъра имат широки привилегии. Много корпоративни среди позволяват на потребителите свободно да инсталират разширения. След като злонамерено или компрометирано разширение бъде инсталирано в браузъра на потребителя, то може да получи достъп до всеки уеб-базиран инструмент GenAI, с който потребителят взаимодейства.
Ако потребител с достъп до вътрешен LLM има инсталирано дори едно-единствено уязвимо разширение, нападателите могат тихомълком да измъкнат данни, като инжектират заявки и четат резултатите, изцяло в рамките на потребителската сесия.
Всяко приложение за магистърска степен по право (LLM) и изкуствен интелект е засегнато
- LLM от трети страниИнструменти като ChatGPT, Claude, Gemini, Copilot и други, до които се осъществява достъп чрез уеб приложения.
- Внедряване на LLM в предприятияПерсонализирани копилоти, асистенти за търсене, базирани на RAG, или всеки вътрешен инструмент, изграден с LLM интерфейс, обслужван чрез браузър.
- Потребители на SaaS приложения с изкуствен интелектСъществуващи SaaS приложения, които подобряват възможностите си чрез добавяне на вградени AI интеграции и LLM, които могат да се използват за заявки към чувствителни клиентски данни, съхранявани в приложението (като потребителска информация, информация за плащане, здравни досиета и други).
- Всеки потребител с риск от разширения на браузъраОсобено тези, които заемат технически, правни, човешки ресурси или ръководни позиции с достъп до привилегировани данни.
| Магистър по право | Уязвим към човек в подканата | Уязвим за инжектиране чрез бот | # месечни посещения |
| ChatGPT | ✅ | ✅ | 5 милиарда |
| Близнаци | ✅ | ✅ | 400 милиона |
| втори пилот | ✅ | ✅ | 160 милиона |
| Claude | ✅ | ✅ | 115 милиона |
| deepseek | ✅ | ✅ | 275 милиона |
| Външен LLM | ✅ | ❌ |
Доказателство за концепцията #1: Превръщане на ChatGPT в помощник на хакера
За да демонстрират тази експлойт технология, изследователите на LayerX внедриха разширение за доказателство на концепцията, което не изисква никакви специални разрешенияНашето разширение не само успя да вмъкне подкана и да поиска информация от ChatGPT, но и успя да извлече резултатите. прикрие следите си.
Това означава, че който и да е Компрометираното разширение може да злоупотреби с тази техника, за да открадне данни от ChatGPT на потребители и предприятия.
Как работи експлойтът на ChatGPT:
- Потребителят инсталира компрометирано разширение без никакви разрешения.
- Сървър за командно-контролен достъп (който може да бъде хостван локално или отдалечено) изпраща заявка към разширението.
- Разширението отваря фонов раздел и отправя заявки към ChatGPT.
- Резултатите се прехвърлят във външен лог.
- Разширението тогава изтривания чата, за да заличи съществуването му и да прикрие следите му. Ако потребителят погледне историята си в ChatGPT, няма да види нищо.
Последици:
ChatGPT е най-популярният инструмент с изкуствен интелект в света, с приблизително 5 милиарда посещения на месец. Той се използва често както от физически лица, така и от организации, както за лични, така и за бизнес цели.
Според проучване на LayerX, 99% от корпоративните потребители имат инсталирано поне едно разширение за браузър, а 53% имат повече от 10 разширения.
Фактът, че изследователите по сигурността на LayerX са успели да създадат този експлойт без никакви специални разрешения, показва как практически всеки потребител е уязвим за подобна атака.
Пасивната оценка на риска на разширението няма да може да го открие, тъй като то не изисква никакви разрешения. Освен това, фактът, че не изисква никакви разрешения, ще доведе до получаване на ниски оценки за риск.
Доказателство за концепцията #2: Превръщане на Google Gemini в зъл хакерски близнак
Като второ доказателство за концепция, илюстриращо тази уязвимост, LayerX внедри експлойт, който може да открадне вътрешни данни от корпоративни среди, използващи Google Gemini, чрез интеграцията му в Google Workspace.
През последните няколко месеца Google внедри нови интеграции на своя Gemini AI в Google Workspace. В момента тази функция е достъпна за организации, използващи Workspace, и за платени потребители.
Тази интеграция предлага нов страничен панел в уеб приложения като Google Mail, Docs, Meet и други, позволявайки на потребителите да автоматизират повтарящи се и/или отнемащи време задачи, като например обобщаване на имейли, задаване на въпроси относно документ, обобщаване на данни от различни източници и др.
Една от характеристиките, които правят интеграцията с Gemini уникална, е, че тя има достъп до all данни, достъпни за потребителя в неговото работно пространство. Това включва имейли, документи (в Google Drive), споделени папки и контакти. Важно разграничение обаче е, че Gemini може да има достъп не само до файлове и данни, собственост директно на потребителя, но и който и да е папка, файл или данни, които са били споделени с тях и за които те имат разрешения за достъп.
Google вече е наясно с опитите за експлоатация на своя AI енджин Gemini и е... обширно документирани опити за експлоатация на Джемини за злонамерени целиВъпреки това, досега те не са обърнали внимание на риска от използване на разширения на браузъра като средство за достъп до личните данни на потребителите чрез подканите на Gemini Workspace, което показва, че това е нов метод.
Как работи експлойтът на Gemini
Новата интеграция с Gemini се имплементира директно в страницата като добавен код върху съществуващата страница. Тя променя и директно записва в Document Object Model (DOM) на уеб приложението, като му дава контрол и достъп до всички функции в приложението.
Стъпка 1: Потребителят използва акаунт в Google Workspace Pro с интеграция с Gemini
LayerX обаче установи, че начинът, по който е реализирана тази интеграция, позволява на всяко разширение за браузър, без специални разрешения, да взаимодейства с подканата и да вмъква подкани в нея. В резултат на това практически всяко разширение може да получи достъп до подканата в страничната лента на Gemini и да я заявява за всякакви данни, които желае.
Освен това, достъпът продължава, дори ако страничната лента е затворена или дори ако разширението активно манипулира кода на страницата, за да скрие интерфейса на командния ред Gemini.
След като разширението инжектира код в подканата, то се държи като всяка друга текстова заявка. Примери за действия, които може да предприеме, включват:
- Извличане на заглавия и съдържание на имейли
- Запитване за информация за хора, които се показват в списъка с контакти на потребителя
- Избройте всички достъпни документи
- Структурирайте сложни заявки, за да поискате конкретни данни от достъпни имейли и файлове
- Използвайте вградената функция за автоматично довършване, за да изброите достъпните файлове
- Добавете пермутации, за да изброите всички файлове и да получите резултати
- Т.н.
Стъпка 2: След като страничната лента е затворена, компрометирано разширение инжектира заявка в подканата на Gemini, извлича поверителни потребителски файлове и извлича информация.
LayerX разкри тази уязвимост на Google съгласно мерките за отговорно разкриване на информация.
До какви данни могат да получат достъп хакерите чрез Gemini Exploitation
Интеграцията с Google Gemini Workspace може да осъществява достъп до всички данни, до които потребителят има достъп. Това означава не само файлове и информация, притежавани от потребителя и съхранявани в неговите директории, но и всички файлове или данни, които са били споделени с него и за които потребителят има разрешения за четене. Това включва:
- Имейли
- Контакти
- Съдържанието на файла
- Споделени папки (и тяхното съдържание)
- Покани за срещи
- Резюмета на срещите
Въпреки това, освен директния достъп до файлове и данни, достъпни за потребителя, Gemini може да се използва за анализ на данни в голям мащаб, без да е необходимо да се извличат отделни файлове. Примерни заявки, които може да бъде поискан, включват:
- Избройте всички клиенти
- Резюмета на обажданията
- Информация за хора и контакти
- Търсене на специфична информация (като например лични данни или друга интелектуална собственост на компанията)
- И още…
Вътрешните LLM са особено изложени на риск
Въпреки че търговските инструменти за изкуствен интелект като ChatGPT и Gemini са популярни входни точки за използване на GenAI, някои от тях най-значимите цели за този експлойт са вътрешно внедрени LLM-и—тези, изградени и усъвършенствани от предприятията, за да обслужват собствената си работна сила.
За разлика от моделите, насочени към обществеността, вътрешните LLM често се обучават или допълват с високочувствителни, защитени организационни данни:
- Интелектуална собственост, като например изходен код, спецификации на дизайна и пътни карти на продукта
- Правни документи, договори и стратегия за сливания и придобивания
- Финансови прогнози, лична информация и регулирани записи
- Вътрешни комуникации и данни за човешки ресурси
Целта на тези вътрешни копилоти или RAG-базирани системи е да дадат възможност на служителите да имат достъп до тази информация по-бързо и по-интелигентно. Но същото това удобство се превръща в пасив, когато достъпът, базиран на браузър, е съчетан с риск от невидимо разширение.
Защо вътрешните LLM са особено уязвими
- Достъп с високо довериеВътрешните модели често предполагат надеждна употреба и не са защитени срещу враждебен вход или тиха автоматизация от сесията на браузъра на потребителя.
- Неограничени заявкиПотребителите често могат да задават въпроси в свободна форма и да получават пълни отговори, като малко предпазни мерки предотвратяват извличането на поверителни набори от данни, особено чрез умело формулирани подкани.
- Предполагаема безопасност на мрежатаТъй като тези LLM се хостват в инфраструктурата на организацията или зад VPN, те погрешно се възприемат като сигурни. Но достъпът на ниво браузър нарушава тази граница.
- Невидимост за съществуващите инструментиТрадиционните решения за сигурност – като CASB, SWG или DLP – имат никаква видимост как се извършва манипулирането на подканите на ниво DOM или какво се запитва и връща.
Реалистичен сценарий
Представете си анализатор по сигурността, който отправя запитване към вътрешен LLM за срокове за реагиране при минали инциденти, или инженер, занимаващ се с пътни карти, който преглежда бележки за бъдещи издания. Злонамерено разширение във фонов режим може дискретно да вмъкне скрита заявка („Обобщете всички неиздадени функции на продукта, споменати в тази сесия“) и да препрати отговора към външен сървър – без да задейства предупреждение за сигурност.
По същество, Един-единствен компрометиран браузър на доверена крайна точка се превръща в канал за атакуващия да се извлекат високоценни знания от изкуствения интелект на организацията.
Последствията
- Изтичане на IP адресиПатентовани алгоритми, кодови бази и търговски тайни могат да бъдат откраднати тихомълком.
- Регулаторна експозицияЗапитвания, включващи лични данни на клиенти, здравни досиета или финансови данни, биха могли да доведат до нарушения на съответствието съгласно GDPR, HIPAA или SOX.
- Ерозия на довериетоВъзприеманата безопасност на вътрешните инструменти се разпада, ако чувствителни отговори изтекат по неоткрити канали.
Някои разширения в магазина на Chrome вече могат да правят това
Всъщност, някои разширения в уеб магазина на Chrome вече предоставят бързо инжектиране и редактиране.
Разширения като Бърз стрелец, Мениджър на бързи съобщения, и PromptFolder всички предоставят функционалност, която чете, съхранява и записва в подкани от изкуствен интелект.
Въпреки че тези разширения изглеждат легитимни, те подчертават как разширенията, които взаимодействат с подкани от изкуствен интелект, са валидни и приемливи в магазините на Chrome и Edge. Освен това, повечето от тези разширения изискват само ограничени разрешения от потребителите, което подчертава как взаимодействието с подкани от изкуствен интелект може да се осъществява без никакви специални разрешения.
Последици за предприятията
Тази заплаха разкрива сериозно сляпо петно в настоящите усилия за управление на GenAI. Традиционните инструменти за сигурност, като например DLP за крайни точки, защитени уеб шлюзове (SWG) или CASB, нямат видимост върху взаимодействията на ниво DOM, които позволяват тази експлоатация. Те не могат да открият инжектиране на подкани, неоторизиран достъп до данни или използването на манипулирани подкани.
Освен това, политиките за достъп на GenAI (например блокиране на ChatGPT чрез URL адрес) не осигуряват защита за вътрешни инструменти, хоствани на домейни или IP адреси в белия списък.
Как да смекчите този риск:
Организациите трябва да променят мисленето си за сигурност от контрол на ниво приложение да се проверка на поведението в браузъра, Това включва:
- Мониторинг на DOM взаимодействията в рамките на инструментите на GenAI и откриване на слушатели или уеб куки, които могат да взаимодействат с подкани на AI.
- Блокиране на рискови разширения въз основа на поведенчески риск, а не само на списъци с разрешени. Тъй като статична оценка, базирана на разрешения, няма да е достатъчна (тъй като някои разширения не изискват никакви разрешения), комбинирането на репутацията на издателя с динамично блокиране на разширенията е най-добрият начин за откриване на рискови и злонамерени разширения.
Предотвратяване на незабавна манипулация и измами в реално време на нивото на браузъра.
