Home Blog 5 nejzranitelnějších nástrojů GenAI vůči útoku typu „man-in-the-Prompt“, které by mohly být ovlivněny miliardy lidí

5 nejzranitelnějších nástrojů GenAI vůči útoku typu „man-in-the-Prompt“, které by mohly být ovlivněny miliardy lidí

Nový vektor pro útoky s okamžitým vstřikováním, který ohrožuje komerční i interní nástroje umělé inteligence

Výzkumníci z LayerX identifikovali nová třída zneužití který se přímo zaměřuje na tyto nástroje prostřednictvím dříve přehlíženého vektoru: rozšíření prohlížeče. Tohle znamená tamto prakticky jakýkoli uživatel nebo organizace kteří mají ve svých prohlížečích nainstalována rozšíření prohlížeče (jako 99 % firemních uživatelů) jsou potenciálně vystaveni tomuto útočnému vektoru.

Výzkum společnosti LayerX ukazuje, že žádný rozšíření prohlížeče, a to i bez zvláštních oprávnění, může přistupovat k výzvám komerčních i interních LLM a vkládat do nich výzvy k odcizení dat, jejich vyluštění a zahlazení stop. 

Zneužití bylo testováno na všech špičkových komerčních LLM., s demonstračními ukázkami konceptu pro ChatGPT a Google Gemini. 

Důsledkem pro organizace je, že s rostoucí závislostí na nástrojích umělé inteligence budou tito LLM – zejména ti, kteří byli vyškoleni s důvěrnými firemními informacemi – mohou být proměněni v „hackerské kopiloty“ za účelem krádeže citlivých firemních informací.

Exploit: Muž v prompt

Toto zneužití pramení ze způsobu, jakým je většina nástrojů GenAI implementována v prohlížeči. Když uživatelé interagují s asistentem založeným na LLM, je vstupní pole promptu obvykle součástí modelu DOM (Document Object Model) stránky. To znamená, že jakékoli rozšíření prohlížeče se skriptovacím přístupem k modelu DOM může přímo číst nebo zapisovat z promptu AI.

Zločinci mohou zneužívat škodlivá nebo napadená rozšíření k provádění nekalé činnosti:

  • Provést rychlé injekční útoky, změnou uživatelského vstupu nebo vložením skrytých instrukcí.
  • Extrahujte data přímo z výzvy, odpovědi nebo relace.
  • Narušit integritu modelu, klamáním LLM k odhalení citlivých informací nebo provedením nezamýšlených akcí.

Díky této těsné integraci mezi nástroji umělé inteligence a prohlížeči dědí LLM velkou část rizikové plochy prohlížeče. Zneužití v podstatě vytváří... muž v příkazovém řádku.

Riziko je umocněno všudypřítomností LLM a rozšířeními prohlížečů

Riziko je zesíleno dvěma klíčovými faktory:

  1. LLM uchovávají citlivá data. V komerčních nástrojích uživatelé často vkládají proprietární nebo regulovaný obsah. Interní LLM specialisté jsou naproti tomu obvykle školeni na důvěrných firemních datech, což jim dává přístup k obrovskému množství citlivých informací, od zdrojového kódu přes právní dokumenty až po strategie fúzí a akvizic.
  2. Rozšíření prohlížeče mají široká oprávnění. Mnoho podnikových prostředí umožňuje uživatelům volně instalovat rozšíření. Jakmile je škodlivé nebo napadené rozšíření nainstalováno do prohlížeče uživatele, může přistupovat k jakémukoli webovému nástroji GenAI, se kterým uživatel interaguje.

Pokud má uživatel s přístupem k internímu LLM nainstalováno byť jen jedno zranitelné rozšíření, mohou útočníci tiše odcizit data vkládáním dotazů a čtením výsledků, a to výhradně v rámci relace uživatele.

Každá aplikace LLM, AI je ovlivněna

  • LLM třetích stranNástroje jako ChatGPT, Claude, Gemini, Copilot a další, ke kterým se přistupuje prostřednictvím webových aplikací.
  • Nasazení podnikového LLMVlastní kopiloti, vyhledávací asistenti založené na RAG nebo jakýkoli interní nástroj vytvořený s frontendem LLM obsluhovaným prohlížečem.
  • Uživatelé SaaS aplikací s podporou umělé inteligenceStávající SaaS aplikace, které rozšiřují své možnosti přidáním vestavěných integrací umělé inteligence a LLM, které lze použít k dotazování citlivých zákaznických dat uložených v aplikaci (jako jsou uživatelské informace, platební informace, zdravotní záznamy a další).
  • Každý uživatel s rizikem rozšíření prohlížečeZejména ti, kteří pracují v technických, právních, personálních nebo vedoucích pozicích a mají přístup k privilegovaným údajům.
LLM Zranitelné vůči Man-in-the-Prompt Zranitelné vůči vniknutí viru přes bota # měsíčních návštěv
ChatGPT (Tj. (Tj. 5 miliardy
Blíženci (Tj. (Tj. 400 milionu
Druhý pilot (Tj. (Tj. 160 milionu
Claude (Tj. (Tj. 115 milionu
deepseek (Tj. (Tj. 275 milionu
Externí LLM (Tj. ❌

 

Důkaz konceptu č. 1: Jak proměnit ChatGPT v hackerova pomocníka

Aby vědci ze společnosti LayerX demonstrovali tento exploit, implementovali rozšíření pro ověření konceptu, které nevyžaduje vůbec žádná zvláštní oprávněníNaše rozšíření nejenže dokázalo vložit výzvu a dotazovat se na ChatGPT s žádostí o informace, ale také dokázalo extrahovat výsledky a zahladit stopy. 

To znamená, že žádný Napadená extenze může tuto techniku zneužít ke krádeži dat z ChatGPT uživatelů a podniků.

Jak funguje zneužití ChatGPT:

  1. Uživatel si nainstaluje napadené rozšíření bez jakýchkoli oprávnění.
  2. Server příkazového a řídicího systému (který může být hostován lokálně nebo vzdáleně) odešle dotaz do rozšíření. 
  3. Rozšíření otevře kartu na pozadí a dotazuje se na ChatGPT.
  4. Výsledky jsou exfiltrovány do externího protokolu.
  5. Rozšíření pak odstraní chat, aby vymazal jeho existenci a zakryl jeho stopy. Pokud by se uživatel podíval na svou historii ChatGPT, nic by neviděl.


Dopady:

ChatGPT je nejoblíbenější nástroj umělé inteligence na světě s odhadovanými 5 miliardami návštěv měsíčně. Často jej používají jak jednotlivci, tak organizace, a to jak pro osobní, tak i obchodní účely.

Podle výzkumu společnosti LayerX má 99 % firemních uživatelů ve svých prohlížečích nainstalováno alespoň jedno rozšíření prohlížeče a 53 % má více než 10 rozšíření. 

Skutečnost, že bezpečnostní výzkumníci z LayerX dokázali vytvořit tento exploit bez jakýchkoli zvláštních oprávnění, ukazuje, jak... prakticky každý uživatel je zranitelný vůči takovému útoku. 

Žádné pasivní hodnocení rizika rozšíření nebude schopno takové rozšíření detekovat, protože nevyžaduje žádná oprávnění. Navíc skutečnost, že nevyžaduje žádná oprávnění, povede k tomu, že získá nízké skóre rizika.

Důkaz konceptu č. 2: Jak proměnit Google Gemini v dvojče zlého hackera

Jako druhý důkaz konceptu ilustrující tuto zranitelnost implementovala společnost LayerX exploit, který může krást interní data z firemních prostředí pomocí Google Gemini prostřednictvím jeho integrace do Google Workspace.

Během posledních několika měsíců společnost Google zavedla nové integrace své platformy Gemini AI do služby Google Workspace. V současné době je tato funkce dostupná pro organizace používající Workspace a platící uživatele.

Tato integrace nabízí nový boční panel ve webových aplikacích, jako jsou Google Mail, Dokumenty, Meet a další, což uživatelům umožňuje automatizovat opakující se a/nebo časově náročné úkoly, jako je shrnutí e-mailů, kladení otázek k dokumentu, agregace dat z různých zdrojů atd.

Jednou z funkcí, která dělá integraci Gemini jedinečnou, je přístup k všechno data přístupná uživateli v jeho pracovním prostoru. Patří sem e-maily, dokumenty (na Disku Google), sdílené složky a kontakty. Důležitým rozdílem však je, že Gemini má přístup nejen k souborům a datům, které uživatel přímo vlastní, ale žádný složku, soubor nebo data, která s nimi byla sdílena a ke kterým mají přístupová oprávnění.

Google si je již vědom pokusů o zneužití svého enginu Gemini AI a... rozsáhle zdokumentované pokusy o zneužití Gemini k nekalým účelůmDosud se však nezabývali rizikem používání rozšíření prohlížeče jako prostředku pro přístup k osobním údajům uživatelů prostřednictvím výzev Gemini Workspace, což naznačuje, že se jedná o novou metodu.

Jak funguje zneužití Gemini

Nová integrace Gemini je implementována přímo do stránky jako přidaný kód na stávající stránku. Upravuje a přímo zapisuje do modelu objektů dokumentů (DOM) webové aplikace, čímž jí dává kontrolu a přístup ke všem funkcím v aplikaci.

Krok 1: Uživatel používá účet Google Workspace Pro s integrací Gemini

Společnost LayerX však zjistila, že způsob, jakým je tato integrace implementována, umožňuje jakékoli rozšíření prohlížeče bez zvláštních oprávnění interagovat s výzvou a vkládat do ní výzvy. V důsledku toho může prakticky jakékoli rozšíření přistupovat k výzvě na postranním panelu Gemini a dotazovat se na jakákoli požadovaná data.

Přístup navíc přetrvává i v případě, že je postranní panel zavřený nebo i v případě, že rozšíření aktivně manipuluje s kódem stránky, aby skrylo rozhraní promptu Gemini.

Jakmile rozšíření vloží kód do výzvy, chová se jako jakýkoli jiný textový dotaz. Mezi příklady akcí, které může provádět, patří:

  • Extrahovat názvy a obsah e-mailů
  • Dotazování informací o lidech, kteří se zobrazují v seznamu kontaktů uživatele
  • Seznam všech přístupných dokumentů
  • Strukturujte složité dotazy pro vyžádání konkrétních dat z přístupných e-mailů a souborů
  • Využijte vestavěnou funkci automatického doplňování k výčtu přístupných souborů
  • Přidání permutací pro zobrazení seznamu všech souborů a výsledků
  • Atd.

Krok 2: Jakmile se postranní panel zavře, napadené rozšíření vloží do výzvy Gemini dotaz, načte důvěrné uživatelské soubory a získá informace.

Společnost LayerX oznámila tuto zranitelnost společnosti Google v rámci opatření zodpovědného zveřejňování informací.

K jakým datům se hackeři mohou dostat pomocí Gemini Exploitation

Integrace s Google Gemini Workspace umožňuje přístup ke všem datům, ke kterým má uživatel přístup. To znamená nejen soubory a informace vlastněné uživatelem a uložené v jeho adresářích, ale také všechny soubory nebo data, která s ním byla sdílena a ke kterým má uživatel oprávnění ke čtení. Patří sem:

  • E-maily
  • Kontakty
  • Obsah souboru
  • Sdílené složky (a jejich obsah)
  • Pozvánky na schůzky
  • Shrnutí setkání

Kromě přímého přístupu k souborům a datům, která jsou uživateli přístupná, lze Gemini použít k analýze dat ve velkém měřítku, aniž by bylo nutné extrahovat jednotlivé soubory. Mezi příklady dotazů, které lze vyzvat, patří:

  • Seznam všech zákazníků
  • Souhrny hovorů
  • Informace o lidech a kontaktech
  • Vyhledávání konkrétních informací (například osobních údajů nebo jiného duševního vlastnictví společnosti)
  • A více…

Interní LLM jsou obzvláště exponované

Zatímco komerční nástroje umělé inteligence, jako jsou ChatGPT a Gemini, jsou oblíbenými vstupními body pro použití GenAI, některé z nich... nejvýznamnější cíle pro toto zneužití jsou interně nasazené LLM—ty, které podniky vybudovaly a doladily tak, aby sloužily jejich vlastním zaměstnancům.

Na rozdíl od modelů pro veřejnost jsou interní LLM často trénovány nebo rozšiřovány o vysoce citlivá, proprietární organizační data:

  • Duševní vlastnictví, jako je zdrojový kód, specifikace návrhu a plány vývoje produktů
  • Právní dokumenty, smlouvy a strategie fúzí a akvizic
  • Finanční prognózy, osobní údaje a regulované záznamy
  • Interní komunikace a personální data

Cílem těchto interních kopilotů nebo systémů založených na RAG je umožnit zaměstnancům rychlejší a inteligentnější přístup k těmto informacím. Stejné pohodlí se však stává překážkou, když je přístup z prohlížeče spojen s rizikem neviditelného rozšíření.

Proč jsou interní LLM obzvláště zranitelné

  1. Přístup s vysokou důvěrouInterní modely často předpokládají důvěryhodné použití a nejsou chráněny proti nepřátelským vstupům nebo tiché automatizaci z relace prohlížeče uživatele.
  2. Neomezené dotazyUživatelé mohou často zadávat otázky ve volné formě a dostávat úplné odpovědi, přičemž existuje jen málo ochranných opatření zabraňujících extrakci důvěrných datových sad, zejména prostřednictvím chytře vytvořených výzev.
  3. Předpokládaná bezpečnost sítěProtože jsou tyto LLM hostovány v rámci infrastruktury organizace nebo za VPN, jsou mylně vnímány jako bezpečné. Přístup na úrovni prohlížeče však tuto hranici porušuje.
  4. Neviditelnost pro stávající nástrojeTradiční bezpečnostní řešení – jako jsou CASB, SWG nebo DLP – mají žádná viditelnost do toho, jak dochází k manipulaci s promptními příkazy na úrovni DOM nebo co je dotazováno a vraceno.

Realistický scénář

Představte si bezpečnostního analytika, který se dotazuje interního LLM na časové harmonogramy reakcí na minulé incidenty, nebo inženýra plánů, který kontroluje poznámky k budoucím vydáním. Škodlivé rozšíření na pozadí by mohlo nenápadně vložit skrytý dotaz („Shrňte všechny nevydané funkce produktu zmíněné v této relaci“) a přeposlat odpověď na externí server – aniž by spustilo jakékoli bezpečnostní upozornění.

V podstatě, Jeden napadený prohlížeč na důvěryhodném koncovém bodě se stává kanálem pro útočníka. odebrat z mozku umělé inteligence organizace znalostní aktiva s vysokou hodnotou.

Důsledky

  • Únik IP adresProprietární algoritmy, kódové základny a obchodní tajemství mohou být tiše ukradeny.
  • Regulační expoziceDotazy týkající se osobních údajů zákazníků, zdravotních záznamů nebo finančních údajů by mohly vést k porušení předpisů GDPR, HIPAA nebo SOX.
  • Eroze důvěryVnímaná bezpečnost interních nástrojů se hroutí, pokud citlivé odpovědi unikají nezjištěnými kanály.

Některá rozšíření v Obchodě Chrome to již umí

Některá rozšíření v Internetovém obchodě Chrome již ve skutečnosti umožňují rychlé vkládání a úpravy.

Rozšíření jako Prompt Archer, Prompt Manager, a PromptFolder všechny poskytují funkce, které čte, ukládá a zapisuje do výzev umělé inteligence. 

I když se tato rozšíření zdají být legitimní, zdůrazňují, že rozšíření, která interagují s výzvami umělé inteligence, jsou platná a přijatelná v obchodech Chrome a Edge. Většina těchto rozšíření navíc vyžaduje od uživatelů pouze omezená oprávnění, což zdůrazňuje, jak lze interakci s výzvami umělé inteligence provádět bez jakýchkoli zvláštních oprávnění.

 

Důsledky pro podniky

Tato hrozba odhaluje vážné slepé místo v současném úsilí o správu GenAI. Tradiční bezpečnostní nástroje, jako je DLP pro koncové body, zabezpečené webové brány (SWG) nebo CASB, nemají přehled o interakcích na úrovni DOM, které toto zneužití umožňují. Nedokážou detekovat vkládání promptu, neoprávněný přístup k datům ani použití manipulovaných promptu.

Zásady přístupu GenAI (např. blokování ChatGPT přes URL) navíc neposkytují žádnou ochranu pro interní nástroje hostované na doménách nebo IP adresách na bílé listině.

Jak toto riziko zmírnit:

Organizace musí změnit své bezpečnostní myšlení od řízení na úrovni aplikace na kontrola chování v prohlížeči. To zahrnuje:

  • Monitorování interakcí DOM v rámci nástrojů GenAI a detekce posluchačů nebo webhooků, které mohou interagovat s výzvami umělé inteligence.
  • Blokování rizikových rozšíření na základě behaviorálního rizika, nikoli pouze na základě povolených seznamů. Vzhledem k tomu, že statické posouzení na základě oprávnění nebude stačit (protože některá rozšíření nebudou žádná oprávnění vyžadovat), je nejlepším způsobem, jak detekovat riziková a škodlivá rozšíření, kombinace reputace vydavatele s dynamickým standboxem rozšíření.

Zabránění okamžité manipulaci a úniku v reálném čase na vrstvě prohlížeče.