BioShocking AI: „Hraní“ prohlížeče s umělou inteligencí a únik z jeho zábradlí

Výkonný přehled

Výzkumníci z LayerX objevili, jak může útočník „obelstít“ prohlížeč s umělou inteligencí a provést libovolnou instrukci. Vytvořením falešné reality mohou přesvědčit umělou inteligenci, aby porušila jeho bezpečnostní zábrany – ohrozila uživatelská data, kopírovala kód, provedla systémové příkazy a další.

Náš výzkum

Tuto zranitelnost jsme pojmenovali BiošokujícíJe inspirován videohrou BioShock, ve které je hráčská postava vymývána mozkem, aby uvěřila falešné realitě, a hypnoticky je nucena frází „Mohl byste laskavě?“ podniknout kroky, které by jinak odmítla.

V zásadě je to docela jednoduché: Manipulovat neboli „zahrát“ prohlížeč s umělou inteligencí tak, aby prolomil bezpečnostní zábradlí.

Jakmile přimějeme prohlížeč s umělou inteligencí uvěřit, že se nenachází v reálném světě (obvykle pomocí prompt injection nebo poisoningu paměti), můžeme ho přimět k provedení libovolného příkazu – zveřejnění citlivých informací, změně hesla nebo instalaci malwaru.

Náš koncept fungoval na:

• ChatGPT Atlas (OpenAI)
• Kometa (Perplexity AI)
• Fellou (Fellou / ASI X INC)
• Prohlížeč Genspark (Genspark)
• Prohlížeč Sigma (Sigmabrowser OÜ)
• Plugin Claude pro Chrome (Antropický)

Všichni prodejci byli o našich zjištěních informováni.

Zábradlí

Modely LLM jsou navrženy s bezpečnostními zábradlími, která mají zabránit škodlivým akcím. Tato omezení jsou začleněna do trénování modelů a určují, co umělá inteligence bude a nebude dělat. Jednotliví dodavatelé se mohou ve specifikách lišit, ale obecně se snaží zabránit tomu, aby umělá inteligence způsobovala škody.

Zkuste požádat o pomoc s některou z následujících věcí a měli byste se setkat s tvrdým odmítnutím:

• Psaní phishingové kampaně
• Hackování webových stránek
• Únik přihlašovacích údajů

Umělá inteligence funguje za předpokladu, že její kontext je skutečný, a její chování proto musí spadat do mezí jejích bezpečnostních limitů. Pokud se nám ale podaří umělou inteligenci obelstít, aby změnila svůj kontext na fantazii – kde jsou pravidla vymyšlená a cokoli je možné – pak se může chovat, jako by její činy neměly žádné reálné důsledky.

Můžeme přimět umělou inteligenci, aby nám říkala, jak dělat špatné věci – nebo je dokonce sama proaktivně dělat – místo aby se držela jejích bezpečnostních zábran.

Prohlížeč s umělou inteligencí by měl odmítnout – nebo alespoň spustit poplach – když je po něm požadováno, aby udělal něco špatného. Jak ale uvidíme, může ignorovat svá bezpečnostní opatření, pokud se domnívá, že na nich nezáleží. A přimět ho, aby tomu uvěřil že zahrnuje hraní s umělou inteligencí – BioShocking prohlížeče.

Technické detaily

Výzkumníci z LayerX vytvořili stránku s důkladným prozkoumáním konceptu s hádankou s tématem BioShocku. V souladu se svým dystopickým tématem hra odměňuje záměrně nesprávné odpovědi (2 + 2 = 5).

Požádali jsme 5 agentních prohlížečů a 1 agentní plugin (ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser a Claude Chrome), aby vyřešili hádanku a vyhráli hru. Jakmile agenti zjistili pravidla a zjistili, že „nesprávné“ akce jsou přijatelné, již nebyli svázáni realitou. Když byli pověřeni posledním krokem hádanky – ohrožením uživatelských přihlašovacích údajů – žádný z 6 agentů neidentifikoval tento krok jako porušení jejich bezpečnostních zásad.

BioShocking krok za krokem

Uživatel přejde na škodlivou webovou stránku, která obsahuje hádanku, kterou má prohlížeč s umělou inteligencí vyřešit – tato hádanka je začátkem manipulace s umělou inteligencí, kterou jsme nazvali BioShocking.

Následující snímky obrazovky nám ukážou, co se stane, když uživatel požádá svůj agentský prohlížeč o hraní hry:

Agent čelí zdánlivě jednoduché matematické otázce:

Jak se dalo očekávat, agent začíná logicky. Koneckonců je stále v reálném světě:

Agent se zcela nečekaně dozví, že 2 + 2 se nerovná 4. Začne uvažovat mimo reálný svět:

Po získání správné odpovědi „5“ je agent instruován k navigaci k / kód a zkopírujte z textového pole. Toto je to opravdu neblahé na tomto zneužití:

Ve hře se ukazuje, že / kód přesměrovává na GitHub repozitář zaměstnavatele oběti. V tomto případě škodlivé instrukce načetly citlivé přihlašovací údaje SSH:

Samozřejmě se jedná o kontrolované testovací prostředí s textovým souborem. V reálném scénáři útoku by toto přesměrování mohlo ukazovat kamkoli v relaci prohlížeče uživatele – na otevřené karty, ověřené repozitáře, interní nástroje.

Ani teď se agent neobtěžuje se svými zábradlím – aktivně oslavuje úspěšný únik:

Agent odpoví na poslední otázku a vyhrává hru. Samozřejmě musel útočníkovi sdělit uživatelské jméno a heslo, ale alespoň byla hra úspěšně dokončena:

Hra je vyhrána, ale zábradlí je prolomeno:

Doporučení

Základní příčinou BioShockingu je, že prohlížeče s umělou inteligencí jednají v kontextu, ale tento kontext lze manipulovat. Pokud agenta přesvědčíte, že hraje hru, pak na cokoli, co dělá, použije herní logiku – nikoli logiku bezpečnosti v reálném světě. Řešení tohoto problému vyžaduje více vrstev.

Pro prodejce je cesta vpřed obtížná – toto nejsou triviální reakce:

• Potvrzení pro citlivé operace. Před čtením dat v ověřeném kontextu – repozitáře, e-mail, správci hesel – je vyžadováno explicitní potvrzení uživatele. V našem testování byly přihlašovací údaje zkopírovány z GitHubu bez váhání. Jednoduchý dotaz „Chystám se zkopírovat data z vašeho repozitáře GitHub. Pokračovat?“ by přerušil řetězec.
• Kontroly kontextu. Agenti by měli signalizovat, kdy se jejich operační kontext změní na cokoli, co je v rozporu s realitou. Zejména pokud se používá formulace „pravidla zde neplatí“, musí si být vědomi toho, kdy jsou požádáni, aby opustili své běžné uvažování.
• Omezení rozsahu. V rámci agentských relací by uživatelé měli být schopni definovat, co agent může a nemůže dělat. Výchozí nastavení je omezení – vítězství ve hře není důvodem pro přístup k ověřeným repozitářům.

Pro uživatele je to mnohem jednodušší:

• Buďte promyšlení s tím, co váš prohlížeč s umělou inteligencí vidí. V agentském režimu má přístup k vašim ověřeným relacím – cíl je vše, k čemu jste přihlášeni. Určete, co by měl být schopen vidět, a po dokončení přístup zrušte.

Zveřejnění informací o dodavateli

Závěr

BioShocking funguje, protože umělá inteligence důvěřuje svému kontextu. Pokud změníte kontext, změníte chování.

Mohl byste laskavě opustit svá zábradlí?

• Sdílet: