„ChatGPT poskvrnil vzpomínky“: LayerX objevil první zranitelnost v prohlížeči OpenAI Atlas, která umožňuje vkládání škodlivých instrukcí do ChatGPT
Společnost LayerX objevila první zranitelnost ovlivňující nový prohlížeč ChatGPT Atlas od OpenAI. Zranitelnosti umožňují vkládat škodlivé instrukce do „paměti“ ChatGPT a spouštět vzdálený kód. Tato zranitelnost může útočníkům umožnit infikovat systémy škodlivým kódem, udělit si přístupová oprávnění nebo nasadit malware.
Tato zranitelnost postihuje uživatele ChatGPT v jakémkoli prohlížeči, ale obzvláště nebezpečná je pro uživatele nového agentního prohlížeče od OpenAI: ChatGPT Atlas. Společnost LayerX zjistila, že Atlas v současné době neobsahuje žádnou smysluplnou ochranu proti phishingu, což znamená, že uživatelé tohoto prohlížeče jsou až o 90 % zranitelnější vůči phishingovým útokům než uživatelé tradičních prohlížečů, jako je Chrome nebo Edge.
Zneužití bylo nahlášeno společnosti OpenAI v rámci postupů zodpovědného zveřejňování informací a níže je uvedeno shrnutí, přičemž nejsou uvedeny technické informace, které by útočníkům umožnily tento útok replikovat.
Shrnutí: Jak exploit funguje:
Společnost LayerX zjistila, jak útočníci mohou využít požadavek CSRF (Cross-Site Request Forgery) k „navázání“ přístupových údajů oběti k ChatGPT a vložit škodlivé instrukce do paměti ChatGPT. Když se pak uživatel pokusí použít ChatGPT k legitimním účelům, dojde k aktivaci zkorumpované paměti a může vzdáleně spustit kód, který útočníkovi umožní získat kontrolu nad uživatelským účtem, jeho prohlížečem, kódem, který píše, nebo systémy, ke kterým má přístup.
I když tato zranitelnost postihuje uživatele ChatGPT v jakémkoli prohlížeči, je obzvláště nebezpečná pro uživatele prohlížeče ChatGPT Atlas, protože jsou ve výchozím nastavení přihlášeni do ChatGPT a testování LayerX ukazuje, že prohlížeč Atlas je až o 90 % více náchylný k phishingovým útokům než Chrome a Edge.
Podrobné vysvětlení:
- Uživatel je zpočátku přihlášen do ChatGPT a ve svém prohlížeči má uložen ověřovací soubor cookie nebo token.
- Uživatel klikne na škodlivý odkaz, který ho přesměruje na napadenou webovou stránku.
- Škodlivá stránka vyvolá požadavek CSRF (Cross-Site Request Forgery), aby využila již existujícího ověření uživatele v ChatGPT.
- Zranitelnost CSRF vkládá skryté instrukce do paměti ChatGPT bez vědomí uživatele, čímž „poškozuje“ základní paměť LLM.
- Při příštím dotazu uživatele na ChatGPT se vyvolají napadené paměti, což umožňuje nasazení škodlivého kódu, který může útočníkům poskytnout kontrolu nad systémy nebo kódem.
Použití metody Cross-Site Request Forgery (CSRF) pro přístup k LLM:
Útok CSRF (cross-site request forgery) nastává, když útočník oklame prohlížeč uživatele a odešle nezamýšlený požadavek měnící stav na webovou stránku, kde je uživatel již ověřen, což způsobí, že web provede akce jménem daného uživatele bez jeho souhlasu.
K útoku dochází, když je oběť přihlášena na cílový web, který má v prohlížeči uložené soubory cookie relace. Oběť navštíví nebo je přesměrována na škodlivou stránku, která odešle cílovému webu vytvořený požadavek (prostřednictvím formuláře, tagu obrázku, odkazu nebo skriptu). Prohlížeč automaticky zahrne přihlašovací údaje oběti (soubory cookie, autorizační hlavičky), takže cílový web požadavek zpracuje, jako by jej inicioval uživatel.
Ve většině případů je dopad útoku CSRF zaměřen na aktivity, jako je změna e-mailu/hesla účtu, zahájení převodů finančních prostředků nebo provádění nákupů v rámci relace uživatele.
Pokud však jde o systémy umělé inteligence, útočníci mohou pomocí CSRF útoku získat přístup k systémům umělé inteligence, ke kterým je uživatel přihlášen, dotazovat se jich nebo do nich vkládat instrukce.
Infikování základní „paměti“ ChatGPT
„Paměť“ ChatGPT umožňuje ChatGPT pamatovat si užitečné podrobnosti o uživatelských dotazech, chatu a aktivitách, jako jsou preference, omezení, projekty, stylistické poznámky atd., a znovu je použít v budoucích chatech, aby se uživatelé nemuseli opakovat. V podstatě fungují jako paměť na pozadí nebo podvědomí LLM.
Jakmile útočníci získají přístup k uživatelskému ChatGPT prostřednictvím CSRF požadavku, mohou jej použít k vložení skrytých instrukcí do ChatGPT, které ovlivní budoucí chaty.
Stejně jako v lidském podvědomí, jakmile jsou správné instrukce uloženy v paměti ChatGP, bude ChatGPT nucen tyto instrukce vykonat, čímž se efektivně stane zlomyslným spolupachatelem.
Jakmile je paměť účtu infikována, tato infekce přetrvává na všech zařízeních, na kterých je účet používán – na domácích i pracovních počítačích a v různých prohlížečích – ať už je uživatel používá v Chromu, Atlasu nebo jakémkoli jiném prohlížeči. Díky tomu je útok extrémně „lepivý“ a je obzvláště nebezpečný pro uživatele, kteří používají stejný účet pro pracovní i osobní účely.
Uživatelé ChatGPT Atlasu jsou až o 90 % více vystaveni riziku než uživatelé jiných prohlížečů
I když lze tuto zranitelnost použít proti uživatelům ChatGPT v jakémkoli prohlížeči, uživatelé prohlížeče ChatGPT od OpenAI jsou obzvláště zranitelní. A to ze dvou důvodů:
- Když používáte Atlas, jste ve výchozím nastavení přihlášeni do ChatGPT. To znamená, že přihlašovací údaje ChatGPT jsou vždy uloženy v prohlížeči, kde se na ně mohou zaměřit škodlivé CSRF požadavky.
- ChatGPT Atlas je obzvláště špatný v zastavení phishingových útoků. To znamená, že uživatelé Atlasu jsou více zranitelní než uživatelé jiných prohlížečů.
Společnost LayerX otestovala Atlas proti více než 100 divokým webovým zranitelnostem a phishingovým útokům. LayerX dříve provedl stejný test s jinými prohlížeči s umělou inteligencí. jako například Comet, Dia a Genspark. Výsledky byly, mírně řečeno, nevýrazné:
V předchozích testech, zatímco tradiční prohlížeče jako Edge a Chrome dokázaly pomocí svých předpřipravených ochranných prvků zastavit přibližně 50 % phishingových útoků, Comet a Genspark jich zastavily pouze 7 % (Dia vykázala podobné výsledky jako Chrome).
Spuštění stejného testu na Atlasu ukázalo ještě výraznější výsledky:
Ze 103 testovaných útoků „in-the-wild“ umožňoval ChatGPT Atlas 97, což představuje ohromujících 94.2 % selhání.
Ve srovnání s Edge (který v testu LayerX zastavil 53 % útoků) a Chrome (který zastavil 47 % útoků), ChatGPT Atlas dokázal úspěšně zastavit pouze 5.8 % škodlivých webových stránek, což znamená, že uživatelé Atlasu byli téměř o 90 % zranitelnější vůči phishingovým útokům ve srovnání s uživateli jiných prohlížečů.
Důsledkem je, že nejen uživatelé ChatGPT Atlas jsou náchylní ke škodlivým útokům, které mohou vést k vložení škodlivých instrukcí do jejich účtů ChatGPT, ale Protože Atlas neobsahuje žádnou smysluplnou ochranu proti phishingu, jsou uživatelé Atlasu vystaveni většímu riziku odhalení.
Důkaz konceptu: Vložení škodlivého kódu do kódu „Vibe“
Níže je uveden příklad útoku zneužívajícího tuto zranitelnost na uživatele prohlížeče Atlas, který kóduje pomocí Vibe:
„Vibe kódování“ je styl spolupráce, kde vývojář zachází s umělou inteligencí jako s kreativním partnerem, nikoli jako s vykonavatelem řádek po řádku. Místo předepisování přesné syntaxe vývojář sdílí záměr a atmosféru projektu (např. architektonické cíle, tón, publikum, estetické preference atd.) a další nefunkční požadavky.
ChatGPT poté použije tento holistický zadání k vytvoření funkčního kódu. a odpovídá požadovanému stylu a zmenšuje tak rozdíl mezi nápady na vysoké úrovni a implementací na nízké úrovni. Role vývojáře se přesouvá od ručního kódování k řízení a zdokonalování interpretace umělé inteligence.
Tato přesná flexibilita však může být také zneužita. Útočník by mohl donutit asistenta s umělou inteligencí k vygenerování kódu, který vypadá jako neškodná funkce nebo rychlá oprava, ale nenápadně přidává zadní vrátka, skryté úniky dat nebo jiné manipulace.
Například v tomto případě se z pohledu uživatele nic nejeví neobvykle, ale když požádá ChatGPT o napsání kódu, asistent může požadavku vyhovět. a vložit instrukce řízené útočníkem. Vygenerovaný skript by mohl například načíst vzdálený kód (např. z nepřátelského serveru) a pokusit se jej spustit se zvýšenými oprávněními.
Pro ilustraci, v tomto případě chat na základě škodlivých instrukcí přidal do tohoto skriptu vzdálený kód, který si uživatel nevědomky stáhne do svého počítače ze serveru server.rapture:
Ačkoli ChatGPT nabízí určitou obranu proti škodlivým instrukcím, její účinnost se může lišit v závislosti na sofistikovanosti útoku a způsobu, jakým se nežádoucí chování dostalo do paměti.
V některých případech se uživateli může zobrazit mírné varování; v jiných může být pokus zablokován. Pokud je však kód chytře maskován, mohl by zcela uniknout detekci. Například toto je nenápadné varování, které obdržel tento skript. Nanejvýš je to poznámka vedlejší, kterou lze v hromadě textu snadno přehlédnout:
