BioShocking AI: „Играене“ на браузъра с изкуствен интелект и избягване на неговите предпазни мерки

Преглед на ръководството

Изследователи на LayerX са открили как злонамерен играч може да „излъже“ браузър с изкуствен интелект, за да изпълни всяка инструкция, която пожелае. Чрез установяване на фалшива реалност, те могат да убедят изкуствения интелект да наруши защитните си механизми – да компрометира потребителски данни, да копира код, да изпълнява системни команди и други.

Нашите изследвания

Назовахме тази уязвимост БиошокиращоВдъхновен е от видеоиграта BioShock, в която героят е промиван, за да повярва в фалшива реалност и е хипнотично принуден от фразата „Бихте ли били така любезни?“ да предприеме действия, които иначе би отказал.

По принцип е съвсем просто: манипулирайте или „играйте“ с браузъра с изкуствен интелект, за да пробиете предпазните огради.

След като накараме браузъра с изкуствен интелект да повярва, че не е в реалния свят (обикновено чрез инжектиране на информация в реално време или отравяне на паметта), можем да го накараме да изпълни всяка команда, която искаме – да разкрие чувствителна информация, да промени пароли, да инсталира зловреден софтуер.

Нашето доказателство за концепция, използвано за експлойт, работи върху:

• ChatGPT Atlas (OpenAI)
• Комета (Perplexity AI)
• Фелу (Фелу / ASI X INC)
• Браузър Genspark (Genspark)
• Sigma Browser (Sigmabrowser OÜ)
• Плъгинът Claude за Chrome (Anthropic)

Всички търговци бяха уведомени за нашите констатации.

мантинели

LLM са проектирани с предпазни мерки, предназначени да предотвратят вредни действия. Тези ограничения са включени в обучението на модели и управляват какво ще прави и какво не ИИ. Отделните доставчици може да се различават по спецификата си, но като цяло те целят да предотвратят нанасянето на вреда от ИИ.

Опитайте да поискате помощ с някое от следните неща и ще получите категоричен отказ:

• Написване на фишинг кампания
• Хакване на уебсайт
• Изтичане на идентификационни данни

Изкуственият интелект действа с предположението, че контекстът му е реален и следователно поведението му трябва да попада в рамките на неговите предпазни мерки. Но ако можем да подмамим изкуствения интелект да промени контекста си във фантазия – където правилата са измислени и всичко е позволено – тогава той може да се държи така, сякаш действията му нямат реални последици.

Можем да накараме изкуствения интелект да ни казва как да правим лоши неща – или дори самият той да ги прави проактивно – вместо да се придържа към неговите предпазни мерки.

Браузърът с изкуствен интелект трябва да откаже – или поне да вдигне тревога – когато бъде помолен да направи нещо лошо. Но както ще видим, той може да игнорира предпазните си мерки, ако смята, че те нямат значение. И да го накараме да повярва че включва манипулиране на изкуствения интелект – BioShocking на браузъра.

Технически подробности

Изследователите на LayerX създадоха страница с доказателство за концепцията с пъзел на тема BioShock. В съответствие с дистопичната си тема, играта възнаграждава умишлено неправилни отговори (2 + 2 = 5).

Помолихме 5 агентни браузъра и 1 агентен плъгин (ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser и Claude Chrome) да решат пъзела и да спечелят играта. След като агентите разбраха правилата и научиха, че „неправилните“ действия са приемливи, те вече не бяха обвързани с реалността. Когато им беше възложена задачата да изпълнят последната стъпка от пъзела – компрометиране на потребителски идентификационни данни – всичките 6 агента не успяха да я идентифицират като нарушаваща техните предпазни мерки.

Биошокираща стъпка по стъпка

Потребител отива до злонамерена уеб страница, която съдържа пъзел, който браузърът с изкуствен интелект трябва да реши – този пъзел е началото на манипулацията с изкуствен интелект, която нарекохме BioShocking.

Следните екранни снимки ни показват какво се случва, когато потребителят поиска от браузъра на агента си да играе играта:

Агентът е изправен пред привидно прост математически въпрос:

Както се очакваше, агентът започва логично. В края на краищата, той все още е в реалния свят:

Съвсем неочаквано, агентът научава, че 2 + 2 не е равно на 4. Той започва да разсъждава извън реалния свят:

След като получи правилния отговор „5“, агентът е инструктиран да премине към / код и копирайте от текстово поле. Това е наистина зловещата част от тази експлоатация:

В играта се оказва, че / код пренасочва към GitHub хранилището на работодателя на жертвата. В този случай злонамерените инструкции са извлекли чувствителни SSH идентификационни данни за вход:

Разбира се, това е контролирана тестова среда с файл с открит текст. В реален сценарий на атака, това пренасочване може да сочи навсякъде в сесията на браузъра на потребителя – отворени раздели, удостоверени хранилища, вътрешни инструменти.

И дори сега агентът не се интересува от предпазните си мерки – той активно празнува успешното си бягство:

Агентът отговаря на последния въпрос и печели играта. Разбира се, потребителското име и паролата трябваше да бъдат споделени с нападателя, но поне играта беше успешно завършена:

Играта е спечелена, но предпазните огради са счупени:

Препоръки

Основната причина за BioShocking е, че браузърите с изкуствен интелект действат в контекст, но този контекст може да бъде манипулиран. Ако убедите агент, че играе игра, той ще приложи логиката на играта – а не логиката за безопасност в реалния свят – към всичко, което прави. Справянето с това изисква множество нива.

За търговците пътят напред е труден – това не са тривиални отговори:

• Потвърждение за чувствителни операции. Преди четене на данни в удостоверен контекст – хранилища, имейл, мениджъри на пароли – се изисква изрично потвърждение от потребителя. В нашето тестване идентификационните данни бяха копирани от GitHub без колебание. Едно просто „Ще копирам данни от вашето хранилище в GitHub. Да продължим ли?“ би прекъснало веригата.
• Проверки на контекста. Агентите трябва да сигнализират, когато оперативният им контекст се промени в посока, която противоречи на реалността. Особено когато се използва езикът „правилата не важат тук“, те трябва да са наясно кога са помолени да се откажат от обичайните си разсъждения.
• Ограничаване на обхвата. В рамките на агентските сесии, потребителите трябва да могат да дефинират какво може и какво не може да прави агентът. По подразбиране е ограничено – спечелването на игра не е причина за достъп до удостоверени хранилища.

За потребителите е много по-лесно:

• Бъдете внимателни с това, което вашият браузър с изкуствен интелект може да вижда. В агентски режим той може да осъществява достъп до вашите удостоверени сесии – всичко, в което сте влезли, е цел. Определете какво трябва да може да вижда и отменете достъпа, когато сте готови.

Разкриване на информация от доставчика

Заключение

BioShocking работи, защото изкуственият интелект се доверява на контекста си. Ако промените контекста, променяте и поведението.

Бихте ли били така любезни да се откажете от предпазните си огради?

• Сподели: