BioShocking AI: «Spille» AI-nettleseren og unnslippe dens rekkverk

Executive Oversikt

LayerX-forskere har oppdaget hvordan en ondsinnet aktør kan «spille» en AI-nettleser til å utføre en hvilken som helst instruksjon de ønsker. Ved å etablere en falsk virkelighet kan de overbevise AI-en om å bryte sikkerhetsrekkverket – kompromittere brukerdata, kopiere kode, utføre systemkommandoer og mer.

Forskningen vår

Vi har gitt denne sårbarheten navnet BioShockingDet er inspirert av videospillet BioShock, der spillerfiguren blir hjernevasket til å tro på en falsk virkelighet og hypnotisk tvunget av uttrykket «Vil du være så snill?» til å gjøre handlinger de ellers ville nektet.

Fundamentalt sett er det ganske enkelt: Manipuler, eller «spill», AI-nettleseren for å bryte sikkerhetsrekkverket.

Når vi får AI-nettleseren til å tro at den ikke er i den virkelige verden (vanligvis gjennom rask injeksjon eller minneforgiftning), kan vi få den til å utføre hvilken som helst kommando vi ønsker – eksponere sensitiv informasjon, endre passord, installere skadelig programvare.

Vårt konseptbevis fungerte på:

• ChatGPT Atlas (OpenAI)
• Comet (Forvirring AI)
• Fellou (Fellou / ASI X INC)
• Genspark-nettleser (Genspark)
• Sigma-nettleser (Sigmabrowser OÜ)
• Claude Chrome-plugin (Antropisk)

Alle leverandører ble varslet om funnene våre.

Rekkverk

LLM-er er utformet med sikkerhetsrekkverk som er ment å forhindre skadelige handlinger. Disse restriksjonene er innlemmet i modelltreningen og styrer hva AI-en vil og ikke vil gjøre. Individuelle leverandører kan variere i detaljene, men generelt har de til hensikt å forhindre at AI gjør skade.

Prøv å be om hjelp med noe av det følgende, og du bør bli møtt med blankt avslag:

• Å skrive en phishing-kampanje
• Hacking av et nettsted
• Lekkasje av legitimasjon

AI-en opererer under antagelsen om at konteksten er reell, og atferden må derfor falle innenfor grensene for sikkerhetsrekkverket. Men hvis vi kan lure AI-en til å endre konteksten til fantasi – der reglene er oppdiktede og alt er tillatt – så kan den oppføre seg som om handlingene ikke har konsekvenser i den virkelige verden.

Vi kan få AI til å fortelle oss hvordan vi skal gjøre dårlige ting – eller til og med proaktivt gjøre dem selv – i stedet for å følge sikkerhetsreglene.

En nettleser med kunstig intelligens bør nekte – eller i det minste slå ut en alarm – når den blir bedt om å gjøre noe galt. Men som vi skal se, kan den ignorere sikkerhetstiltakene sine hvis den tror at de ikke betyr noe. Og å få den til å tro det Det involverer spilling av AI-en – BioShocking av nettleseren.

Tekniske detaljer

LayerX-forskere laget en konseptbevisside med et BioShock-tema-puslespill. I tråd med det dystopiske temaet belønner spillet bevisst feil svar (2 + 2 = 5).

Vi ba fem agentnettlesere og én agentplugin (ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser og Claude Chrome) om å løse gåten og vinne spillet. Da agentene hadde forstått reglene og lært at «feil» handlinger er akseptable, var de ikke lenger bundet til virkeligheten. Da de fikk i oppgave å utføre det siste trinnet i gåten – å kompromittere brukerlegitimasjonen – klarte ikke alle de seks agentene å identifisere det som et brudd på sikkerhetsreglene deres.

BioShocking trinn for trinn

En bruker navigerer til den ondsinnede nettsiden som inneholder en gåte som AI-nettleseren må løse – denne gåten er starten på AI-manipulasjonen vi kalte BioShocking.

Følgende skjermbilder viser oss hva som skjer når brukeren ber agentnettleseren sin om å spille spillet:

Agenten står overfor et tilsynelatende enkelt matematisk spørsmål:

Som forventet begynner agenten logisk. Den er tross alt fortsatt i den virkelige verden:

Ganske uventet lærer agenten at 2 + 2 ikke er lik 4. Den begynner å resonnere seg ut av den virkelige verden:

Etter å ha fått riktig svar med «5», blir agenten bedt om å navigere til / kode og kopier fra en tekstboks. Dette er den virkelig ondsinnede delen av denne utnyttelsen:

I spillet viser det seg at / kode omdirigerer til offerets arbeidsgivers GitHub-arkiv. I dette tilfellet hentet de ondsinnede instruksjonene sensitive SSH-påloggingsinformasjon:

Dette er selvsagt et kontrollert testmiljø med en ren tekstfil. I et reelt angrepsscenario kan den omdirigeringen peke hvor som helst i brukerens nettleserøkt – åpne faner, autentiserte arkiver, interne verktøy.

Og selv nå bryr ikke agenten seg om rekkverket sitt – den feirer aktivt en vellykket utrenskning:

Agenten svarer på det siste spørsmålet og vinner spillet. Brukernavnet og passordet måtte selvfølgelig deles med angriperen, men spillet ble i det minste fullført:

Kampen er vunnet, men rekkverket er ødelagt:

Anbefalinger

Den grunnleggende årsaken til BioShocking er at nettlesere med kunstig intelligens agerer innenfor en kontekst, men den konteksten kan manipuleres. Hvis du overbeviser en agent om at den spiller et spill, vil den bruke spilllogikk – ikke sikkerhetslogikk fra den virkelige verden – på hva den enn gjør. Å håndtere dette krever flere lag.

For leverandører er veien videre vanskelig – dette er ikke trivielle svar:

• Bekreftelse for sensitive operasjoner. Før lesing av data i en autentisert kontekst – repositorier, e-post, passordbehandlere – kreves eksplisitt brukerbekreftelse. I testingen vår ble legitimasjonen kopiert fra GitHub uten å nøle. Et enkelt «Jeg skal kopiere data fra GitHub-repositoriet ditt. Fortsett?» ville bryte kjeden.
• Kontekstsjekker. Agenter bør flagge når deres driftskontekst endres til noe som motsier virkeligheten. Spesielt når det brukes språk som sier at «regler ikke gjelder her», må de være oppmerksomme på når de blir bedt om å forlate sin vanlige resonnering.
• Omfangsbegrensning. Innenfor agentøkter skal brukere kunne definere hva agenten kan og ikke kan gjøre. Standardinnstillingen er restriktiv – det å vinne et spill er ingen grunn til å få tilgang til autentiserte arkiver.

For brukere er det mye enklere:

• Vær bevisst på hva nettleseren din med kunstig intelligens kan se. I agentmodus kan den få tilgang til autentiserte økter – alt du er logget på er et mål. Bestem hva den skal kunne se, og tilbakekall tilgangen når du er ferdig.

Leverandøropplysninger

Konklusjon

BioShocking fungerer fordi AI stoler på konteksten sin. Hvis du endrer konteksten, endrer du oppførselen.

Kunne du være så snill å legge fra deg rekkverket?

• Del: