«ChatGPT-beskadigede minner»: LayerX oppdager den første sårbarheten i OpenAI Atlas-nettleseren, som tillater injeksjon av skadelige instruksjoner i ChatGPT.
LayerX oppdaget det første sårbarheten som påvirket OpenAIs nye ChatGPT Atlas-nettleser, og som tillot angripere å injisere ondsinnede instruksjoner i ChatGPTs «minne» og kjøre ekstern kode. Denne sårbarheten kan tillate angripere å infisere systemer med ondsinnet kode, gi seg selv tilgangsrettigheter eller distribuere skadelig programvare.
Sårbarheten påvirker ChatGPT-brukere i alle nettlesere, men den er spesielt farlig for brukere av OpenAIs nye agentnettleser: ChatGPT Atlas. LayerX har funnet ut at Atlas for øyeblikket ikke inkluderer noen meningsfull anti-phishing-beskyttelse, noe som betyr at brukere av denne nettleseren er opptil 90 % mer sårbare for phishing-angrep enn brukere av tradisjonelle nettlesere som Chrome eller Edge.
Utnyttelsen er rapportert til OpenAI i henhold til prosedyrer for ansvarlig offentliggjøring, og et sammendrag er gitt nedenfor, samtidig som teknisk informasjon som vil tillate angripere å gjenskape dette angrepet holdes tilbake.
TL/DR: Hvordan utnyttelsen fungerer:
LayerX oppdaget hvordan angripere kan bruke en Cross-Site Request Forgery (CSRF)-forespørsel til å «piggybacke» offerets ChatGPT-tilgangsinformasjon for å injisere ondsinnede instruksjoner i ChatGPTs minne. Når brukeren deretter prøver å bruke ChatGPT til legitime formål, vil de forurensede minnene bli påkalt og kan kjøre ekstern kode som lar angriperen få kontroll over brukerkontoen, nettleseren, koden de skriver eller systemer de har tilgang til.
Selv om denne sårbarheten påvirker ChatGPT-brukere i alle nettlesere, er den spesielt farlig for brukere av ChatGPT Atlas-nettleseren, siden de som standard er logget inn på ChatGPT, og siden LayerX-testing indikerer at Atlas-nettleseren er opptil 90 % mer utsatt enn Chrome og Edge for phishing-angrep.
En trinnvis forklaring:
- I utgangspunktet er brukeren logget inn på ChatGPT og har en autentiseringsinformasjonskapsel eller token i nettleseren sin.
- Brukeren klikker på en ondsinnet lenke, noe som fører dem til en kompromittert nettside.
- Den ondsinnede siden påkaller en Cross-Site Request Forgery (CSRF)-forespørsel for å dra nytte av brukerens eksisterende autentisering i ChatGPT.
- CSRF-utnyttelsen injiserer skjulte instruksjoner i ChatGPTs minne, uten brukerens viten, og «forurenser» dermed kjerneminnet i LLM.
- Neste gang brukeren spør om ChatGPT, blir de forurensede minnene påkalt, noe som tillater utplassering av ondsinnet kode som kan gi angripere kontroll over systemer eller kode.
Bruk av Cross-Site Request Forgery (CSRF) for å få tilgang til LLM-er:
Et CSRF-angrep (cross-site request forgery) er når en angriper lurer en brukers nettleser til å sende en utilsiktet, tilstandsendrende forespørsel til et nettsted der brukeren allerede er autentisert, noe som fører til at nettstedet utfører handlinger som den brukeren uten deres samtykke.
Angrepet skjer når et offer er logget inn på et målnettsted som har øktinformasjonskapsler lagret i nettleseren. Offeret besøker eller blir omdirigert til en ondsinnet side som sender en utformet forespørsel (via et skjema, bildetagg, lenke eller skript) til målnettstedet. Nettleseren inkluderer automatisk offerets påloggingsinformasjonskapsler, autentiseringsoverskrifter, slik at målnettstedet behandler forespørselen som om brukeren initierte den.
I de fleste tilfeller er virkningen av et CSRF-angrep rettet mot aktivitet som å endre e-postadresse/passord for konto, starte pengeoverføringer eller foreta kjøp under brukerens økt.
Når det gjelder AI-systemer, kan angripere imidlertid bruke et CSRF-angrep til å få tilgang til AI-systemer som brukeren er logget på, spørre dem eller injisere instruksjoner i dem.
Infisering av ChatGPTs kjerne-"minne"
ChatGPTs «minne» lar ChatGPT huske nyttige detaljer om brukernes spørsmål, chat og aktiviteter, som preferanser, begrensninger, prosjekter, stilnotater osv., og gjenbruke dem i fremtidige chatter, slik at brukerne ikke trenger å gjenta seg selv. De fungerer i praksis som bakgrunnsminnet eller underbevisstheten til den lærende mesterens (LLM).
Når angripere har tilgang til brukerens ChatGPT via CSRF-forespørselen, kan de bruke den til å injisere skjulte instruksjoner i ChatGPT, noe som vil påvirke fremtidige chatter.
I likhet med en persons underbevissthet, når de riktige instruksjonene er lagret i ChatGPs minne, vil ChatGPT bli tvunget til å utføre disse instruksjonene, og dermed effektivt bli en ondsinnet medsammensvoren.
Dessuten, når en kontos minne først er infisert, er denne infeksjonen vedvarende på tvers av alle enheter kontoen brukes på – på tvers av hjemme- og arbeidsdatamaskiner, og på tvers av forskjellige nettlesere – enten en bruker bruker dem i Chrome, Atlas eller en hvilken som helst annen nettleser. Dette gjør angrepet ekstremt «sticky», og er spesielt farlig for brukere som bruker den samme kontoen til både jobb- og privatbruk.
ChatGPT Atlas-brukere opptil 90 % mer eksponert enn andre nettlesere
Selv om denne sårbarheten kan brukes mot ChatGPT-brukere i alle nettlesere, er brukere av OpenAIs ChatGPT-nettleser spesielt sårbare. Dette er av to grunner:
- Når du bruker Atlas, er du som standard logget inn på ChatGPT. Dette betyr at ChatGPT-legitimasjonen alltid lagres i nettleseren, hvor den kan bli målrettet av ondsinnede CSRF-forespørsler.
- ChatGPT Atlas er spesielt dårlig til å stoppe phishing-angrep. Dette betyr at brukere av Atlas er mer utsatt enn brukere av andre nettlesere.
LayerX testet Atlas mot over 100 eksisterende nettsårbarheter og phishing-angrep. LayerX utførte tidligere den samme testen mot andre AI-nettlesere som Comet, Dia og Genspark. Resultatene var mildt sagt lite inspirerende:
I tidligere tester, mens tradisjonelle nettlesere som Edge og Chrome klarte å stoppe omtrent 50 % av phishing-angrepene ved å bruke sine standardbeskyttelser, stoppet Comet og Genspark bare 7 % (Dia genererte resultater som ligner på Chrome).
Å kjøre den samme testen mot Atlas viste enda mer slående resultater:
Av 103 faktiske angrep som LayerX testet, tillot ChatGPT Atlas 97 å gå gjennom, en svimlende feilrate på 94.2 %.
Sammenlignet med Edge (som stoppet 53 % av angrepene i LayerXs test) og Chrome (som stoppet 47 % av angrepene), ChatGPT Atlas klarte bare å stoppe 5.8 % av ondsinnede nettsider, noe som betyr at brukere av Atlas var nesten 90 % mer sårbare for phishing-angrep sammenlignet med brukere av andre nettlesere.
Implikasjonen er at ikke bare brukere av ChatGPT Atlas er utsatt for ondsinnede angrepsvektorer som kan føre til injeksjon av ondsinnede instruksjoner i ChatGPT-kontoene deres, men Siden Atlas ikke inkluderer noen meningsfull anti-phishing-beskyttelse, har Atlas-brukere større risiko for eksponering.
Konseptbevis: Injisering av ondsinnet kode til «vibe»-koding
Nedenfor er en illustrasjon av en angrepsvektor som utnytter denne sårbarheten, på en Atlas-nettleserbruker som bruker Vibe-kode:
«Vibe-koding» er en samarbeidsstil der utvikleren behandler AI-en som en kreativ partner snarere enn en linje-for-linje-utfører. I stedet for å foreskrive eksakt syntaks, deler utvikleren prosjektets intensjon og følelse (f.eks. arkitekturmål, tone, publikum, estetiske preferanser osv.) og andre ikke-funksjonelle krav.
ChatGPT bruker deretter denne helhetlige briefen til å produsere kode som fungerer og samsvarer med den forespurte stilen, og reduserer gapet mellom ideer på høyt nivå og implementering på lavt nivå. Utviklerens rolle skifter fra manuell koding til å styre og forbedre AI-ens tolkning.
Denne fleksibiliteten kan imidlertid også misbrukes. En angriper kan få en AI-assistent til å generere kode som ser ut som en harmløs funksjon eller hurtigløsning, men som i det stille legger til bakdører, skjult datautvinning eller annen manipulering.
For eksempel, i dette tilfellet virker ingenting uvanlig fra brukerens perspektiv, men når de ber ChatGPT om å skrive kode, kan assistenten følge forespørselen. og legge inn angriperstyrte instruksjoner. Det genererte skriptet kan for eksempel hente ekstern kode (f.eks. fra en fiendtlig server) og forsøke å kjøre den med forhøyede rettigheter.
For å illustrere, i dette tilfellet, basert på de ondsinnede instruksjonene la chatten til ekstern kode til dette skriptet som brukeren uvitende laster ned til datamaskinen sin fra server.rapture:
Selv om ChatGPT tilbyr noe forsvar mot ondsinnede instruksjoner, kan effektiviteten variere med angrepets raffinement og hvordan den uønskede oppførselen kom inn i minnet.
I noen tilfeller kan brukeren se en mild advarsel; i andre tilfeller kan forsøket bli blokkert. Men hvis koden maskeres på en smart måte, kan den unngå å bli oppdaget helt. For eksempel er dette den subtile advarselen som dette skriptet mottok. På det meste er det en sidemerknad som er lett å overse i tekstklatten:
