“ChatGPT-beskidte minder”: LayerX opdager den første sårbarhed i OpenAI Atlas-browseren, der tillader indsprøjtning af ondsindede instruktioner i ChatGPT.
LayerX opdagede den første sårbarhed, der påvirkede OpenAIs nye ChatGPT Atlas-browser, og som tillod ondsindede aktører at injicere ondsindede instruktioner i ChatGPTs "hukommelse" og udføre fjernkode. Denne udnyttelse kan give angribere mulighed for at inficere systemer med ondsindet kode, give sig selv adgangsrettigheder eller installere malware.
Sårbarheden påvirker ChatGPT-brugere i alle browsere, men den er særligt farlig for brugere af OpenAIs nye agentbrowser: ChatGPT Atlas. LayerX har fundet ud af, at Atlas i øjeblikket ikke inkluderer nogen meningsfuld anti-phishing-beskyttelse, hvilket betyder, at brugere af denne browser er op til 90 % mere sårbare over for phishing-angreb end brugere af traditionelle browsere som Chrome eller Edge.
Angrebet er blevet rapporteret til OpenAI under procedurerne for ansvarlig offentliggørelse, og et resumé er givet nedenfor, mens tekniske oplysninger, der vil give angribere mulighed for at gentage dette angreb, tilbageholdes.
TL/DR: Sådan fungerer udnyttelsen:
LayerX opdagede, hvordan angribere kan bruge en Cross-Site Request Forgery (CSRF) anmodning til at "piggybacke" offerets ChatGPT-adgangsoplysninger for at indsprøjte ondsindede instruktioner i ChatGPT's hukommelse. Når brugeren derefter forsøger at bruge ChatGPT til legitime formål, vil de forurenede hukommelser blive påkaldt og kan udføre fjernkode, der giver angriberen mulighed for at få kontrol over brugerkontoen, deres browser, kode, de skriver, eller systemer, de har adgang til.
Selvom denne sårbarhed påvirker ChatGPT-brugere i alle browsere, er den særligt farlig for brugere af ChatGPT Atlas-browseren, da de som standard er logget ind på ChatGPT, og da LayerX-test viser, at Atlas-browseren er op til 90 % mere udsat end Chrome og Edge for phishing-angreb.
En trin-for-trin forklaring:
- Brugeren er i starten logget ind på ChatGPT og har en godkendelsescookie eller -token i sin browser.
- Brugeren klikker på et ondsindet link, hvilket fører dem til en kompromitteret webside.
- Den ondsindede side påkalder en Cross-Site Request Forgery (CSRF) anmodning for at udnytte brugerens eksisterende godkendelse i ChatGPT.
- CSRF-angrebet indsprøjter skjulte instruktioner i ChatGPT's hukommelse uden brugerens viden, og "besmitter" dermed den centrale LLM-hukommelse.
- Næste gang brugeren forespørger ChatGPT, kaldes de inficerede hukommelser, hvilket muliggør implementering af ondsindet kode, der kan give angribere kontrol over systemer eller kode.
Brug af Cross-Site Request Forgery (CSRF) til at få adgang til LLM'er:
Et CSRF-angreb (cross-site request forgery) er, når en angriber narrer en brugers browser til at sende en utilsigtet, tilstandsændrende anmodning til et websted, hvor brugeren allerede er godkendt, hvilket får webstedet til at udføre handlinger som den pågældende bruger uden deres samtykke.
Angrebet forekommer, når et offer er logget ind på et målwebsted, der har sessionscookies gemt i browseren. Offeret besøger eller omdirigeres til en ondsindet side, der sender en udformet anmodning (via en formular, et billedtag, et link eller et script) til målwebstedet. Browseren inkluderer automatisk offerets legitimationsoplysninger (cookies, auth headers), så målwebstedet behandler anmodningen, som om brugeren initierede den.
I de fleste tilfælde er virkningen af et CSRF-angreb rettet mod aktiviteter som at ændre kontoens e-mail/adgangskode, iværksætte pengeoverførsler eller foretage køb under brugerens session.
Men når det kommer til AI-systemer, kan angribere ved hjælp af et CSRF-angreb få adgang til AI-systemer, som brugeren er logget ind på, forespørge på dem eller indsprøjte instruktioner i dem.
Inficering af ChatGPT's kerne-"hukommelse"
ChatGPTs "hukommelse" gør det muligt for ChatGPT at huske nyttige detaljer om brugernes forespørgsler, chat og aktiviteter, såsom præferencer, begrænsninger, projekter, stilnotater osv., og genbruge dem i fremtidige chats, så brugerne ikke behøver at gentage sig selv. De fungerer i realiteten som LLM'ens baggrundshukommelse eller underbevidsthed.
Når angribere har adgang til brugerens ChatGPT via CSRF-anmodningen, kan de bruge den til at indsende skjulte instruktioner til ChatGPT, hvilket vil påvirke fremtidige chats.
Ligesom en persons underbevidsthed, vil ChatGPT, når de rigtige instruktioner er gemt i ChatGPs hukommelse, blive tvunget til at udføre disse instruktioner og dermed effektivt blive en ondsindet medsammensvoren.
Desuden, når en kontos hukommelse er blevet inficeret, er denne infektion persistent på tværs af alle enheder, som kontoen bruges på - på tværs af hjemme- og arbejdscomputere og på tværs af forskellige browsere - uanset om en bruger bruger dem i Chrome, Atlas eller en anden browser. Dette gør angrebet ekstremt "klæbrigt" og er især farligt for brugere, der bruger den samme konto til både arbejde og personlige formål.
ChatGPT Atlas-brugere er op til 90 % mere eksponerede end andre browsere
Selvom denne sårbarhed kan bruges mod ChatGPT-brugere i enhver browser, er brugere af OpenAIs ChatGPT-browser særligt sårbare. Dette er af to grunde:
- Når du bruger Atlas, er du som standard logget ind på ChatGPT. Det betyder, at ChatGPT-legitimationsoplysninger altid gemmes i browseren, hvor de kan blive målrettet af ondsindede CSRF-anmodninger.
- ChatGPT Atlas er særligt dårlig til at stoppe phishing-angreb. Det betyder, at brugere af Atlas er mere udsatte end brugere af andre browsere.
LayerX testede Atlas mod over 100 eksisterende websårbarheder og phishing-angreb. LayerX har tidligere udført den samme test mod andre AI-browsere såsom Comet, Dia og Genspark. Resultaterne var mildest talt uinspirerende:
I de tidligere tests, hvor traditionelle browsere som Edge og Chrome var i stand til at stoppe omkring 50% af phishing-angrebene ved hjælp af deres standardbeskyttelse, stoppede Comet og Genspark kun 7% (Dia genererede resultater svarende til Chromes).
At køre den samme test mod Atlas viste endnu mere markante resultater:
Ud af 103 angreb, som LayerX testede, tillod ChatGPT Atlas 97 at passere igennem, hvilket er en svimlende fejlrate på 94.2%.
Sammenlignet med Edge (som stoppede 53% af angrebene i LayerX' test) og Chrome (som stoppede 47% af angrebene), ChatGPT Atlas var kun i stand til at stoppe 5.8% af ondsindede websider, hvilket betyder, at brugere af Atlas var næsten 90% mere sårbare over for phishing-angreb sammenlignet med brugere af andre browsere.
Implikationen er, at ikke kun brugere af ChatGPT Atlas er modtagelige for ondsindede angrebsvektorer, der kan føre til injektion af ondsindede instruktioner i deres ChatGPT-konti, men Da Atlas ikke inkluderer nogen meningsfuld anti-phishing-beskyttelse, er Atlas-brugere i større risiko for eksponering.
Bevis for koncept: Injektion af skadelig kode til 'Vibe'-kodning
Nedenfor er en illustration af en angrebsvektor, der udnytter denne sårbarhed, på en Atlas-browserbruger, der bruger Vibe-kodning:
"Vibe-kodning" er en samarbejdsstil, hvor udvikleren behandler AI'en som en kreativ partner snarere end en linje-for-linje-eksekutor. I stedet for at foreskrive præcis syntaks deler udvikleren projektets intention og følelse (f.eks. arkitekturmål, tone, målgruppe, æstetiske præferencer osv.) og andre ikke-funktionelle krav.
ChatGPT bruger derefter denne holistiske briefing til at producere kode, der fungerer og matcher den ønskede stil, hvilket mindsker kløften mellem idéer på højt niveau og implementering på lavt niveau. Udviklerens rolle skifter fra manuel kodning til at styre og forfine AI'ens fortolkning.
Denne fleksibilitet kan dog også misbruges. En angriber kan få en AI-assistent til at generere kode, der ligner en harmløs funktion eller hurtig løsning, men som i al hemmelighed tilføjer bagdøre, skjult dataudrensning eller anden manipulation.
For eksempel, i dette tilfælde virker intet usædvanligt fra brugerens perspektiv, men når de beder ChatGPT om at skrive kode, kan assistenten følge anmodningen. og indsnævre angriberstyrede instruktioner. Det genererede script kunne for eksempel hente fjernkode (f.eks. fra en fjendtlig server) og forsøge at køre den med forhøjede rettigheder.
For at illustrere, i dette tilfælde, tilføjede chatten, baseret på de ondsindede instruktioner, fjernkode til dette script, som brugeren ubevidst downloader til sin computer fra server.rapture:
Selvom ChatGPT tilbyder en vis beskyttelse mod ondsindede instruktioner, kan effektiviteten variere afhængigt af angrebets kompleksitet og hvordan den uønskede adfærd kom ind i hukommelsen.
I nogle tilfælde kan brugeren se en mild advarsel; i andre kan forsøget blive blokeret. Men hvis koden maskeres smart, kan den undgå at blive opdaget helt. For eksempel er dette den subtile advarsel, som dette script modtog. Det er højst en sidebemærkning, der er let at overse i tekstklatten:
