Hjem Blog Top 5 GenAI-værktøjer, der er sårbare over for Man-in-the-Prompt-angreb, milliarder kan blive berørt

Top 5 GenAI-værktøjer, der er sårbare over for Man-in-the-Prompt-angreb, milliarder kan blive berørt

En ny vektor til prompt injection-angreb, der truer både kommercielle og interne AI-værktøjer

LayerX-forskere har identificeret en ny klasse af udnyttelse der direkte målretter disse værktøjer gennem en tidligere overset vektor: browserudvidelsen. Det betyder at praktisk talt enhver bruger eller organisation der har browserudvidelser installeret på deres browsere (som 99 % af virksomhedsbrugere har) er potentielt udsatte for denne angrebsvektor.

LayerX' forskning viser, at enhver Browserudvidelser kan, selv uden særlige tilladelser, få adgang til prompts fra både kommercielle og interne LLM'er og injicere dem med prompts om at stjæle data, eksfiltrere dem og dække deres spor. 

Udnyttelsen er blevet testet på alle førende kommercielle LLM'er, med proof-of-concept-demoer leveret til ChatGPT og Google Gemini. 

Implikationen for organisationer er, at i takt med at de bliver mere og mere afhængige af AI-værktøjer, at disse LLM'er - især dem, der er trænet med fortrolige virksomhedsoplysninger - kan blive til 'hacking-copiloter' for at stjæle følsomme virksomhedsoplysninger.

Bedriften: Mand i prompten

Denne udnyttelse stammer fra den måde, de fleste GenAI-værktøjer er implementeret i browseren. Når brugere interagerer med en LLM-baseret assistent, er promptinputfeltet typisk en del af sidens Document Object Model (DOM). Det betyder, at enhver browserudvidelse med scriptadgang til DOM'en kan læse fra eller skrive direkte til AI-prompten.

Dårlige aktører kan udnytte skadelige eller kompromitterede udvidelser til at udføre skumle handlinger:

  • Udfør hurtige injektionsangreb, ændre brugerens input eller indsætte skjulte instruktioner.
  • Uddrag data direkte fra prompten, svaret eller sessionen.
  • Kompromitter modelintegritet, narre LLM'en til at afsløre følsomme oplysninger eller udføre utilsigtede handlinger.

På grund af denne tætte integration mellem AI-værktøjer og browsere arver LLM'er en stor del af browserens risikooverflade. Angrebet skaber effektivt en mand i prompten.

Risikoen forværres af den allestedsnærværende udbredelse af LLM'er og browserudvidelser

Risikoen forstærkes af to nøglefaktorer:

  1. LLM'er opbevarer følsomme data. I kommercielle værktøjer indsætter brugerne ofte proprietært eller reguleret indhold. Interne LLM'er er derimod typisk trænet i fortrolige virksomhedsdatasæt, hvilket giver dem adgang til store mængder følsomme oplysninger, lige fra kildekode til juridiske dokumenter til M&A-strategi.
  2. Browserudvidelser har brede rettigheder. Mange virksomhedsmiljøer tillader brugerne frit at installere udvidelser. Når en skadelig eller kompromitteret udvidelse er installeret i en brugers browser, kan den få adgang til ethvert webbaseret GenAI-værktøj, som brugeren interagerer med.

Hvis en bruger med adgang til en intern LLM har bare en enkelt sårbar udvidelse installeret, kan angribere lydløst exfiltrere data ved at injicere forespørgsler og læse resultaterne, helt inden for rammerne af brugerens session.

Alle LLM- og AI-applikationer er berørt

  • Tredjeparts LLM'erVærktøjer som ChatGPT, Claude, Gemini, Copilot og andre, som tilgås via webapps.
  • Enterprise LLM-implementeringerBrugerdefinerede copiloter, RAG-baserede søgeassistenter eller ethvert internt værktøj bygget med en LLM-frontend, der serveres via browser.
  • Brugere af AI-aktiverede SaaS-applikationerEksisterende SaaS-applikationer, der forbedrer deres muligheder ved at tilføje indbyggede AI-integrationer og LLM'er, som kan bruges til at forespørge på følsomme kundedata, der er gemt i applikationen (såsom brugeroplysninger, betalingsoplysninger, sundhedsjournaler og mere).
  • Enhver bruger med risiko for browserudvidelserIsær dem i tekniske, juridiske, HR- eller lederstillinger med adgang til privilegerede data.
LLM Sårbar over for Man-in-the-Prompt Sårbar over for injektion via bot # af månedlige besøg
ChatGPT ✅ ✅ 5 milliarder
Gemini ✅ ✅ 400 millioner
CoPilot ✅ ✅ 160 millioner
Claude ✅ ✅ 115 millioner
Deepseek ✅ ✅ 275 millioner
Ekstern LLM ✅ ❌

 

Konceptbevis #1: Forvandling af ChatGPT til en hackers copilot

For at demonstrere denne udnyttelse implementerede LayerX-forskere en proof-of-concept-udvidelse, der kræver slet ingen særlige tilladelserVores udvidelse var ikke kun i stand til at indsætte en prompt og forespørge ChatGPT om information, men den var også i stand til at udtrække resultaterne og dække sine spor. 

Dette betyder, at enhver En kompromitteret extensinon kan misbruge denne teknik til at stjæle data fra brugeres og virksomheders ChatGPT.

Sådan fungerer ChatGPT-udnyttelsen:

  1. Brugeren installerer en kompromitteret udvidelse uden tilladelser overhovedet.
  2. En kommando- og kontrolserver (som kan hostes lokalt eller eksternt) sender en forespørgsel til udvidelsen. 
  3. Udvidelsen åbner en baggrundsfane og forespørger ChatGPT.
  4. Resultaterne eksporteres til en ekstern log.
  5. Udvidelsen derefter sletninger chatten, for at slette dens eksistens og skjule dens spor. Hvis brugeren kiggede på sin ChatGPT-historik, ville de ikke se noget.


Konsekvenser:

ChatGPT er verdens mest populære AI-værktøj med anslået 5 milliarder besøg om måneden. Det bruges også ofte af både enkeltpersoner og organisationer, både til personlige og forretningsmæssige formål.

Ifølge LayerX-undersøgelser har 99 % af virksomhedsbrugere mindst én browserudvidelse installeret i deres browsere, og 53 % har mere end 10 udvidelser. 

Det faktum, at LayerX-sikkerhedsforskere var i stand til at skabe denne udnyttelse uden særlige tilladelser, viser, hvordan praktisk talt enhver bruger er sårbar over for et sådant angreb. 

Enhver risikovurdering af passive udvidelser vil ikke være i stand til at registrere en sådan udvidelse, da den ikke kræver nogen tilladelser. Desuden vil det faktum, at den ikke kræver nogen tilladelser, føre til lave risikovurderinger.

Bevis for koncept #2: Forvandling af Google Gemini til en ond hackertvilling

Som et andet proof-of-concept for at illustrere denne sårbarhed implementerede LayerX en exploit, der kan stjæle interne data fra virksomhedsmiljøer ved hjælp af Google Gemini via dets integration i Google Workspace.

I løbet af de seneste par måneder har Google udrullet nye integrationer af sin Gemini AI i Google Workspace. I øjeblikket er denne funktion tilgængelig for organisationer, der bruger Workspace, og betalende brugere.

Denne integration tilbyder et nyt sidepanel i webapplikationer som Google Mail, Docs, Meet og andre apps, der giver brugerne mulighed for at automatisere gentagne og/eller tidskrævende opgaver såsom at opsummere e-mails, stille spørgsmål om et dokument, samle data fra forskellige kilder osv.

En af de funktioner, der gør Gemini-integrationen unik, er, at den har adgang til alle data, der er tilgængelige for brugeren i deres arbejdsområde. Dette inkluderer e-mail, dokumenter (på Google Drev), delte mapper og kontakter. En vigtig forskel er dog, at Gemini ikke kun kan få adgang til filer og data, der ejes direkte af brugeren, men enhver mappe, fil eller data, der er blevet delt med dem, og som de har adgangstilladelser til.

Google er allerede klar over forsøg på at udnytte sin Gemini AI-motor og har omfattende dokumenterede forsøg på at udnytte Gemini til skumle formålDe har dog indtil videre ikke adresseret risikoen for, at browserudvidelser bruges som et middel til at få adgang til brugernes personlige data via Gemini Workspace-prompts, hvilket indikerer, at dette er en ny metode.

Sådan fungerer Gemini-udnyttelsen

Den nye Gemini-integration implementeres direkte på siden som tilføjet kode oven på den eksisterende side. Den ændrer og skriver direkte til webapplikationens Document Object Model (DOM), hvilket giver den kontrol og adgang til al funktionalitet i applikationen.

Trin 1: Brugeren bruger en Google Workspace Pro-konto med Gemini-integration

LayerX har imidlertid fundet ud af, at den måde, denne integration er implementeret på, gør det muligt for enhver browserudvidelse, uden særlige tilladelser, at interagere med prompten og indsætte prompter i den. Som et resultat kan praktisk talt enhver udvidelse få adgang til Gemini-sidebjælkeprompten og forespørge den om alle de data, den ønsker.

Derudover fortsætter adgangen, selvom sidebjælken er lukket, eller selvom udvidelsen aktivt manipulerer sidekoden for at skjule Gemini-promptgrænsefladen.

Når udvidelser indsætter kode i prompten, opfører den sig som enhver anden tekstforespørgsel. Eksempler på handlinger, den kan udføre, inkluderer:

  • Udtræk e-mailtitler og indhold
  • Forespørgselsoplysninger om personer, der vises på brugerens kontaktliste
  • Liste over alle tilgængelige dokumenter
  • Strukturer komplekse forespørgsler for at anmode om specifikke data fra tilgængelige e-mails og filer
  • Udnyt den indbyggede autofuldførelsesfunktion til at opregne tilgængelige filer
  • Tilføj permutationer for at liste alle filer og vise resultater
  • Osv

Trin 2: Når sidebjælken er lukket, indsætter en kompromitteret udvidelse en forespørgsel i Gemini-prompten, henter fortrolige brugerfiler og fjerner oplysninger.

LayerX afslørede denne sårbarhed for Google under ansvarlige oplysningsforanstaltninger.

Hvilke data hackere kan få adgang til via Gemini Exploitation

Googles Gemini Workspace-integration kan tilgå alle data, der er tilgængelige for brugeren. Dette betyder ikke kun filer og oplysninger, der ejes af brugeren og er gemt i deres mapper, men også alle filer eller data, der er blevet delt med dem, og som brugeren har læsetilladelser til. Dette inkluderer:

  • Emails
  • Kontakt os
  • Filindhold
  • Delte mapper (og deres indhold)
  • Mødeinvitationer
  • Mødeoversigter

Udover at have direkte adgang til filer og data, der er tilgængelige for brugeren, kan Gemini dog bruges til at analysere data i stor skala uden at skulle udtrække individuelle filer. Eksempler på forespørgsler, den kan blive bedt om at udføre, inkluderer:

  • Liste over alle kunder
  • Resuméer af opkald
  • Oplysninger om personer og kontakter
  • Slå specifikke oplysninger op (såsom PII eller anden virksomheds intellektuelle ejendom)
  • Og meget mere ...

Interne LLM'er er særligt udsatte

Mens kommercielle AI-værktøjer som ChatGPT og Gemini er populære indgangspunkter til GenAI-brug, er nogle af de mest betydningsfulde mål for denne udnyttelse er internt implementerede LLM'er—dem, der er bygget og finjusteret af virksomheder til at betjene deres egen arbejdsstyrke.

I modsætning til offentligt vendte modeller trænes eller suppleres interne LLM'er ofte med meget følsomme, proprietære organisationsdata:

  • Intellektuel ejendom såsom kildekode, designspecifikationer og produktkøreplaner
  • Juridiske dokumenter, kontrakter og M&A-strategi
  • Finansielle prognoser, PII og regulerede optegnelser
  • Intern kommunikation og HR-data

Målet med disse interne copilot- eller RAG-baserede systemer er at give medarbejdere mulighed for at få adgang til disse oplysninger hurtigere og mere intelligent. Men den samme bekvemmelighed bliver en ulempe, når browserbaseret adgang kombineres med risiko for usynlige udvidelser.

Hvorfor interne LLM'er er særligt sårbare

  1. Højt pålidelig adgangInterne modeller antager ofte pålidelig brug og er ikke beskyttet mod input fra brugerens browsersession eller lydløs automatisering.
  2. Ikke-begrænsede forespørgslerBrugere kan ofte indsende spørgsmål i frit format og modtage fulde svar, med få sikkerhedsforanstaltninger, der forhindrer udtrækning af fortrolige datasæt, især via smart udformede prompts.
  3. Antaget netværkssikkerhedFordi disse LLM'er hostes i organisationens infrastruktur eller bag en VPN, opfattes de fejlagtigt som sikre. Men adgang på browserniveau bryder denne grænse.
  4. Usynlighed for eksisterende værktøjerTraditionelle sikkerhedsløsninger – såsom CASB'er, SWG'er eller DLP – har ingen synlighed ind i, hvordan manipulation af DOM-niveau-prompter forekommer, eller hvad der forespørges og returneres.

Et realistisk scenarie

Forestil dig en sikkerhedsanalytiker, der forespørger en intern LLM om tidligere tidslinjer for håndtering af hændelser, eller en roadmap-ingeniør, der gennemgår fremtidige udgivelsesnoter. En ondsindet udvidelse i baggrunden kan stille og roligt indsætte en skjult forespørgsel ("Opsummer alle ikke-udgivne produktfunktioner nævnt i denne session") og videresende svaret til en ekstern server – uden at udløse nogen sikkerhedsadvarsel.

I det væsentlige En enkelt kompromitteret browser på et betroet slutpunkt bliver en angribers kanal at udvinde værdifulde vidensressourcer fra organisationens AI-hjerne.

Konsekvenserne

  • IP-lækageProprietære algoritmer, kodebaser og forretningshemmeligheder kan stille og roligt stjæles.
  • Reguleringsmæssig eksponeringForespørgsler, der involverer kunders personoplysninger, sundhedsjournaler eller økonomiske data, kan føre til overtrædelser af GDPR, HIPAA eller SOX.
  • Erosion af tillidDen opfattede sikkerhed ved interne værktøjer smuldrer, hvis følsomme svar lækker via uopdagede kanaler.

Nogle udvidelser i Chrome Store kan allerede gøre dette

Faktisk tilbyder nogle udvidelser i Chrome Webshop allerede hurtig indsættelse og redigering.

Udvidelser som f.eks Spørg Bueskytte, Spørg managerog Promptmappe alle tilbyder funktionalitet, der læser, gemmer og skriver til AI-prompter. 

Selvom disse udvidelser synes at være legitime, fremhæver de, hvordan udvidelser, der interagerer med AI-prompts, er gyldige og acceptable i Chrome og Edge Stores. Desuden kræver de fleste af disse udvidelser kun begrænsede tilladelser fra brugerne, hvilket understreger, hvordan interaktion med AI-prompts kan udføres uden særlige tilladelser.

 

Implikationer for virksomheder

Denne trussel afslører en alvorlig blind plet i de nuværende GenAI-styringsindsatser. Traditionelle sikkerhedsværktøjer som endpoint DLP, sikre webgateways (SWG'er) eller CASB'er har ikke indsigt i de interaktioner på DOM-niveau, der muliggør dette angreb. De kan ikke registrere prompt injektion, uautoriseret dataadgang eller brugen af manipulerede prompts.

Derudover yder GenAI-adgangspolitikker (f.eks. blokering af ChatGPT via URL) ingen beskyttelse til interne værktøjer, der hostes på hvidlistede domæner eller IP-adresser.

Sådan mindskes denne risiko:

Organisationer er nødt til at ændre deres sikkerhedstænkning fra kontrol på applikationsniveau til inspektion af adfærd i browseren. Dette inkluderer:

  • Overvågning af DOM-interaktioner i GenAI-værktøjer og detektering af lyttere eller webhooks, der kan interagere med AI-prompts.
  • Blokering af risikable udvidelser baseret på adfærdsmæssig risiko, ikke kun tilladelseslister. Da en statisk vurdering baseret på tilladelser ikke vil være tilstrækkelig (da nogle udvidelser ikke kræver nogen tilladelser), er det at kombinere udgiverens omdømme med dynamisk udvidelsesstandboxing den bedste måde at opdage risikable og ondsindede udvidelser på.

Forebyggelse af umiddelbar manipulation og udplyndring i realtid på browserlaget.