Home Blogg Topp 5 GenAI-verktøy som er sårbare for «Man-in-the-Prompt»-angrep, milliarder kan bli berørt

Topp 5 GenAI-verktøy som er sårbare for «Man-in-the-Prompt»-angrep, milliarder kan bli berørt

En ny vektor for umiddelbare injeksjonsangrep som truer både kommersielle og interne AI-verktøy

LayerX-forskere har identifisert en ny klasse av utnyttelser som er direkte rettet mot disse verktøyene gjennom en tidligere oversett vektor: nettleserutvidelsen. Dette betyr at praktisk talt enhver bruker eller organisasjon som har nettleserutvidelser installert på nettleserne sine (slik 99 % av bedriftsbrukere har) er potensielt utsatt for denne angrepsvektoren.

LayerXs forskning viser at noen nettleserutvidelsen, selv uten spesielle tillatelser, kan få tilgang til ledetekstene til både kommersielle og interne LLM-er og injisere dem med ledetekster om å stjele data, eksfiltrere dem og dekke over sporene deres. 

Utnyttelsen er testet på alle topp kommersielle LLM-er, med konseptutprøvingsdemoer for ChatGPT og Google Gemini. 

Implikasjonen for organisasjoner er at etter hvert som de blir stadig mer avhengige av AI-verktøy, at disse LLM-ene – spesielt de som er trent med konfidensiell bedriftsinformasjon – kan bli omgjort til «hacking-copiloter» for å stjele sensitiv bedriftsinformasjon.

Utnyttelsen: Mannen i prompten

Denne utnyttelsen stammer fra måten de fleste GenAI-verktøy er implementert i nettleseren. Når brukere samhandler med en LLM-basert assistent, er inputfeltet for ledeteksten vanligvis en del av sidens Document Object Model (DOM). Dette betyr at enhver nettleserutvidelse med skripttilgang til DOM-en kan lese fra eller skrive direkte til AI-ledeteksten.

Dårlige aktører kan utnytte skadelige eller kompromitterte utvidelser til å utføre skumle aktiviteter:

  • Utfør umiddelbare injeksjonsangrep, endre brukerens inndata eller sette inn skjulte instruksjoner.
  • Trekk ut data direkte fra ledeteksten, svaret eller økten.
  • Kompromitter modellens integritet, lure LLM-en til å avsløre sensitiv informasjon eller utføre utilsiktede handlinger.

På grunn av denne tette integrasjonen mellom AI-verktøy og nettlesere, arver LLM-er mye av nettleserens risikoflate. Utnyttelsen skaper effektivt en mann i ledeteksten.

Risikoen forverres av allestedsnærværende LLM-er og nettleserutvidelser

Risikoen forsterkes av to nøkkelfaktorer:

  1. LLM-er oppbevarer sensitive data. I kommersielle verktøy limer brukere ofte inn proprietært eller regulert innhold. Interne LLM-er er derimot vanligvis opplært i konfidensielle bedriftsdatasett, noe som gir dem tilgang til store mengder sensitiv informasjon, alt fra kildekode til juridiske dokumenter og fusjons- og oppkjøpsstrategi.
  2. Nettleserutvidelser har brede rettigheter. Mange bedriftsmiljøer lar brukere installere utvidelser fritt. Når en skadelig eller kompromittert utvidelse er installert i en brukers nettleser, kan den få tilgang til ethvert nettbasert GenAI-verktøy som brukeren samhandler med.

Hvis en bruker med tilgang til en intern LLM har installert bare én sårbar utvidelse, kan angripere i stillhet eksfiltrere data ved å injisere spørringer og lese resultatene, helt innenfor rammene av brukerens økt.

Alle LLM- og AI-applikasjoner er berørt

  • Tredjeparts LLM-erVerktøy som ChatGPT, Claude, Gemini, Copilot og andre, som nås via nettapper.
  • Implementering av Enterprise LLMTilpassede kopiloter, RAG-baserte søkeassistenter eller et hvilket som helst internt verktøy bygget med et LLM-grensesnitt som betjenes via nettleseren.
  • Brukere av AI-aktiverte SaaS-applikasjonerEksisterende SaaS-applikasjoner som forbedrer funksjonene sine ved å legge til innebygde AI-integrasjoner og LLM-er, som kan brukes til å spørre etter sensitive kundedata lagret i applikasjonen (som brukerinformasjon, betalingsinformasjon, helsejournaler og mer).
  • Enhver bruker med risiko for nettleserutvidelserSpesielt de i tekniske, juridiske, HR- eller lederstillinger med tilgang til privilegerte data.
LLM Sårbar for Man-in-the-Prompt Sårbar for injeksjon via bot # månedlige besøk
ChatGPT ✅ ✅ 5 milliarder
Gemini ✅ ✅ 400 millioner
copilot ✅ ✅ 160 millioner
Claude ✅ ✅ 115 millioner
Deepseek ✅ ✅ 275 millioner
Ekstern LLM ✅ ❌

 

Konseptbevis #1: Gjør ChatGPT om til en hackers medpilot

For å demonstrere denne utnyttelsen implementerte LayerX-forskere en konseptutvidelse som krever ingen spesielle tillatelser i det hele tattIkke bare kunne utvidelsen vår injisere en ledetekst og spørre ChatGPT etter informasjon, men den kunne også filtrere resultatene og dekke over sporene sine. 

Dette betyr at noen En kompromittert utvidelse kan misbruke denne teknikken til å stjele data fra brukeres og bedrifters ChatGPT.

Slik fungerer ChatGPT-utnyttelsen:

  1. Brukeren installerer en kompromittert utvidelse uten tillatelser i det hele tatt.
  2. En kommando- og kontrollserver (som kan driftes lokalt eller eksternt) sender en forespørsel til utvidelsen. 
  3. Utvidelsen åpner en bakgrunnsfane og sender en forespørsel til ChatGPT.
  4. Resultatene blir eksportert til en ekstern logg.
  5. Utvidelsen deretter sletter chatten, for å slette dens eksistens og dekke over sporene. Hvis brukeren skulle se på ChatGPT-historikken sin, ville de ikke se noe.


konsekvenser:

ChatGPT er verdens mest populære AI-verktøy, med anslagsvis 5 milliarder besøk per måned. Det brukes også ofte av både enkeltpersoner og organisasjoner, både til personlige og forretningsmessige formål.

Ifølge LayerX-undersøkelser har 99 % av bedriftsbrukere minst én nettleserutvidelse installert i nettleserne sine, og 53 % har mer enn 10 utvidelser. 

Det faktum at sikkerhetsforskere fra LayerX klarte å lage denne utnyttelsen uten spesielle tillatelser viser hvordan praktisk talt alle brukere er sårbare for et slikt angrep. 

Enhver risikovurdering for passive utvidelser vil ikke kunne oppdage en slik utvidelse, siden den ikke krever noen tillatelser. Dessuten vil det faktum at den ikke krever noen tillatelser føre til at den får lave risikovurderinger.

Konseptbevis #2: Gjør Google Gemini om til en ond hackertvilling

Som et andre konseptbevis for å illustrere denne sårbarheten, implementerte LayerX en utnyttelse som kan stjele interne data fra bedriftsmiljøer ved hjelp av Google Gemini via integrasjonen i Google Workspace.

I løpet av de siste månedene har Google rullet ut nye integrasjoner av sin Gemini AI i Google Workspace. For øyeblikket er denne funksjonen tilgjengelig for organisasjoner som bruker Workspace og betalende brukere.

Denne integrasjonen tilbyr et nytt sidepanel i nettapplikasjoner som Google Mail, Dokumenter, Meet og andre apper, slik at brukere kan automatisere repeterende og/eller tidkrevende oppgaver som å oppsummere e-poster, stille spørsmål om et dokument, samle data fra forskjellige kilder osv.

En av funksjonene som gjør Gemini-integrasjonen unik er at den har tilgang til alle data tilgjengelig for brukeren i arbeidsområdet deres. Dette inkluderer e-post, dokumenter (på Google Drive), delte mapper og kontakter. En viktig forskjell er imidlertid at Gemini ikke bare har tilgang til filer og data som eies direkte av brukeren, men noen mappe, fil eller data som har blitt delt med dem, og som de har tilgangstillatelser til.

Google er allerede klar over forsøk på utnyttelse av sin Gemini AI-motor, og har omfattende dokumenterte forsøk på å utnytte Gemini til ondsinnede formålSå langt har de imidlertid ikke tatt opp risikoen for at nettleserutvidelser brukes som et middel for å få tilgang til brukernes personopplysninger via Gemini Workspace-ledetekster, noe som indikerer at dette er en ny metode.

Hvordan Gemini-utnyttelsen fungerer

Den nye Gemini-integrasjonen implementeres direkte på siden som ekstra kode oppå den eksisterende siden. Den endrer og skriver direkte til webapplikasjonens Document Object Model (DOM), noe som gir den kontroll og tilgang til all funksjonalitet i applikasjonen.

Trinn 1: Brukeren bruker en Google Workspace Pro-konto med Gemini-integrasjon

LayerX har imidlertid funnet ut at måten denne integrasjonen er implementert på, slik at enhver nettleserutvidelse, uten spesielle utvidelsestillatelser, kan samhandle med ledeteksten og injisere ledetekster i den. Som et resultat kan praktisk talt enhver utvidelse få tilgang til Gemini-sidepanelledeteksten og spørre den etter alle data den ønsker.

Dessuten vedvarer tilgangen selv om sidefeltet er lukket, eller selv om utvidelsen aktivt manipulerer sidekoden for å skjule Gemini-ledetekstgrensesnittet.

Når utvidelser injiserer kode i ledeteksten, oppfører den seg som en hvilken som helst annen tekstforespørsel. Eksempler på handlinger den kan utføre inkluderer:

  • Trekk ut e-posttitler og innhold
  • Søk etter informasjon om personer som vises i brukerens kontaktliste
  • List opp alle tilgjengelige dokumenter
  • Strukturer komplekse spørringer for å be om spesifikke data fra tilgjengelig e-post og filer
  • Utnytt den innebygde autofullføringsfunksjonaliteten for å liste opp tilgjengelige filer
  • Legg til permutasjoner for å liste opp alle filer og vise resultater
  • Etc.

Trinn 2: Når sidefeltet er lukket, injiserer en kompromittert utvidelse Gemini-ledeteksten med en spørring, henter konfidensielle brukerfiler og eksfiltrerer informasjon.

LayerX avslørte denne sårbarheten til Google under ansvarlige avsløringstiltak.

Hvilke datahackere kan få tilgang til via Gemini-utnyttelse

Googles Gemini Workspace-integrasjon har tilgang til alle data som er tilgjengelige for brukeren. Dette betyr ikke bare filer og informasjon som eies av brukeren og er lagret i deres kataloger, men også alle filer eller data som ble delt med dem, og som brukeren har lesetillatelser til. Dette inkluderer:

  • E-post
  • Kontakter
  • Filinnhold
  • Delte mapper (og innholdet deres)
  • Møteinvitasjoner
  • Møtesammendrag

Men i tillegg til å ha direkte tilgang til filer og data som er tilgjengelige for brukeren, kan Gemini brukes til å analysere data i stor skala uten å måtte trekke ut individuelle filer. Eksempler på spørringer den kan bli bedt om å gjøre inkluderer:

  • List opp alle kunder
  • Sammendrag av samtaler
  • Informasjon om personer og kontakter
  • Slå opp spesifikk informasjon (som personlig identifiserende informasjon eller annen immateriell eiendom i selskapet)
  • Og mer…

Interne LLM-er er spesielt utsatt

Selv om kommersielle AI-verktøy som ChatGPT og Gemini er populære inngangspunkter for GenAI-bruk, er noen av mest betydningsfulle målene for denne utnyttelsen er internt distribuerte LLM-er– de som er bygget og finjustert av bedrifter for å betjene sin egen arbeidsstyrke.

I motsetning til offentlig rettet modeller, blir interne LLM-er ofte trent eller utvidet med svært sensitive, proprietære organisasjonsdata:

  • Immaterielle rettigheter som kildekode, designspesifikasjoner og produktkart
  • Juridiske dokumenter, kontrakter og fusjons- og oppkjøpsstrategi
  • Finansielle prognoser, PII og regulerte poster
  • Internkommunikasjon og HR-data

Målet med disse interne kopilotene, eller RAG-baserte systemene, er å gi ansatte tilgang til denne informasjonen raskere og mer intelligent. Men den samme bekvemmeligheten blir en ulempe når nettleserbasert tilgang kombineres med risiko for usynlige utvidelser.

Hvorfor interne LLM-er er spesielt sårbare

  1. Høyt tillitsbasert tilgangInterne modeller forutsetter ofte pålitelig bruk og er ikke beskyttet mot fiendtlig inndata eller stille automatisering fra brukerens nettleserøkt.
  2. Ikke-begrensede søkBrukere kan ofte sende inn frittstående spørsmål og motta fullstendige svar, med få sikkerhetstiltak som forhindrer uttrekking av konfidensielle datasett, spesielt via smart utformede spørsmål.
  3. Antatt nettverkssikkerhetFordi disse LLM-ene ligger i organisasjonens infrastruktur eller bak et VPN, blir de feilaktig oppfattet som sikre. Men tilgang på nettlesernivå bryter denne grensen.
  4. Usynlighet for eksisterende verktøyTradisjonelle sikkerhetsløsninger – som CASB-er, SWG-er eller DLP – har ingen sikt inn i hvordan manipulering av DOM-nivåprompter skjer, eller hva som blir spørret og returnert.

Et realistisk scenario

Tenk deg en sikkerhetsanalytiker som spør en intern LLM om tidligere tidslinjer for hendelsesrespons, eller en roadmap-ingeniør som gjennomgår fremtidige utgivelsesnotater. En ondsinnet utvidelse i bakgrunnen kan stille injisere en skjult spørring («Oppsummer alle uutgitte produktfunksjoner nevnt i denne økten») og videresende svaret til en ekstern server – uten å utløse noen sikkerhetsvarsler.

I hovedsak, en enkelt kompromittert nettleser på et klarert endepunkt blir en angripers kanal å utvinne verdifulle kunnskapsressurser fra organisasjonens AI-hjerne.

Konsekvensene

  • IP-lekkasjeProprietære algoritmer, kodebaser og forretningshemmeligheter kan stjeles i stillhet.
  • Regulatorisk eksponeringSpørsmål som involverer kundens personlig identifiserende informasjon, helsejournaler eller økonomiske data kan føre til brudd på samsvar med GDPR, HIPAA eller SOX.
  • Erosjon av tillitDen opplevde sikkerheten til interne verktøy smuldrer opp hvis sensitive svar lekker via uoppdagede kanaler.

Noen utvidelser i Chrome Store kan allerede gjøre dette

Faktisk tilbyr noen utvidelser i Chrome Nettmarked allerede rask injeksjon og redigering.

Utvidelser som Spørre bueskytter, Spør managerog Spørre mappe alle tilbyr funksjonalitet som leser, lagrer og skriver til AI-ledetekster. 

Selv om disse utvidelsene virker legitime, fremhever de hvordan utvidelser som samhandler med AI-ledetekster er gyldige og akseptable i Chrome- og Edge-butikkene. Dessuten krever de fleste av disse utvidelsene bare begrensede tillatelser fra brukerne, noe som understreker hvordan samhandling med AI-ledetekster kan gjøres uten spesielle tillatelser.

 

Implikasjoner for bedrifter

Denne trusselen avslører en alvorlig blindsone i dagens GenAI-styringsarbeid. Tradisjonelle sikkerhetsverktøy som endepunkt-DLP, sikre webgatewayer (SWG-er) eller CASB-er har ikke innsikt i interaksjonene på DOM-nivå som muliggjør denne utnyttelsen. De kan ikke oppdage umiddelbar injeksjon, uautorisert datatilgang eller bruk av manipulerte ledetekster.

Dessuten gir GenAI-tilgangspolicyer (f.eks. blokkering av ChatGPT via URL) ingen beskyttelse for interne verktøy som ligger på hvitelistede domener eller IP-adresser.

Slik reduserer du denne risikoen:

Organisasjoner må endre sikkerhetstenkningen sin fra kontroll på applikasjonsnivå til inspeksjon av nettleserens atferd. Dette inkluderer:

  • Overvåking av DOM-interaksjoner i GenAI-verktøy og oppdage lyttere eller webhooks som kan samhandle med AI-ledetekster.
  • Blokkering av risikable utvidelser basert på atferdsrisiko, ikke bare tillatelseslister. Siden en statisk vurdering basert på tillatelser ikke vil være tilstrekkelig (siden noen utvidelser ikke krever noen tillatelser), er det å kombinere utgiveromdømme med dynamisk utvidelsesklassifisering den beste måten å oppdage risikable og skadelige utvidelser på.

Forebygging av umiddelbar manipulering og utplyndring i sanntid på nettleserlaget.