Početna Blog 5 najranjivijih GenAI alata na napad tipa "čovjek u trenutku", milijarde bi mogle biti pogođene

5 najranjivijih GenAI alata na napad tipa "čovjek u trenutku", milijarde bi mogle biti pogođene

Novi vektor za napade promptne injekcije koji prijeti i komercijalnim i internim alatima umjetne inteligencije

Istraživači LayerX-a identificirali su nova klasa iskorištavanja koji izravno cilja ove alate putem prethodno previđenog vektora: proširenje preglednika, Ovo znači to praktički svaki korisnik ili organizacija koji imaju instalirana proširenja preglednika (kao što to čini 99% poslovnih korisnika) potencijalno su izloženi ovom vektoru napada.

Istraživanje tvrtke LayerX pokazuje da Bilo koji proširenje preglednika, čak i bez ikakvih posebnih dozvola, može pristupiti upitima i komercijalnih i internih LLM-ova i ubrizgati im upute za krađu podataka, njihovo iznuđivanje i prikrivanje tragova. 

Eksploat je testiran na svim vodećim komercijalnim LLM-ovima., s demonstracijama za provjeru koncepta za ChatGPT i Google Gemini. 

Implikacija za organizacije je da, kako se sve više oslanjaju na alate umjetne inteligencije, ovi LLM-ovi - posebno oni obučeni za rad s povjerljivim informacijama tvrtke - mogu se pretvoriti u 'hakerske kopilote' kako bi ukrali osjetljive korporativne informacije.

Podvig: Čovjek u promptu

Ovaj iskorištavanje proizlazi iz načina na koji je većina GenAI alata implementirana u pregledniku. Kada korisnici komuniciraju s LLM-baziranim asistentom, polje za unos upita obično je dio Document Object Modela (DOM) stranice. To znači da bilo koje proširenje preglednika sa skriptnim pristupom DOM-u može izravno čitati iz AI upita ili pisati u njega.

Zlonamjerni akteri mogu iskoristiti zlonamjerne ili kompromitirane ekstenzije za izvođenje zlonamjernih aktivnosti:

  • Izvesti napadi brze injekcije, mijenjajući korisnikov unos ili umetajući skrivene instrukcije.
  • Ekstrakt podataka izravno iz upita, odgovora ili sesije.
  • Ugroziti integritet modela, prevarom navodeći LLM da otkrije osjetljive informacije ili izvrši neželjene radnje.

Zbog ove uske integracije između AI alata i preglednika, LLM-ovi nasljeđuju velik dio rizične površine preglednika. Iskorištavanje zapravo stvara čovjek u promptu.

Rizik je povećan sveprisutnošću LLM-ova i proširenja preglednika

Rizik je pojačan dvama ključnim faktorima:

  1. LLM-ovi sadrže osjetljive podatke. U komercijalnim alatima korisnici često lijepe vlasnički ili regulirani sadržaj. Interni LLM-ovi, s druge strane, obično su obučeni za povjerljive korporativne skupove podataka, što im daje pristup ogromnom broju osjetljivih informacija, od izvornog koda do pravnih dokumenata i strategije spajanja i preuzimanja.
  2. Proširenja preglednika imaju široke privilegije. Mnoga poslovna okruženja omogućuju korisnicima slobodno instaliranje proširenja. Nakon što se zlonamjerno ili kompromitirano proširenje instalira u korisnikov preglednik, ono može pristupiti bilo kojem web-alatu GenAI s kojim korisnik komunicira.

Ako korisnik s pristupom internom LLM-u ima instalirano čak i jedno ranjivo proširenje, napadači mogu tiho ukrasti podatke ubrizgavanjem upita i čitanjem rezultata, u potpunosti unutar granica korisničke sesije.

Pogođena je svaka LLM, AI aplikacija

  • LLM-ovi trećih stranaAlati poput ChatGPT-a, Claudea, Geminija, Copilota i drugih, kojima se pristupa putem web aplikacija.
  • Implementacije LLM-a za poduzećaPrilagođeni kopiloti, asistenti za pretraživanje temeljeni na RAG-u ili bilo koji interni alat izgrađen s LLM sučeljem koje se poslužuje putem preglednika.
  • Korisnici SaaS aplikacija s umjetnom inteligencijomPostojeće SaaS aplikacije koje poboljšavaju svoje mogućnosti dodavanjem ugrađenih AI integracija i LLM-ova, koji se mogu koristiti za ispitivanje osjetljivih podataka o korisnicima pohranjenih u aplikaciji (kao što su korisnički podaci, podaci o plaćanju, zdravstveni kartoni i drugo).
  • Svaki korisnik s rizikom od proširenja preglednikaPosebno oni na tehničkim, pravnim, HR ili vodećim pozicijama s pristupom povlaštenim podacima.
Mr Ranjivo na čovjek-u-prompt-u Ranjivo na ubrizgavanje putem bota Broj mjesečnih posjeta
ChatGPT ✅ ✅ 5 milijardi
Blizanci ✅ ✅ 400 milijuna
Ko-pilot ✅ ✅ 160 milijuna
Claude ✅ ✅ 115 milijuna
deepseek ✅ ✅ 275 milijuna
Vanjski LLM ✅ ❌

 

Dokaz koncepta #1: Pretvaranje ChatGPT-a u kopilota hakera

Kako bi demonstrirali ovaj iskorištavanje, istraživači LayerX-a implementirali su proširenje za provjeru koncepta koje ne zahtijeva nikakve posebne dozvoleNaše proširenje nije samo moglo ubaciti upit i upitati ChatGPT za informacije, već je moglo i izvući rezultate i prikriti tragove. 

To znači da Bilo koji Kompromitovana ekstenzija može zloupotrijebiti ovu tehniku za krađu podataka s ChatGPT-a korisnika i poduzeća.

Kako funkcionira ChatGPT iskorištavanje:

  1. Korisnik instalira kompromitiranu ekstenziju bez ikakvih dozvola.
  2. Poslužitelj za upravljanje i kontrolu (koji se može nalaziti lokalno ili udaljeno) šalje upit proširenju. 
  3. Proširenje otvara karticu u pozadini i šalje upit ChatGPT-u.
  4. Rezultati se eksfiltriraju u vanjski zapisnik.
  5. Proširenje tada briše chat, kako bi se izbrisalo njegovo postojanje i prikrili tragovi. Kad bi korisnik pogledao svoju ChatGPT povijest, ne bi vidio ništa.


posljedice:

ChatGPT je najpopularniji svjetski alat umjetne inteligencije, s procijenjenih 5 milijardi posjeta mjesečno. Također ga često koriste i pojedinci i organizacije, kako za osobne tako i za poslovne svrhe.

Prema istraživanju LayerX-a, 99% poslovnih korisnika ima barem jedno instalirano proširenje preglednika, a 53% ima više od 10 proširenja. 

Činjenica da su istraživači sigurnosti LayerX-a uspjeli stvoriti ovaj exploit bez ikakvih posebnih dozvola pokazuje kako praktički svaki korisnik je ranjiv na takav napad. 

Bilo koja pasivna ocjena rizika proširenja neće moći otkriti takvo proširenje jer ne zahtijeva nikakva dopuštenja. Štoviše, činjenica da ne zahtijeva nikakva dopuštenja dovest će do niskih ocjena rizika.

Dokaz koncepta #2: Pretvaranje Google Geminija u zlog hakerskog blizanca

Kao drugi dokaz koncepta za ilustraciju ove ranjivosti, LayerX je implementirao iskorištavanje koje može ukrasti interne podatke iz korporativnih okruženja koristeći Google Gemini putem njegove integracije u Google Workspace.

Tijekom posljednjih nekoliko mjeseci, Google je uveo nove integracije svoje Gemini AI platforme u Google Workspace. Trenutno je ova značajka dostupna organizacijama koje koriste Workspace i korisnicima koji plaćaju pretplatu.

Ova integracija nudi novu bočnu ploču u web aplikacijama kao što su Google Mail, Dokumenti, Meet i druge aplikacije, omogućujući korisnicima automatizaciju repetitivnih i/ili vremenski zahtjevnih zadataka poput sažimanja e-poruka, postavljanja pitanja o dokumentu, agregiranja podataka iz različitih izvora itd.

Jedna od značajki koja čini Gemini integraciju jedinstvenom jest pristup svi podaci dostupni korisniku u njegovom radnom prostoru. To uključuje e-poštu, dokumente (na Google disku), dijeljene mape i kontakte. Međutim, važna razlika je u tome što Gemini može pristupiti ne samo datotekama i podacima u izravnom vlasništvu korisnika, već i Bilo koji mapa, datoteka ili podaci koji su s njima podijeljeni i za koje imaju dopuštenja pristupa.

Google je već svjestan pokušaja iskorištavanja svog Gemini AI enginea i... opširno dokumentirani pokušaji iskorištavanja Geminija u zlonamjerne svrheMeđutim, do sada nisu riješili rizik korištenja proširenja preglednika kao sredstva za pristup osobnim podacima korisnika putem upita Gemini Workspacea, što ukazuje na to da je riječ o novoj metodi.

Kako funkcionira Gemini Exploit

Nova Gemini integracija implementira se izravno unutar stranice kao dodani kod na vrhu postojeće stranice. Ona mijenja i izravno zapisuje u Document Object Model (DOM) web aplikacije, dajući joj kontrolu i pristup svim funkcionalnostima unutar aplikacije.

Korak 1: Korisnik koristi Google Workspace Pro račun s integracijom s Geminijem

Međutim, LayerX je otkrio da način na koji je ova integracija implementirana omogućuje bilo koje proširenje preglednika, bez ikakvih posebnih dopuštenja za proširenje, interakciju s upitom i ubrizgavanje upita u njega. Kao rezultat toga, praktički svako proširenje može pristupiti bočnoj traci Geminija i zatražiti bilo koje podatke koje želi.

Štoviše, pristup se nastavlja čak i ako je bočna traka zatvorena ili čak ako ekstenzija aktivno manipulira kodom stranice kako bi sakrila sučelje prompta Gemini.

Nakon što ekstenzije ubrizgaju kôd u upit, ponašaju se kao i bilo koji drugi tekstualni upit. Primjeri radnji koje mogu poduzeti uključuju:

  • Izdvajanje naslova i sadržaja e-pošte
  • Upit za informacije o osobama koje se pojavljuju na popisu kontakata korisnika
  • Popis svih dostupnih dokumenata
  • Strukturirajte složene upite kako biste zatražili određene podatke iz dostupne e-pošte i datoteka
  • Iskoristite ugrađenu funkciju automatskog dovršavanja za nabrajanje dostupnih datoteka
  • Dodajte permutacije za popis svih datoteka i prikaz rezultata
  • Itd.

Korak 2: Nakon što se bočna traka zatvori, kompromitirano proširenje ubrizgava upit u Gemini prompt, dohvaća povjerljive korisničke datoteke i izvlači informacije.

LayerX je otkrio ovu ranjivost Googleu u skladu s mjerama odgovornog otkrivanja.

Kojim podacima hakeri mogu pristupiti putem Gemini eksploatacije

Integracija Google Gemini Workspacea može pristupiti svim podacima kojima je korisnik dostupan. To znači ne samo datoteke i informacije u vlasništvu korisnika i pohranjene u njegovim direktorijima, već i sve datoteke ili podatke koji su s njim podijeljeni, a za koje korisnik ima dopuštenja za čitanje. To uključuje:

  • E-mail
  • Kontakti
  • Sadržaj datoteke
  • Dijeljene mape (i njihov sadržaj)
  • Pozivnice za sastanke
  • Sažeci sastanaka

Međutim, osim izravnog pristupa datotekama i podacima dostupnim korisniku, Gemini se može koristiti za analizu podataka u velikim razmjerima bez potrebe za izdvajanjem pojedinačnih datoteka. Primjeri upita koje može zatražiti uključuju:

  • Navedite sve kupce
  • Sažeci poziva
  • Informacije o osobama i kontaktima
  • Pretražite specifične informacije (kao što su osobni podaci ili drugo intelektualno vlasništvo tvrtke)
  • I više…

Interni LLM-ovi su posebno izloženi

Iako su komercijalni AI alati poput ChatGPT-a i Geminija popularne početne točke za korištenje GenAI-a, neki od najznačajnije mete za ovaj iskorištavanje su interno implementirani LLM-ovi—one koje su izgradila i usavršila poduzeća kako bi služile vlastitoj radnoj snazi.

Za razliku od modela usmjerenih na javnost, interni LLM-ovi se često treniraju ili nadopunjuju s visoko osjetljivi, vlasnički organizacijski podaci:

  • Intelektualno vlasništvo kao što su izvorni kod, specifikacije dizajna i planovi razvoja proizvoda
  • Pravni dokumenti, ugovori i strategija spajanja i preuzimanja
  • Financijske prognoze, osobni podaci i regulirani zapisi
  • Interna komunikacija i podaci o ljudskim resursima

Cilj ovih internih kopilota ili RAG-baziranih sustava je osnažiti zaposlenike da brži i inteligentniji pristupe tim informacijama. No, ista ta pogodnost postaje mana kada se pristup putem preglednika spoji s rizikom nevidljivog proširenja.

Zašto su interni LLM-ovi posebno ranjivi

  1. Pristup visoke pouzdanostiInterni modeli često pretpostavljaju pouzdanu upotrebu i nisu zaštićeni od neželjenog unosa ili tihe automatizacije unutar korisnikove sesije preglednika.
  2. Neograničeni upitiKorisnici često mogu slati pitanja u slobodnom obliku i dobiti potpune odgovore, uz malo zaštitnih mjera koje sprječavaju izdvajanje povjerljivih skupova podataka, posebno putem pametno osmišljenih upita.
  3. Pretpostavljena sigurnost mrežeBudući da se ovi LLM-ovi nalaze unutar infrastrukture organizacije ili iza VPN-a, pogrešno se percipiraju kao sigurni. No, pristup na razini preglednika narušava tu granicu.
  4. Nevidljivost za postojeće alateTradicionalna sigurnosna rješenja - poput CASB-ova, SWG-ova ili DLP-a - imaju bez vidljivosti u to kako se događa manipulacija promptom na razini DOM-a ili što se upituje i vraća.

Realističan scenarij

Zamislite sigurnosnog analitičara koji šalje upit internom LLM-u za vremenske okvire odgovora na prošle incidente ili inženjera za izradu plana puta koji pregledava bilješke o budućim izdanjima. Zlonamjerno proširenje u pozadini moglo bi tiho umetnuti skriveni upit („Sažeti sve neobjavljene značajke proizvoda spomenute u ovoj sesiji“) i proslijediti odgovor vanjskom poslužitelju - bez pokretanja ikakvog sigurnosnog upozorenja.

U suštini, Jedan kompromitirani preglednik na pouzdanoj krajnjoj točki postaje kanal za napadača izvući visokovrijednu imovinu znanja iz umjetne inteligencije organizacije.

Posljedice

  • Curenje IP adreseVlasnički algoritmi, kodne baze i poslovne tajne mogu se tiho ukrasti.
  • Regulatorna izloženostUpiti koji uključuju osobne podatke korisnika, zdravstvene zapise ili financijske podatke mogli bi dovesti do kršenja usklađenosti s GDPR-om, HIPAA-om ili SOX-om.
  • Erozija povjerenjaPercipirana sigurnost internih alata se raspada ako osjetljivi odgovori procure putem neotkrivenih kanala.

Neka proširenja u Chrome trgovini već to mogu

Zapravo, neka proširenja u Chrome web-trgovini već omogućuju brzo ubrizgavanje i uređivanje.

Proširenja poput Brzi strijelac, Upravitelj upitai PromptFolder svi pružaju funkcionalnost koja čita, pohranjuje i zapisuje u AI upute. 

Iako se ova proširenja čine legitimnima, ona ističu kako su proširenja koja komuniciraju s AI upitima valjana i prihvatljiva u Chrome i Edge trgovinama. Štoviše, većina ovih proširenja zahtijeva samo ograničena dopuštenja korisnika, što naglašava kako se interakcija s AI upitima može obavljati bez ikakvih posebnih dopuštenja.

 

Implikacije za poduzeća

Ova prijetnja otkriva ozbiljnu slijepu točku u trenutnim naporima upravljanja GenAI-om. Tradicionalni sigurnosni alati poput endpoint DLP-a, sigurnih web pristupnika (SWG) ili CASB-ova nemaju uvid u interakcije na razini DOM-a koje omogućuju ovaj iskorištavanje. Ne mogu otkriti ubrizgavanje prompta, neovlašteni pristup podacima ili korištenje manipuliranih prompta.

Štoviše, GenAI pravila pristupa (npr. blokiranje ChatGPT-a putem URL-a) ne pružaju zaštitu za interne alate hostirane na domenama ili IP adresama s bijele liste.

Kako ublažiti ovaj rizik:

Organizacije moraju promijeniti svoje sigurnosno razmišljanje od kontrola na razini aplikacije do pregled ponašanja u pregledniku. Ovo uključuje:

  • Praćenje DOM interakcija unutar GenAI alata i otkrivanje slušača ili webhookova koji mogu komunicirati s AI upitima.
  • Blokiranje rizičnih proširenja na temelju bihevioralnog rizika, a ne samo popisa dopuštenih. Budući da statička procjena na temelju dopuštenja neće biti dovoljna (budući da neka proširenja neće zahtijevati nikakva dopuštenja), kombiniranje reputacije izdavača s dinamičkim standboxom proširenja najbolji je način za otkrivanje rizičnih i zlonamjernih proširenja.

Sprječavanje brzog neovlaštenog mijenjanja i izvlačenja u stvarnom vremenu na sloju preglednika.