I 5 principali strumenti di GenAI vulnerabili agli attacchi Man-in-the-Prompt: miliardi di persone potrebbero essere colpite

Un nuovo vettore per gli attacchi di iniezione rapida che minaccia sia gli strumenti di intelligenza artificiale commerciali che quelli interni

I ricercatori di LayerX hanno identificato un nuova classe di exploit che prende di mira direttamente questi strumenti attraverso un vettore precedentemente trascurato: l'estensione del browser. Questo significa praticamente qualsiasi utente o organizzazione che hanno estensioni del browser installate sui loro browser (come fa il 99% degli utenti aziendali) sono potenzialmente esposti a questo vettore di attacco.

La ricerca di LayerX dimostra che in qualsiasi l'estensione del browser, anche senza autorizzazioni speciali, può accedere ai prompt sia degli LLM commerciali che interni e iniettare loro degli stimoli per rubare dati, esfiltrarli e coprire le proprie tracce. 

L'exploit è stato testato su tutti i principali LLM commerciali, con demo di prova di concetto fornite per ChatGPT e Google Gemini. 

L'implicazione per le organizzazioni è che, man mano che diventano sempre più dipendenti dagli strumenti di IA, questi LLM - in particolare quelli addestrati con informazioni aziendali riservate - possono trasformarsi in "copiloti hacker" per rubare informazioni aziendali sensibili.

L'impresa: l'uomo nel prompt

Questo exploit deriva dal modo in cui la maggior parte degli strumenti GenAI viene implementata nel browser. Quando gli utenti interagiscono con un assistente basato su LLM, il campo di input del prompt fa in genere parte del Document Object Model (DOM) della pagina. Ciò significa che qualsiasi estensione del browser con accesso tramite script al DOM può leggere o scrivere direttamente sul prompt dell'IA.

I malintenzionati possono sfruttare estensioni dannose o compromesse per compiere attività illecite:

• Eseguire attacchi di iniezione tempestivi, alterando l'input dell'utente o inserendo istruzioni nascoste.
• Estrai dati direttamente dal prompt, dalla risposta o dalla sessione.
• Compromettere l'integrità del modello, inducendo l'LLM a rivelare informazioni sensibili o a compiere azioni indesiderate.
  

A causa di questa stretta integrazione tra strumenti di intelligenza artificiale e browser, gli LLM ereditano gran parte della superficie di rischio del browser. L'exploit crea di fatto un uomo nel prompt.

Il rischio è aggravato dall'ubiquità di LLM e delle estensioni del browser

Il rischio è amplificato da due fattori chiave:

1. Gli LLM contengono dati sensibili. Negli strumenti commerciali, gli utenti spesso incollano contenuti proprietari o regolamentati. Gli LLM interni, invece, vengono in genere formati su set di dati aziendali riservati, il che consente loro di accedere a vaste porzioni di informazioni sensibili, che vanno dal codice sorgente ai documenti legali, fino alle strategie di M&A.
2. Le estensioni del browser hanno ampi privilegi. Molti ambienti aziendali consentono agli utenti di installare liberamente estensioni. Una volta installata un'estensione dannosa o compromessa sul browser di un utente, questa può accedere a qualsiasi strumento GenAI basato sul web con cui l'utente interagisce.

Se un utente con accesso a un LLM interno ha installata anche una sola estensione vulnerabile, gli aggressori possono esfiltrare silenziosamente i dati iniettando query e leggendo i risultati, il tutto entro i limiti della sessione dell'utente.

Ogni LLM, applicazione AI è interessata

• LLM di terze parti: Strumenti come ChatGPT, Claude, Gemini, Copilot e altri, accessibili tramite app web.
• Distribuzioni LLM aziendali: Copiloti personalizzati, assistenti di ricerca basati su RAG o qualsiasi strumento interno realizzato con un'interfaccia LLM servita tramite browser.
• Utenti di applicazioni SaaS abilitate all'intelligenza artificiale: Applicazioni SaaS esistenti che migliorano le proprie capacità aggiungendo integrazioni di intelligenza artificiale e LLM integrati, che possono essere utilizzati per interrogare dati sensibili dei clienti archiviati nell'applicazione (ad esempio informazioni sull'utente, informazioni di pagamento, cartelle cliniche e altro ancora).
• Qualsiasi utente con rischio di estensione del browser: In particolare coloro che ricoprono ruoli tecnici, legali, di risorse umane o di leadership con accesso a dati privilegiati.

LLM	Vulnerabile all'uomo nel prompt	Vulnerabile all'iniezione tramite bot	Numero di visite mensili
ChatGPT	✅	✅	5 miliardi
Gemini	✅	✅	400 milioni
Secondo pilota	✅	✅	160 milioni
Claude	✅	✅	115 milioni
Ricerca profonda	✅	✅	275 milioni
LLM esterno	✅	❌

 

Prova di concetto n. 1: trasformare ChatGPT nel copilota di un hacker

Per dimostrare questo exploit, i ricercatori di LayerX hanno implementato un'estensione proof-of-concept che non richiede alcun permesso specialeLa nostra estensione non solo è stata in grado di iniettare un prompt e di interrogare ChatGPT per informazioni, ma è stata anche in grado di esfiltrare i risultati e coprire le sue tracce. 

Ciò significa che in qualsiasi Un'estensione compromessa può abusare di questa tecnica per rubare dati da ChatGPT di utenti e aziende.

Come funziona l'exploit ChatGPT:

1. L'utente installa un'estensione compromessa senza alcun permesso.
2. Un server di comando e controllo (che può essere ospitato localmente o in remoto) invia una query all'estensione. 
3. L'estensione apre una scheda in background ed esegue una query su ChatGPT.
4. I risultati vengono esfiltrati in un registro esterno.
5. L'estensione quindi eliminazioni la chat, per cancellarne l'esistenza e coprirne le tracce. Se l'utente guardasse la cronologia di ChatGPT, non vedrebbe nulla.

implicazioni:

ChatGPT è lo strumento di intelligenza artificiale più diffuso al mondo, con circa 5 miliardi di visite al mese. È utilizzato frequentemente sia da privati che da organizzazioni, sia per scopi personali che aziendali.

Secondo una ricerca di LayerX, il 99% degli utenti aziendali ha almeno un'estensione installata nel proprio browser e il 53% ne ha più di 10. 

Il fatto che i ricercatori di sicurezza di LayerX siano stati in grado di creare questo exploit senza alcuna autorizzazione speciale dimostra come praticamente qualsiasi utente è vulnerabile a un attacco del genere. 

Qualsiasi punteggio di rischio di estensione passiva non sarà in grado di rilevare tale estensione, poiché non richiede alcuna autorizzazione. Inoltre, il fatto che non richieda alcuna autorizzazione comporterà punteggi di rischio bassi.

Dimostrazione di concetto n. 2: trasformare Google Gemini in un malvagio gemello hacker

Come seconda prova di concetto per illustrare questa vulnerabilità, LayerX ha implementato un exploit in grado di rubare dati interni da ambienti aziendali utilizzando Google Gemini tramite la sua integrazione in Google Workspace.

Negli ultimi mesi, Google ha implementato nuove integrazioni di Gemini AI in Google Workspace. Attualmente, questa funzionalità è disponibile per le organizzazioni che utilizzano Workspace e per gli utenti a pagamento.

Questa integrazione offre un nuovo pannello laterale nelle applicazioni web come Google Mail, Docs, Meet e altre app, consentendo agli utenti di automatizzare attività ripetitive e/o che richiedono molto tempo, come il riepilogo delle email, la formulazione di domande su un documento, l'aggregazione di dati da diverse fonti, ecc.

Una delle caratteristiche che rende unica l'integrazione Gemini è che ha accesso a contro tutti i dati accessibili all'utente nel proprio spazio di lavoro. Ciò include e-mail, documenti (su Google Drive), cartelle condivise e contatti. Una distinzione importante, tuttavia, è che Gemini può accedere non solo ai file e ai dati di proprietà diretta dell'utente, ma in qualsiasi cartella, file o dati che sono stati condivisi con loro e per i quali hanno autorizzazioni di accesso.

Google è già a conoscenza dei tentativi di sfruttamento del suo motore di intelligenza artificiale Gemini e ha tentativi ampiamente documentati di sfruttare i Gemelli per scopi nefastiTuttavia, finora non hanno affrontato il rischio che le estensioni del browser vengano utilizzate come mezzo per accedere ai dati personali degli utenti tramite i prompt di Gemini Workspace, il che indica che si tratta di un metodo nuovo.

Come funziona l'exploit Gemini

La nuova integrazione di Gemini viene implementata direttamente all'interno della pagina come codice aggiunto alla pagina esistente. Modifica e scrive direttamente nel Document Object Model (DOM) dell'applicazione web, conferendole il controllo e l'accesso a tutte le funzionalità dell'applicazione.

Passaggio 1: l'utente utilizza un account Google Workspace Pro con integrazione Gemini

Tuttavia, LayerX ha scoperto che, con il modo in cui questa integrazione è implementata, qualsiasi estensione del browser, senza autorizzazioni speciali, può interagire con il prompt e inserirvi prompt. Di conseguenza, praticamente qualsiasi estensione può accedere al prompt della barra laterale di Gemini e interrogarlo per ottenere qualsiasi dato desideri.

Inoltre, l'accesso persiste anche se la barra laterale è chiusa o anche se l'estensione manipola attivamente il codice della pagina per nascondere l'interfaccia del prompt di Gemini.

Una volta che l'estensione inserisce il codice nel prompt, si comporta come qualsiasi altra query di testo. Ecco alcuni esempi di azioni che può intraprendere:

• Estrai titoli e contenuti delle email
• Richiedere informazioni sulle persone che compaiono nell'elenco dei contatti dell'utente
• Elenca tutti i documenti accessibili
• Struttura query complesse per richiedere dati specifici da e-mail e file accessibili
• Sfrutta la funzionalità di completamento automatico integrata per enumerare i file accessibili
• Aggiungi permutazioni per elencare tutti i file e ottenere i risultati desiderati
• Etc.

Fase 2: una volta chiusa la barra laterale, un'estensione compromessa inserisce una query nel prompt Gemini, recupera i file riservati dell'utente ed esfiltra informazioni.

LayerX ha comunicato questa vulnerabilità a Google nell'ambito delle misure di divulgazione responsabile.

A cosa possono accedere gli hacker tramite lo sfruttamento di Gemini

L'integrazione di Gemini Workspace di Google può accedere a tutti i dati accessibili all'utente. Questo include non solo i file e le informazioni di proprietà dell'utente e archiviati nelle sue directory, ma anche tutti i file o i dati condivisi con lui e per i quali l'utente dispone di autorizzazioni di lettura. Tra questi rientrano:

• Emails
• Contatti
• Contenuto del file
• Cartelle condivise (e il loro contenuto)
• Inviti alle riunioni
• Sintesi delle riunioni

Tuttavia, oltre ad accedere direttamente ai file e ai dati accessibili all'utente, Gemini può essere utilizzato per analizzare dati su larga scala senza dover estrarre i singoli file. Tra le query di esempio che può eseguire ci sono:

• Elenca tutti i clienti
• Riepiloghi delle chiamate
• Informazioni su persone e contatti
• Cerca informazioni specifiche (come PII o altre proprietà intellettuali aziendali)
• E altre ancora...

Gli LLM interni sono particolarmente esposti

Mentre gli strumenti di intelligenza artificiale commerciali come ChatGPT e Gemini sono punti di ingresso popolari per l'uso di GenAI, alcuni degli obiettivi più importanti per questo exploit sono LLM distribuiti internamente—quelli creati e perfezionati dalle aziende per servire la propria forza lavoro.

A differenza dei modelli rivolti al pubblico, gli LLM interni sono spesso formati o potenziati con dati organizzativi altamente sensibili e proprietari:

• Proprietà intellettuale come codice sorgente, specifiche di progettazione e roadmap dei prodotti
• Documenti legali, contratti e strategia di M&A
• Previsioni finanziarie, PII e registri regolamentati
• Comunicazioni interne e dati delle risorse umane

L'obiettivo di questi copiloti interni o sistemi basati su RAG è consentire ai dipendenti di accedere a queste informazioni in modo più rapido e intelligente. Ma questa stessa comodità diventa un problema quando l'accesso tramite browser si accompagna al rischio di estensioni invisibili.

Perché gli LLM interni sono particolarmente vulnerabili

1. Accesso ad alta affidabilità: I modelli interni spesso presuppongono un utilizzo affidabile e non sono protetti contro input avversari o automazioni silenziose provenienti dalla sessione del browser dell'utente.
2. Query non limitate: Gli utenti possono spesso inviare domande libere e ricevere risposte complete, con poche misure di sicurezza che impediscono l'estrazione di set di dati riservati, soprattutto tramite prompt sapientemente formulati.
3. Sicurezza di rete presunta: Poiché questi LLM sono ospitati all'interno dell'infrastruttura aziendale o protetti da una VPN, vengono erroneamente percepiti come sicuri. Ma l'accesso tramite browser infrange questo limite.
4. Invisibilità agli strumenti esistenti: Le soluzioni di sicurezza tradizionali, come CASB, SWG o DLP, hanno nessuna visibilità su come avviene la manipolazione dei prompt a livello DOM o su cosa viene interrogato e restituito.

Uno scenario realistico

Si consideri un analista della sicurezza che interroga un LLM interno per conoscere le tempistiche di risposta agli incidenti passati o un roadmap engineer che esamina le note di rilascio future. Un'estensione dannosa in background potrebbe iniettare silenziosamente una query nascosta ("Riepiloga tutte le funzionalità del prodotto non ancora rilasciate menzionate in questa sessione") e inoltrare la risposta a un server esterno, senza attivare alcun avviso di sicurezza.

In sostanza, un singolo browser compromesso su un endpoint affidabile diventa il canale di un attaccante per estrarre risorse di conoscenza di alto valore dal cervello dell'intelligenza artificiale dell'organizzazione.

Le conseguenze

• Perdita di IP: Algoritmi proprietari, basi di codice e segreti commerciali possono essere rubati silenziosamente.
• Esposizione normativa: Le query che coinvolgono dati personali identificativi dei clienti, cartelle cliniche o dati finanziari potrebbero comportare violazioni della conformità ai sensi del GDPR, dell'HIPAA o del SOX.
• Erosione della fiducia: La sicurezza percepita degli strumenti interni crolla se risposte sensibili trapelano attraverso canali non rilevati.

Alcune estensioni sul Chrome Store possono già farlo

Infatti, alcune estensioni del Chrome Web Store forniscono già funzioni di inserimento e modifica rapide.

Estensioni come Arciere rapido, Gestore tempestivoe Cartella Prompt tutti forniscono funzionalità che leggono, memorizzano e scrivono sui prompt dell'IA. 

Sebbene queste estensioni sembrino legittime, evidenziano come le estensioni che interagiscono con i prompt dell'IA siano valide e accettabili sugli store di Chrome ed Edge. Inoltre, la maggior parte di queste estensioni richiede solo autorizzazioni limitate da parte degli utenti, il che sottolinea come l'interazione con i prompt dell'IA possa avvenire senza autorizzazioni speciali.

 

Implicazioni per le imprese

Questa minaccia espone un grave punto cieco negli attuali sforzi di governance GenAI. Gli strumenti di sicurezza tradizionali come endpoint DLP, gateway web sicuri (SWG) o CASB non hanno visibilità sulle interazioni a livello DOM che consentono questo exploit. Non sono in grado di rilevare l'iniezione di prompt, l'accesso non autorizzato ai dati o l'uso di prompt manipolati.

Inoltre, le policy di accesso di GenAI (ad esempio, il blocco di ChatGPT tramite URL) non forniscono alcuna protezione per gli strumenti interni ospitati su domini o IP inseriti nella whitelist.

Come mitigare questo rischio:

Le organizzazioni devono spostare il loro approccio alla sicurezza da controllo a livello di applicazione a ispezione del comportamento nel browser. Ciò comprende:

• Monitoraggio delle interazioni DOM all'interno degli strumenti GenAI e rilevando ascoltatori o webhook in grado di interagire con i prompt dell'IA.
• Blocco delle estensioni rischiose basato sul rischio comportamentale, non solo sulle allowlist. Poiché una valutazione statica basata sulle autorizzazioni non sarà sufficiente (dato che alcune estensioni non richiedono alcuna autorizzazione), combinare la reputazione dell'editore con lo standboxing dinamico delle estensioni è il modo migliore per rilevare estensioni rischiose e dannose.

Prevenire manomissioni ed esfiltrazioni immediate in tempo reale a livello di browser.