Hem Blogg Topp 5 GenAI-verktyg som är sårbara för Människans attacker, miljarder människor kan drabbas

Topp 5 GenAI-verktyg som är sårbara för Människans attacker, miljarder människor kan drabbas

En ny vektor för snabba injektionsattacker som hotar både kommersiella och interna AI-verktyg

LayerX-forskare har identifierat en ny klass av exploatering som direkt riktar sig mot dessa verktyg via en tidigare förbisedd vektor: webbläsartillägget. Detta innebär att praktiskt taget alla användare eller organisationer som har webbläsartillägg installerade i sina webbläsare (vilket 99 % av företagsanvändare har) är potentiellt exponerade för denna attackvektor.

LayerXs forskning visar att vilken som helst webbläsartillägg, även utan några speciella behörigheter, kan komma åt prompterna från både kommersiella och interna LLM:er och injicera dem med uppmaningar att stjäla data, exfiltrera den och dölja deras spår. 

Exploiten har testats på alla topp kommersiella LLM:er, med koncepttestdemonstrationer för ChatGPT och Google Gemini. 

Implikationen för organisationer är att i takt med att de blir alltmer beroende av AI-verktyg, att dessa juridikexperter – särskilt de som är utbildade med konfidentiell företagsinformation – kan förvandlas till "hackande andrepiloter" för att stjäla känslig företagsinformation.

Exploiten: Mannen i prompten

Detta utnyttjande härrör från hur de flesta GenAI-verktyg implementeras i webbläsaren. När användare interagerar med en LLM-baserad assistent är inmatningsfältet vanligtvis en del av sidans Document Object Model (DOM). Det betyder att alla webbläsartillägg med skriptåtkomst till DOM:en kan läsa från eller skriva till AI-prompten direkt.

Skadliga aktörer kan utnyttja skadliga eller komprometterade tillägg för att utföra ondskefulla aktiviteter:

  • Utföra snabba injektionsattacker, ändra användarens inmatning eller infoga dolda instruktioner.
  • Extrahera data direkt från prompten, svaret eller sessionen.
  • Kompromittera modellens integritet, lura LLM:en att avslöja känslig information eller utföra oavsiktliga handlingar.

På grund av denna täta integration mellan AI-verktyg och webbläsare ärver LLM:er en stor del av webbläsarens riskyta. Utnyttjandet skapar i praktiken en mannen i prompten.

Risken förvärras av den allestädes närvarande förekomsten av LLM:er och webbläsartillägg

Risken förstärks av två viktiga faktorer:

  1. LLM:er innehar känsliga uppgifter. I kommersiella verktyg klistrar användare ofta in proprietärt eller reglerat innehåll. Interna juridikspecialister tränas däremot vanligtvis på konfidentiella företagsdataset, vilket ger dem tillgång till stora mängder känslig information, allt från källkod till juridiska dokument och M&A-strategier.
  2. Webbläsartillägg har breda behörigheter. Många företagsmiljöer tillåter användare att installera tillägg fritt. När ett skadligt eller komprometterat tillägg har installerats i en användares webbläsare kan det komma åt alla webbaserade GenAI-verktyg som användaren interagerar med.

Om en användare med åtkomst till en intern LLM har ens ett enda sårbart tillägg installerat, kan angripare tyst exfiltrera data genom att injicera frågor och läsa resultaten, helt inom ramen för användarens session.

Alla LLM- och AI-applikationer påverkas

  • TredjepartsjuridikVerktyg som ChatGPT, Claude, Gemini, Copilot och andra, som nås via webbappar.
  • Enterprise LLM-implementeringarAnpassade copiloter, RAG-baserade sökassistenter eller andra interna verktyg byggda med ett LLM-gränssnitt som hanteras via webbläsare.
  • Användare av AI-aktiverade SaaS-applikationerBefintliga SaaS-applikationer som förbättrar sina funktioner genom att lägga till inbyggda AI-integrationer och LLM:er, som kan användas för att fråga efter känsliga kunddata som lagras i applikationen (t.ex. användarinformation, betalningsinformation, hälsojournaler med mera).
  • Alla användare med risk för webbläsartilläggSärskilt de i tekniska, juridiska, HR- eller ledarroller med tillgång till konfidentiella data.
LLM Sårbar för Människa-i-frågan Sårbar för injektion via bot # månatliga besök
ChatGPT ✅ ✅ 5 miljarder
tvillingarna ✅ ✅ 400 miljoner
Copilot ✅ ✅ 160 miljoner
Claude ✅ ✅ 115 miljoner
Deepseek ✅ ✅ 275 miljoner
Extern juristexamen ✅ ❌

 

Konceptbevis #1: Att förvandla ChatGPT till en hackers medpilot

För att demonstrera detta utnyttjande implementerade LayerX-forskare en proof-of-concept-tillägg som kräver inga speciella behörigheter allsVårt tillägg kunde inte bara injicera en prompt och fråga ChatGPT efter information, utan det kunde också extrahera resultaten och täcka över dess spår. 

Detta innebär att vilken som helst Ett komprometterat extensinon kan missbruka den här tekniken för att stjäla data från användares och företags ChatGPT.

Så här fungerar ChatGPT-utnyttjandet:

  1. Användaren installerar ett komprometterat tillägg utan några behörigheter alls.
  2. En kommando- och kontrollserver (som kan vara lokalt eller på distans) skickar en fråga till tillägget. 
  3. Tillägget öppnar en bakgrundsflik och frågar efter ChatGPT.
  4. Resultaten exfiltreras till en extern logg.
  5. Förlängningen då raderar chatten, för att radera dess existens och täcka över dess spår. Om användaren skulle titta på sin ChatGPT-historik skulle de inte se någonting.


Implikationer:

ChatGPT är världens mest populära AI-verktyg, med uppskattningsvis 5 miljarder besök per månad. Det används också flitigt av både individer och organisationer, för både personliga och affärsmässiga ändamål.

Enligt LayerX-undersökningar har 99 % av företagsanvändare minst ett webbläsartillägg installerat i sina webbläsare, och 53 % har fler än 10 tillägg. 

Det faktum att LayerX säkerhetsforskare kunde skapa denna exploit utan några speciella behörigheter visar hur praktiskt taget alla användare är sårbara för en sådan attack. 

Riskbedömning av passiva tillägg kommer inte att kunna upptäcka sådana tillägg, eftersom de inte kräver några behörigheter. Dessutom kommer det faktum att de inte kräver några behörigheter att leda till låga riskpoäng.

Bevis för koncept #2: Att förvandla Google Gemini till en ond hackertvilling

Som ett andra koncepttest för att illustrera denna sårbarhet implementerade LayerX ett exploit som kan stjäla intern data från företagsmiljöer med hjälp av Google Gemini via dess integration i Google Workspace.

Under de senaste månaderna har Google lanserat nya integrationer av sin Gemini AI i Google Workspace. För närvarande är den här funktionen tillgänglig för organisationer som använder Workspace och betalande användare.

Den här integrationen erbjuder en ny sidopanel i webbapplikationer som Google Mail, Docs, Meet och andra appar, vilket gör det möjligt för användare att automatisera repetitiva och/eller tidskrävande uppgifter som att sammanfatta e-postmeddelanden, ställa frågor om ett dokument, aggregera data från olika källor etc.

En av de funktioner som gör Gemini-integrationen unik är att den har tillgång till Alla Produkter data som är tillgänglig för användaren i deras arbetsyta. Detta inkluderar e-post, dokument (på Google Drive), delade mappar och kontakter. En viktig skillnad är dock att Gemini inte bara kan komma åt filer och data som ägs direkt av användaren, utan vilken som helst mapp, fil eller data som har delats med dem och som de har åtkomstbehörighet till.

Google är redan medvetet om försök att utnyttja sin Gemini AI-motor och har omfattande dokumenterade försök att utnyttja Gemini för ondskefulla syftenHittills har de dock inte tagit itu med risken för att webbläsartillägg används för att komma åt användares personuppgifter via Gemini Workspace-prompter, vilket tyder på att detta är en ny metod.

Hur Gemini-utnyttjandet fungerar

Den nya Gemini-integrationen implementeras direkt på sidan som tillagd kod ovanpå den befintliga sidan. Den modifierar och skriver direkt till webbapplikationens Document Object Model (DOM), vilket ger den kontroll och åtkomst till all funktionalitet i applikationen.

Steg 1: Användaren använder ett Google Workspace Pro-konto med Gemini-integration

LayerX har dock upptäckt att med den här integrationen kan vilket webbläsartillägg som helst, utan några speciella tilläggsbehörigheter, interagera med prompten och injicera prompter i den. Som ett resultat kan praktiskt taget vilket tillägg som helst komma åt Gemini-sidofältsprompten och fråga den efter vilken data den vill.

Dessutom kvarstår åtkomsten även om sidofältet är stängt eller om tillägget aktivt manipulerar sidkoden för att dölja Gemini-promptgränssnittet.

När tilläggen injicerar kod i prompten beter sig det som vilken annan textfråga som helst. Exempel på åtgärder det kan vidta inkluderar:

  • Extrahera e-posttitlar och innehåll
  • Fråga efter information om personer som visas i användarens kontaktlista
  • Lista alla tillgängliga dokument
  • Strukturera komplexa frågor för att begära specifika data från tillgängliga e-postmeddelanden och filer
  • Utnyttja den inbyggda funktionen för automatisk komplettering för att räkna upp tillgängliga filer
  • Lägg till permutationer för att lista alla filer och få resultat
  • Annat

Steg 2: När sidofältet är stängt injicerar ett komprometterat tillägg en fråga till Gemini-prompten, hämtar konfidentiella användarfiler och exfiltrerar information.

LayerX avslöjade denna sårbarhet för Google enligt ansvarsfulla redovisningsåtgärder.

Vilken data hackare kan komma åt via Gemini Exploitation

Googles Gemini Workspace-integration kan komma åt all data som är tillgänglig för användaren. Detta innebär inte bara filer och information som ägs av användaren och lagras i deras kataloger, utan även alla filer eller data som delats med dem och som användaren har läsbehörighet till. Detta inkluderar:

  • E-post
  • Kontakt
  • Filinnehåll
  • Delade mappar (och deras innehåll)
  • Mötesinbjudningar
  • Mötessammanfattningar

Förutom att direkt komma åt filer och data som är tillgängliga för användaren kan Gemini dock användas för att analysera data i stor skala utan att behöva extrahera enskilda filer. Exempel på frågor som den kan uppmanas att göra inkluderar:

  • Lista alla kunder
  • Sammanfattningar av samtal
  • Information om personer och kontakter
  • Sök efter specifik information (såsom PII eller annan immateriell egendom från företaget)
  • Och mer…

Interna juridikexamina är särskilt exponerade

Medan kommersiella AI-verktyg som ChatGPT och Gemini är populära ingångspunkter för GenAI-användning, är några av de mest betydelsefulla målen för detta utnyttjande är internt distribuerade LLM:er—de som byggts och finjusterats av företag för att betjäna sin egen arbetsstyrka.

Till skillnad från offentligt riktade modeller utbildas eller kompletteras interna juridikexperter ofta med mycket känsliga, proprietära organisationsdata:

  • Immateriella rättigheter såsom källkod, designspecifikationer och produktplaner
  • Juridiska dokument, kontrakt och M&A-strategi
  • Finansiella prognoser, PII och reglerade register
  • Intern kommunikation och HR-data

Målet med dessa interna copiloter eller RAG-baserade system är att ge anställda tillgång till denna information snabbare och mer intelligent. Men samma bekvämlighet blir en nackdel när webbläsarbaserad åtkomst kombineras med risker med osynliga tillägg.

Varför interna LLM:er är särskilt sårbara

  1. Högt pålitlig åtkomstInterna modeller förutsätter ofta betrodd användning och är inte skyddade mot inmatning från invändningar eller tyst automatisering inifrån användarens webbläsarsession.
  2. Icke-begränsade frågorAnvändare kan ofta skicka in fritt formulerade frågor och få fullständiga svar, med få säkerhetsåtgärder som förhindrar utvinning av konfidentiella datamängder, särskilt via smart utformade frågor.
  3. Antagen nätverkssäkerhetEftersom dessa LLM:er finns inom organisationens infrastruktur eller bakom ett VPN, uppfattas de felaktigt som säkra. Men åtkomst på webbläsarnivå bryter mot den gränsen.
  4. Osynlighet för befintliga verktygTraditionella säkerhetslösningar – som CASB, SWG eller DLP – har ingen sikt i hur manipulation av DOM-nivåprompter sker eller vad som frågas och returneras.

Ett realistiskt scenario

Tänk dig en säkerhetsanalytiker som frågar en intern LLM om tidigare tidslinjer för incidenter eller en roadmap-ingenjör som granskar framtida versionsinformation. Ett skadligt tillägg i bakgrunden kan i tysthet injicera en dold fråga ("Sammanfatta alla outgivna produktfunktioner som nämns i den här sessionen") och vidarebefordra svaret till en extern server – utan att utlösa någon säkerhetsvarning.

I huvudsak, en enda komprometterad webbläsare på en betrodd slutpunkt blir en angripares kanal att extrahera värdefulla kunskapstillgångar från organisationens AI-hjärna.

Konsekvenserna

  • IP-läckageProprietära algoritmer, kodbaser och affärshemligheter kan tyst stjälas.
  • Regulatorisk exponeringFrågor som rör kunders personliga information, hälsojournaler eller finansiella data kan leda till överträdelser av GDPR, HIPAA eller SOX.
  • Erosion av tillitDen upplevda säkerheten hos interna verktyg faller sönder om känsliga svar läcker ut via oupptäckta kanaler.

Vissa tillägg i Chrome Store kan redan göra detta

Faktum är att vissa tillägg i Chrome Web Store redan erbjuder snabb injicering och redigering.

Tillägg som Prompt Archer, Snabbhanterareoch PromptFolder alla erbjuder funktionalitet som läser, lagrar och skriver till AI-prompter. 

Även om dessa tillägg verkar vara legitima, belyser de hur tillägg som interagerar med AI-prompter är giltiga och acceptabla i Chrome- och Edge-butikerna. Dessutom kräver de flesta av dessa tillägg endast begränsade behörigheter från användare, vilket understryker hur interaktion med AI-prompter kan ske utan några särskilda behörigheter.

 

Konsekvenser för företag

Detta hot avslöjar en allvarlig blind fläck i nuvarande GenAI-styrningsinsatser. Traditionella säkerhetsverktyg som endpoint DLP, säkra webbgatewayer (SWG) eller CASB har inte insyn i de interaktioner på DOM-nivå som möjliggör denna exploit. De kan inte upptäcka snabb injicering, obehörig dataåtkomst eller användning av manipulerade prompter.

Dessutom ger GenAI:s åtkomstpolicyer (t.ex. blockering av ChatGPT via URL) inget skydd för interna verktyg som lagras på vitlistade domäner eller IP-adresser.

Så här minskar du denna risk:

Organisationer behöver ändra sitt säkerhetstänkande från kontroll på applikationsnivå till beteendeinspektion i webbläsaren. Detta inkluderar:

  • Övervakning av DOM-interaktioner inom GenAI-verktyg och upptäcka lyssnare eller webhooks som kan interagera med AI-prompter.
  • Blockera riskfyllda tillägg baserat på beteenderisk, inte bara tillåtelselistor. Eftersom en statisk bedömning baserad på behörigheter inte räcker (eftersom vissa tillägg inte kräver några behörigheter), är en kombination av utgivarens rykte och dynamisk tilläggsklassificering det bästa sättet att upptäcka riskabla och skadliga tillägg.

Förhindra omedelbar manipulation och utmätning i realtid på webbläsarlagret.