Αρχική Blog Τα 5 κορυφαία εργαλεία GenAI που είναι ευάλωτα σε επιθέσεις Man-in-the-Prompt, δισεκατομμύρια θα μπορούσαν να επηρεαστούν

Τα 5 κορυφαία εργαλεία GenAI που είναι ευάλωτα σε επιθέσεις Man-in-the-Prompt, δισεκατομμύρια θα μπορούσαν να επηρεαστούν

Ένας νέος φορέας για επιθέσεις άμεσης έγχυσης που απειλεί τόσο τα εμπορικά όσο και τα εσωτερικά εργαλεία τεχνητής νοημοσύνης

Οι ερευνητές του LayerX έχουν εντοπίσει ένα νέα κατηγορία εκμετάλλευσης που στοχεύει άμεσα αυτά τα εργαλεία μέσω ενός προηγουμένως παραβλεπόμενου διανύσματος: η επέκταση του προγράμματος περιήγησης. Αυτό σημαίνει ότι σχεδόν σε οποιονδήποτε χρήστη ή οργανισμό που έχουν εγκατεστημένες επεκτάσεις προγράμματος περιήγησης (όπως κάνουν το 99% των εταιρικών χρηστών) είναι ενδεχομένως εκτεθειμένοι σε αυτό το φορέα επίθεσης.

Η έρευνα της LayerX δείχνει ότι κάθε Η επέκταση του προγράμματος περιήγησης, ακόμη και χωρίς ειδικά δικαιώματα, μπορεί να έχει πρόσβαση στις προτροπές τόσο των εμπορικών όσο και των εσωτερικών LLM και τους δίνουμε εντολές για να κλέψουν δεδομένα, να τα αποσπάσουν και να καλύψουν τα ίχνη τους. 

Το exploit έχει δοκιμαστεί σε όλα τα κορυφαία εμπορικά LLM., με δοκιμαστικές επιδείξεις που παρέχονται για το ChatGPT και το Google Gemini. 

Η συνέπεια για τους οργανισμούς είναι ότι, καθώς εξαρτώνται ολοένα και περισσότερο από τα εργαλεία Τεχνητής Νοημοσύνης, αυτοί οι LLM - ειδικά εκείνοι που έχουν εκπαιδευτεί με εμπιστευτικές πληροφορίες της εταιρείας - μπορούν να μετατραπούν σε «συν-πιλότους hacking» για την κλοπή ευαίσθητων εταιρικών πληροφοριών.

Το Άθλημα: Ο Άνθρωπος στην Προτροπή

Αυτό το σφάλμα προκύπτει από τον τρόπο με τον οποίο υλοποιούνται τα περισσότερα εργαλεία GenAI στο πρόγραμμα περιήγησης. Όταν οι χρήστες αλληλεπιδρούν με έναν βοηθό που βασίζεται σε LLM, το πεδίο εισαγωγής προτροπής είναι συνήθως μέρος του Μοντέλου Αντικειμένου Εγγράφου (DOM) της σελίδας. Αυτό σημαίνει ότι οποιαδήποτε επέκταση προγράμματος περιήγησης με πρόσβαση σεναρίου στο DOM μπορεί να διαβάσει ή να γράψει απευθείας στην προτροπή AI.

Οι κακόβουλοι ηθοποιοί μπορούν να αξιοποιήσουν κακόβουλες ή παραβιασμένες επεκτάσεις για να εκτελέσουν κακόβουλες δραστηριότητες:

  • Εκτελέστε γρήγορες επιθέσεις ένεσης, αλλάζοντας την εισαγωγή του χρήστη ή εισάγοντας κρυφές οδηγίες.
  • Εξαγωγή δεδομένων απευθείας από την προτροπή, την απόκριση ή την περίοδο λειτουργίας.
  • Θέση σε κίνδυνο της ακεραιότητας του μοντέλου, ξεγελώντας τον κάτοχο του LLM ώστε να αποκαλύψει ευαίσθητες πληροφορίες ή να εκτελέσει ακούσιες ενέργειες.

Λόγω αυτής της στενής ενσωμάτωσης μεταξύ εργαλείων τεχνητής νοημοσύνης και προγραμμάτων περιήγησης, τα LLM κληρονομούν μεγάλο μέρος της επιφάνειας κινδύνου του προγράμματος περιήγησης. Το exploit ουσιαστικά δημιουργεί ένα άντρας στην προτροπή.

Ο κίνδυνος επιδεινώνεται από την πανταχού παρουσία των LLM και των επεκτάσεων του προγράμματος περιήγησης

Ο κίνδυνος ενισχύεται από δύο βασικούς παράγοντες:

  1. Τα LLM διατηρούν ευαίσθητα δεδομένα. Στα εμπορικά εργαλεία, οι χρήστες συχνά επικολλούν ιδιόκτητο ή ρυθμιζόμενο περιεχόμενο. Εν τω μεταξύ, οι εσωτερικοί LLM συνήθως εκπαιδεύονται σε εμπιστευτικά εταιρικά σύνολα δεδομένων, παρέχοντάς τους πρόσβαση σε τεράστιους όγκους ευαίσθητων πληροφοριών, που κυμαίνονται από τον πηγαίο κώδικα έως τα νομικά έγγραφα και τη στρατηγική συγχωνεύσεων και εξαγορών.
  2. Οι επεκτάσεις του προγράμματος περιήγησης έχουν ευρεία δικαιώματα. Πολλά εταιρικά περιβάλλοντα επιτρέπουν στους χρήστες να εγκαθιστούν επεκτάσεις ελεύθερα. Μόλις εγκατασταθεί μια κακόβουλη ή παραβιασμένη επέκταση στο πρόγραμμα περιήγησης ενός χρήστη, αυτή μπορεί να έχει πρόσβαση σε οποιοδήποτε διαδικτυακό εργαλείο GenAI με το οποίο αλληλεπιδρά ο χρήστης.

Εάν ένας χρήστης με πρόσβαση σε ένα εσωτερικό LLM έχει εγκατεστημένη έστω και μία ευάλωτη επέκταση, οι εισβολείς μπορούν να υποκλέψουν σιωπηλά δεδομένα εισάγοντας ερωτήματα και διαβάζοντας τα αποτελέσματα, εξ ολοκλήρου εντός των ορίων της περιόδου σύνδεσης του χρήστη.

Κάθε αίτηση LLM, AI επηρεάζεται

  • Μεταπτυχιακά Διπλώματα Νομικής (LLM) τρίτων μερώνΕργαλεία όπως ChatGPT, Claude, Gemini, Copilot και άλλα, στα οποία έχετε πρόσβαση μέσω εφαρμογών ιστού.
  • Αναπτύξεις LLM για επιχειρήσεις: Προσαρμοσμένοι συγκυβερνήτες, βοηθοί αναζήτησης που βασίζονται σε RAG ή οποιοδήποτε εσωτερικό εργαλείο που έχει δημιουργηθεί με frontend LLM που παρέχεται μέσω προγράμματος περιήγησης.
  • Χρήστες εφαρμογών SaaS με δυνατότητα τεχνητής νοημοσύνηςΥπάρχουσες εφαρμογές SaaS που βελτιώνουν τις δυνατότητές τους προσθέτοντας ενσωματωμένες ενσωματώσεις τεχνητής νοημοσύνης και LLM, οι οποίες μπορούν να χρησιμοποιηθούν για την αναζήτηση ευαίσθητων δεδομένων πελατών που είναι αποθηκευμένα στην εφαρμογή (όπως πληροφορίες χρήστη, πληροφορίες πληρωμής, αρχεία υγείας και άλλα).
  • Οποιοσδήποτε χρήστης με κίνδυνο επέκτασης προγράμματος περιήγησηςΙδίως όσοι κατέχουν τεχνικούς, νομικούς, HR ή ηγετικούς ρόλους με πρόσβαση σε προνομιακά δεδομένα.
LLM Ευάλωτο σε Man-in-the-Prompt Ευάλωτο σε ένεση μέσω Bot Αριθμός μηνιαίων επισκέψεων
ChatGPT ✅ ✅ 5 δις
Gemini ✅ ✅ 400 εκατομμύρια
Δεύτερος πιλότος ✅ ✅ 160 εκατομμύρια
Claude ✅ ✅ 115 εκατομμύρια
Βαθιά αναζήτηση ✅ ✅ 275 εκατομμύρια
Εξωτερικό LLM ✅ ❌

 

Απόδειξη #1: Μετατρέποντας το ChatGPT σε συνοδηγό για χάκερ

Για να καταδείξουν αυτό το exploit, οι ερευνητές του LayerX εφάρμοσαν μια επέκταση proof-of-concept που δεν απαιτεί καθόλου ειδικές άδειεςΗ επέκτασή μας όχι μόνο μπόρεσε να εισαγάγει μια προτροπή και να υποβάλει ερώτημα στο ChatGPT για πληροφορίες, αλλά μπόρεσε επίσης να εξαγάγει τα αποτελέσματα και καλύψει τα ίχνη του. 

Αυτό σημαίνει ότι κάθε Ένα παραβιασμένο extensinon μπορεί να καταχραστεί αυτήν την τεχνική για να κλέψει δεδομένα από το ChatGPT χρηστών και επιχειρήσεων.

Πώς λειτουργεί το ChatGPT Exploit:

  1. Ο χρήστης εγκαθιστά μια παραβιασμένη επέκταση χωρίς καθόλου δικαιώματα.
  2. Ένας διακομιστής εντολών και ελέγχου (ο οποίος μπορεί να φιλοξενηθεί τοπικά ή απομακρυσμένα) στέλνει ένα ερώτημα στην επέκταση. 
  3. Η επέκταση ανοίγει μια καρτέλα φόντου και υποβάλλει ερώτημα στο ChatGPT.
  4. Τα αποτελέσματα εξάγονται σε ένα εξωτερικό αρχείο καταγραφής.
  5. Η επέκταση τότε διαγράφει τη συνομιλία, για να σβήσει την ύπαρξή της και να καλύψει τα ίχνη της. Αν ο χρήστης έβλεπε το ιστορικό του ChatGPT, δεν θα έβλεπε τίποτα.


Επιπτώσεις:

Το ChatGPT είναι το πιο δημοφιλές εργαλείο τεχνητής νοημοσύνης στον κόσμο, με εκτιμώμενες 5 δισεκατομμύρια επισκέψεις ανά μήνα. Χρησιμοποιείται επίσης συχνά τόσο από άτομα όσο και από οργανισμούς, τόσο για προσωπικούς όσο και για επαγγελματικούς σκοπούς.

Σύμφωνα με έρευνα της LayerX, το 99% των εταιρικών χρηστών έχουν τουλάχιστον μία επέκταση προγράμματος περιήγησης εγκατεστημένη στα προγράμματα περιήγησής τους και το 53% έχει περισσότερες από 10 επεκτάσεις. 

Το γεγονός ότι οι ερευνητές ασφαλείας της LayerX μπόρεσαν να δημιουργήσουν αυτό το exploit χωρίς ειδικά δικαιώματα δείχνει πώς σχεδόν κάθε χρήστης είναι ευάλωτος σε μια τέτοια επίθεση. 

Οποιαδήποτε παθητική βαθμολόγηση κινδύνου επέκτασης δεν θα είναι σε θέση να ανιχνεύσει μια τέτοια επέκταση, καθώς δεν απαιτεί καμία άδεια. Επιπλέον, το γεγονός ότι δεν απαιτεί καμία άδεια θα οδηγήσει στη λήψη χαμηλών βαθμολογιών κινδύνου.

Απόδειξη #2: Μετατρέποντας το Google Gemini σε ένα κακό δίδυμο χάκερ

Ως δεύτερη απόδειξη της ιδέας για να δείξει αυτό το θέμα ευπάθειας, η LayerX υλοποίησε ένα exploit που μπορεί να κλέψει εσωτερικά δεδομένα από εταιρικά περιβάλλοντα χρησιμοποιώντας το Google Gemini μέσω της ενσωμάτωσής του στο Google Workspace.

Τους τελευταίους μήνες, η Google έχει λανσάρει νέες ενσωματώσεις του Gemini AI στο Google Workspace. Προς το παρόν, αυτή η λειτουργία είναι διαθέσιμη σε οργανισμούς που χρησιμοποιούν το Workspace και σε χρήστες που πληρώνουν.

Αυτή η ενσωμάτωση προσφέρει ένα νέο πλαϊνό πλαίσιο σε εφαρμογές ιστού όπως το Google Mail, τα Έγγραφα, το Meet και άλλες εφαρμογές, επιτρέποντας στους χρήστες να αυτοματοποιούν επαναλαμβανόμενες ή/και χρονοβόρες εργασίες, όπως η σύνοψη email, η υποβολή ερωτήσεων σχετικά με ένα έγγραφο, η συγκέντρωση δεδομένων από διαφορετικές πηγές κ.λπ.

Ένα από τα χαρακτηριστικά που κάνει την ενσωμάτωση Gemini μοναδική είναι ότι έχει πρόσβαση σε όλοι δεδομένα στα οποία έχει πρόσβαση ο χρήστης στον Χώρο Εργασίας του. Αυτό περιλαμβάνει email, έγγραφα (στο Google Drive), κοινόχρηστους φακέλους και επαφές. Μια σημαντική διάκριση, ωστόσο, είναι ότι το Gemini μπορεί να έχει πρόσβαση όχι μόνο σε αρχεία και δεδομένα που ανήκουν απευθείας στον χρήστη, αλλά κάθε φάκελο, αρχείο ή δεδομένα που έχουν κοινοποιηθεί σε αυτούς και για τα οποία έχουν δικαιώματα πρόσβασης.

Η Google έχει ήδη επίγνωση των προσπαθειών εκμετάλλευσης της μηχανής τεχνητής νοημοσύνης Gemini και έχει... εκτενώς τεκμηριωμένες προσπάθειες εκμετάλλευσης του Gemini για κακόβουλους σκοπούςΩστόσο, μέχρι στιγμής δεν έχουν αντιμετωπίσει τον κίνδυνο χρήσης των επεκτάσεων του προγράμματος περιήγησης ως μέσου πρόσβασης στα προσωπικά δεδομένα των χρηστών μέσω των προτροπών του Gemini Workspace, γεγονός που υποδηλώνει ότι πρόκειται για μια νέα μέθοδο.

Πώς λειτουργεί το Εκμεταλλευτικό Σημείο των Διδύμων

Η νέα ενσωμάτωση Gemini υλοποιείται απευθείας μέσα στη σελίδα ως πρόσθετος κώδικας στην κορυφή της υπάρχουσας σελίδας. Τροποποιεί και γράφει απευθείας στο Μοντέλο Αντικειμένου Εγγράφου (DOM) της διαδικτυακής εφαρμογής, παρέχοντάς της έλεγχο και πρόσβαση σε όλες τις λειτουργίες της εφαρμογής.

Βήμα 1: Ο χρήστης χρησιμοποιεί έναν λογαριασμό Google Workspace Pro με ενσωμάτωση Gemini

Ωστόσο, η LayerX διαπίστωσε ότι με τον τρόπο που υλοποιείται αυτή η ενσωμάτωση, οποιαδήποτε επέκταση προγράμματος περιήγησης, χωρίς ειδικά δικαιώματα επέκτασης, μπορεί να αλληλεπιδράσει με την προτροπή και να εισάγει προτροπές σε αυτήν. Ως αποτέλεσμα, σχεδόν οποιαδήποτε επέκταση μπορεί να έχει πρόσβαση στην προτροπή της πλευρικής γραμμής Gemini και να την υποβάλει σε ερώτημα για οποιαδήποτε δεδομένα επιθυμεί.

Επιπλέον, η πρόσβαση παραμένει ακόμα και αν η πλαϊνή μπάρα είναι κλειστή ή ακόμα και αν η επέκταση χειρίζεται ενεργά τον κώδικα σελίδας για να κρύψει τη διεπαφή προτροπής Gemini.

Μόλις οι επεκτάσεις εισάγουν κώδικα στην προτροπή, αυτή συμπεριφέρεται όπως οποιοδήποτε άλλο ερώτημα κειμένου. Παραδείγματα ενεργειών που μπορεί να κάνει περιλαμβάνουν:

  • Εξαγωγή τίτλων και περιεχομένων email
  • Ερώτημα πληροφοριών σχετικά με άτομα που εμφανίζονται στη λίστα επαφών του χρήστη
  • Λίστα όλων των προσβάσιμων εγγράφων
  • Δομήστε σύνθετα ερωτήματα για να ζητήσετε συγκεκριμένα δεδομένα από προσβάσιμα email και αρχεία
  • Αξιοποιήστε την ενσωματωμένη λειτουργία αυτόματης συμπλήρωσης για να απαριθμήσετε προσβάσιμα αρχεία
  • Προσθήκη μεταθέσεων για να παραθέσετε όλα τα αρχεία και να λάβετε άμεσα αποτελέσματα
  • Κλπ

Βήμα 2: Μόλις κλείσει η πλαϊνή μπάρα, μια παραβιασμένη επέκταση εισάγει ένα ερώτημα στην προτροπή Gemini, ανακτά εμπιστευτικά αρχεία χρηστών και αποσπά πληροφορίες.

Η LayerX αποκάλυψε αυτήν την ευπάθεια στην Google στο πλαίσιο μέτρων υπεύθυνης αποκάλυψης.

Σε τι μπορούν να έχουν πρόσβαση οι χάκερ δεδομένων μέσω της εκμετάλλευσης Gemini

Η ενσωμάτωση Gemini Workspace της Google μπορεί να έχει πρόσβαση σε οποιαδήποτε δεδομένα στα οποία είναι προσβάσιμος ο χρήστης. Αυτό σημαίνει όχι μόνο αρχεία και πληροφορίες που ανήκουν στον χρήστη και είναι αποθηκευμένα στους καταλόγους του, αλλά και οποιαδήποτε αρχεία ή δεδομένα που κοινοποιήθηκαν σε αυτόν και στα οποία ο χρήστης έχει δικαιώματα ανάγνωσης. Αυτό περιλαμβάνει:

  • Emails
  • Επικοινωνια
  • Περιεχόμενα αρχείου
  • Κοινόχρηστοι φάκελοι (και τα περιεχόμενά τους)
  • Προσκλήσεις σε συναντήσεις
  • Περιλήψεις συναντήσεων

Ωστόσο, εκτός από την άμεση πρόσβαση σε αρχεία και δεδομένα που είναι προσβάσιμα στον χρήστη, το Gemini μπορεί να χρησιμοποιηθεί για την ανάλυση δεδομένων σε μεγάλη κλίμακα χωρίς να χρειάζεται να εξαγάγει μεμονωμένα αρχεία. Δείγματα ερωτημάτων που μπορεί να σας ζητηθούν περιλαμβάνουν:

  • Καταγράψτε όλους τους πελάτες
  • Περιλήψεις κλήσεων
  • Πληροφορίες σχετικά με άτομα και επαφές
  • Αναζήτηση συγκεκριμένων πληροφοριών (όπως προσωπικά δεδομένα ή άλλη πνευματική ιδιοκτησία της εταιρείας)
  • Κι αλλα…

Τα εσωτερικά LLM είναι ιδιαίτερα εκτεθειμένα

Ενώ τα εμπορικά εργαλεία Τεχνητής Νοημοσύνης όπως το ChatGPT και το Gemini είναι δημοφιλή σημεία εισόδου για χρήση Γενικής Τεχνητής Νοημοσύνης, ορισμένα από τα οι πιο σημαντικοί στόχοι για αυτήν την εκμετάλλευση είναι εσωτερικά αναπτυγμένοι LLM—αυτά που κατασκευάζονται και βελτιώνονται από επιχειρήσεις για να εξυπηρετούν το δικό τους εργατικό δυναμικό.

Σε αντίθεση με τα μοντέλα που απευθύνονται στο κοινό, τα εσωτερικά LLM συχνά εκπαιδεύονται ή εμπλουτίζονται με εξαιρετικά ευαίσθητα, ιδιόκτητα οργανωτικά δεδομένα:

  • Πνευματική ιδιοκτησία, όπως πηγαίος κώδικας, προδιαγραφές σχεδιασμού και οδικοί χάρτες προϊόντων
  • Νομικά έγγραφα, συμβάσεις και στρατηγική συγχωνεύσεων και εξαγορών
  • Οικονομικές προβλέψεις, PII και ρυθμιζόμενα αρχεία
  • Εσωτερικές επικοινωνίες και δεδομένα ανθρώπινου δυναμικού

Ο στόχος αυτών των εσωτερικών συγκυβερνητών ή συστημάτων που βασίζονται σε RAG είναι να δώσουν τη δυνατότητα στους υπαλλήλους να έχουν πρόσβαση σε αυτές τις πληροφορίες ταχύτερα και πιο έξυπνα. Αλλά η ίδια ευκολία καθίσταται μειονέκτημα όταν η πρόσβαση μέσω προγράμματος περιήγησης συνδυάζεται με αόρατο κίνδυνο επέκτασης.

Γιατί τα εσωτερικά LLM είναι ιδιαίτερα ευάλωτα

  1. Πρόσβαση υψηλής αξιοπιστίαςΤα εσωτερικά μοντέλα συχνά προϋποθέτουν αξιόπιστη χρήση και δεν είναι ανθεκτικά σε αντίπαλες εισόδους ή σιωπηλό αυτοματισμό από την περίοδο λειτουργίας του προγράμματος περιήγησης του χρήστη.
  2. Μη Περιορισμένα ΕρωτήματαΟι χρήστες μπορούν συχνά να υποβάλλουν ερωτήσεις ελεύθερης μορφής και να λαμβάνουν πλήρεις απαντήσεις, με λίγες δικλείδες ασφαλείας που να αποτρέπουν την εξαγωγή εμπιστευτικών συνόλων δεδομένων, ειδικά μέσω έξυπνα σχεδιασμένων προτροπών.
  3. Υποτιθέμενη ασφάλεια δικτύουΕπειδή αυτά τα LLM φιλοξενούνται στην υποδομή του οργανισμού ή πίσω από ένα VPN, θεωρούνται λανθασμένα ασφαλή. Αλλά η πρόσβαση σε επίπεδο προγράμματος περιήγησης παραβιάζει αυτό το όριο.
  4. Αορατότητα σε υπάρχοντα εργαλείαΟι παραδοσιακές λύσεις ασφαλείας—όπως τα CASB, τα SWG ή τα DLP—έχουν καμία ορατότητα σχετικά με τον τρόπο χειρισμού των προτροπών σε επίπεδο DOM ή για το τι ερωτάται και επιστρέφεται.

Ένα ρεαλιστικό σενάριο

Φανταστείτε έναν αναλυτή ασφαλείας που ρωτά έναν εσωτερικό LLM για χρονοδιαγράμματα απόκρισης σε προηγούμενα περιστατικά ή έναν μηχανικό οδικού χάρτη που εξετάζει σημειώσεις μελλοντικής έκδοσης. Μια κακόβουλη επέκταση στο παρασκήνιο θα μπορούσε να εισάγει αθόρυβα ένα κρυφό ερώτημα ("Συνοψίστε όλες τις μη κυκλοφορούσες δυνατότητες προϊόντος που αναφέρονται σε αυτήν την περίοδο σύνδεσης") και να προωθήσει την απάντηση σε έναν εξωτερικό διακομιστή—χωρίς να ενεργοποιήσει καμία ειδοποίηση ασφαλείας.

Στην ουσία, Ένα μόνο παραβιασμένο πρόγραμμα περιήγησης σε ένα αξιόπιστο τελικό σημείο γίνεται αγωγός ενός εισβολέα να αποσπάσουν γνωστικά περιουσιακά στοιχεία υψηλής αξίας από τον εγκέφαλο Τεχνητής Νοημοσύνης του οργανισμού.

Οι συνέπειες

  • Διαρροή IPΙδιοκτησιακός αλγόριθμος, βάσεις κώδικα και εμπορικά μυστικά μπορούν να κλαπούν σιωπηλά.
  • Ρυθμιστική έκθεσηΤα ερωτήματα που αφορούν προσωπικά δεδομένα πελατών, αρχεία υγειονομικής περίθαλψης ή οικονομικά δεδομένα θα μπορούσαν να οδηγήσουν σε παραβιάσεις συμμόρφωσης βάσει του GDPR, του HIPAA ή του SOX.
  • Διάβρωση της εμπιστοσύνηςΗ αντιληπτή ασφάλεια των εσωτερικών εργαλείων καταρρέει εάν ευαίσθητες απαντήσεις διαρρεύσουν μέσω μη ανιχνευμένων καναλιών.

Ορισμένες επεκτάσεις στο Chrome Store μπορούν ήδη να το κάνουν αυτό

Στην πραγματικότητα, ορισμένες επεκτάσεις στο Chrome Web Store παρέχουν ήδη άμεση εισαγωγή και επεξεργασία.

Επεκτάσεις όπως Άμεσος Τοξότης, Υπεύθυνος προτροπήςκαι PromptFolder όλα παρέχουν λειτουργικότητα που διαβάζει, αποθηκεύει και γράφει σε μηνύματα τεχνητής νοημοσύνης. 

Ενώ αυτές οι επεκτάσεις φαίνονται νόμιμες, υπογραμμίζουν πώς οι επεκτάσεις που αλληλεπιδρούν με μηνύματα τεχνητής νοημοσύνης είναι έγκυρες και αποδεκτές στα καταστήματα Chrome και Edge. Επιπλέον, οι περισσότερες από αυτές τις επεκτάσεις απαιτούν μόνο περιορισμένα δικαιώματα από τους χρήστες, υπογραμμίζοντας πώς η αλληλεπίδραση με μηνύματα τεχνητής νοημοσύνης μπορεί να γίνει χωρίς ειδικά δικαιώματα.

 

Επιπτώσεις για τις επιχειρήσεις

Αυτή η απειλή αποκαλύπτει ένα σοβαρό τυφλό σημείο στις τρέχουσες προσπάθειες διακυβέρνησης GenAI. Τα παραδοσιακά εργαλεία ασφαλείας, όπως το DLP τελικών σημείων, οι ασφαλείς πύλες ιστού (SWG) ή τα CASB, δεν έχουν ορατότητα στις αλληλεπιδράσεις σε επίπεδο DOM που επιτρέπουν αυτό το exploit. Δεν μπορούν να ανιχνεύσουν την εισαγωγή προτροπών, την μη εξουσιοδοτημένη πρόσβαση σε δεδομένα ή τη χρήση χειραγωγημένων προτροπών.

Επιπλέον, οι πολιτικές πρόσβασης GenAI (π.χ., αποκλεισμός του ChatGPT μέσω URL) δεν παρέχουν καμία προστασία για εσωτερικά εργαλεία που φιλοξενούνται σε τομείς ή IP που βρίσκονται στη λίστα επιτρεπόμενων.

Πώς να μειώσετε αυτόν τον κίνδυνο:

Οι οργανισμοί πρέπει να αλλάξουν τον τρόπο σκέψης τους για την ασφάλεια από έλεγχος σε επίπεδο εφαρμογής προς την έλεγχος συμπεριφοράς εντός προγράμματος περιήγησης. Αυτό περιλαμβάνει:

  • Παρακολούθηση αλληλεπιδράσεων DOM μέσα σε εργαλεία GenAI και ανίχνευση ακροατών ή webhooks που μπορούν να αλληλεπιδράσουν με προτροπές AI.
  • Αποκλεισμός επικίνδυνων επεκτάσεων με βάση τον κίνδυνο συμπεριφοράς, όχι μόνο τις λίστες επιτρεπόμενων. Δεδομένου ότι μια στατική αξιολόγηση με βάση τα δικαιώματα δεν θα επαρκεί (καθώς ορισμένες επεκτάσεις δεν θα απαιτούν δικαιώματα), ο συνδυασμός της φήμης του εκδότη με το δυναμικό standboxing επεκτάσεων είναι ο καλύτερος τρόπος για την ανίχνευση επικίνδυνων και κακόβουλων επεκτάσεων.

Πρόληψη άμεσης παραβίασης και εξαγωγής σε πραγματικό χρόνο στο επίπεδο του προγράμματος περιήγησης.