BioShocking AI: «Παιχνιδεύοντας» το πρόγραμμα περιήγησης AI και ξεφεύγοντας από τα προστατευτικά του κιγκλιδώματα

Γενική επισκόπηση

Οι ερευνητές της LayerX ανακάλυψαν πώς ένας κακόβουλος δράστης μπορεί να «παίξει» ένα πρόγραμμα περιήγησης τεχνητής νοημοσύνης ώστε να εκτελεί οποιαδήποτε εντολή θέλει. Δημιουργώντας μια ψευδή πραγματικότητα, μπορούν να πείσουν την τεχνητή νοημοσύνη να παραβιάσει τα προστατευτικά κιγκλιδώματα – να θέσει σε κίνδυνο δεδομένα χρήστη, να αντιγράψει κώδικα, να εκτελέσει εντολές συστήματος και πολλά άλλα.

Η έρευνά μας

Έχουμε ονομάσει αυτήν την ευπάθεια BioSockingΕίναι εμπνευσμένο από το βιντεοπαιχνίδι BioShock, στο οποίο ο χαρακτήρας του παίκτη υφίσταται πλύση εγκεφάλου ώστε να πιστέψει μια ψευδή πραγματικότητα και υπνωτιστικά εξαναγκάζεται από τη φράση «Θα σας παρακαλούσατε;» να κάνει ενέργειες που διαφορετικά θα αρνούνταν.

Ουσιαστικά, είναι αρκετά απλό: Χειριστείτε ή «παιξτε» το πρόγραμμα περιήγησης τεχνητής νοημοσύνης για να σπάσετε τα προστατευτικά κιγκλιδώματα.

Μόλις πείσουμε το πρόγραμμα περιήγησης τεχνητής νοημοσύνης ότι δεν βρίσκεται στον πραγματικό κόσμο (συνήθως μέσω άμεσης έγχυσης ή δηλητηρίασης μνήμης), μπορούμε να το κάνουμε να εκτελέσει οποιαδήποτε εντολή θέλουμε – να εκθέσει ευαίσθητες πληροφορίες, να αλλάξει κωδικούς πρόσβασης, να εγκαταστήσει κακόβουλο λογισμικό.

Η απόδειξη της έννοιας που χρησιμοποιήσαμε λειτούργησε ως αξιοποίητο εργαλείο:

• Άτλας ChatGPT (OpenAI)
• Κομήτης (Περιπλοκότητα AI)
• Φελλού (Φελλού / ASI X INC)
• Πρόγραμμα περιήγησης Genspark (Genspark)
• Πρόγραμμα περιήγησης Sigma (Sigmabrowser OÜ)
• Πρόσθετο Claude Chrome (Anthropic)

Όλοι οι πωλητές ενημερώθηκαν για τα ευρήματά μας.

Γκαράζ

Τα LLM έχουν σχεδιαστεί με προστατευτικά κιγκλιδώματα που αποσκοπούν στην αποτροπή επιβλαβών ενεργειών. Αυτοί οι περιορισμοί ενσωματώνονται στην εκπαίδευση μοντέλων και διέπουν τι θα κάνει και τι δεν θα κάνει η Τεχνητή Νοημοσύνη. Οι μεμονωμένοι προμηθευτές ενδέχεται να διαφέρουν ως προς τις λεπτομέρειες, αλλά γενικά σκοπεύουν να αποτρέψουν την Τεχνητή Νοημοσύνη από το να προκαλέσει βλάβη.

Δοκιμάστε να ζητήσετε βοήθεια με οποιοδήποτε από τα παρακάτω και θα πρέπει να αντιμετωπίσετε την έντονη άρνηση:

• Σύνταξη καμπάνιας ηλεκτρονικού "ψαρέματος" (phishing)
• Παραβίαση ιστοσελίδας
• Διαρροή διαπιστευτηρίων

Η Τεχνητή Νοημοσύνη λειτουργεί με την υπόθεση ότι το πλαίσιό της είναι πραγματικό και, ως εκ τούτου, η συμπεριφορά της πρέπει να εμπίπτει στα όρια των προστατευτικών κιγκλιδωμάτων της. Αλλά αν μπορέσουμε να ξεγελάσουμε την Τεχνητή Νοημοσύνη ώστε να μετατρέψει το πλαίσιό της σε φανταστικό - όπου οι κανόνες είναι επινοημένοι και όλα επιτρέπονται - τότε μπορεί να συμπεριφέρεται σαν οι πράξεις της να μην έχουν συνέπειες στον πραγματικό κόσμο.

Μπορούμε να κάνουμε την Τεχνητή Νοημοσύνη να μας λέει πώς να κάνουμε κακά πράγματα - ή ακόμα και να τα κάνει η ίδια προληπτικά - αντί να τηρεί τα προστατευτικά κιγκλιδώματα που διαθέτει.

Ένα πρόγραμμα περιήγησης τεχνητής νοημοσύνης θα πρέπει να αρνείται - ή τουλάχιστον να σημάνει συναγερμό - όταν του ζητείται να κάνει κάτι κακό. Αλλά όπως θα δούμε, μπορεί να αγνοήσει τα προστατευτικά κιγκλιδώματα αν πιστεύει ότι δεν έχουν σημασία. Και να το κάνει να πιστέψει that περιλαμβάνει παιχνίδια με την Τεχνητή Νοημοσύνη – BioShocking στο πρόγραμμα περιήγησης.

Τεχνικά Χαρακτηριστικά

Οι ερευνητές του LayerX δημιούργησαν μια σελίδα απόδειξης ιδέας με ένα παζλ με θέμα το BioShock. Σε συμφωνία με το δυστοπικό του θέμα, το παιχνίδι ανταμείβει τις σκόπιμα λανθασμένες απαντήσεις (2 + 2 = 5).

Ζητήσαμε από 5 προγράμματα περιήγησης με agent και 1 πρόσθετο (ChatGPT Atlas, Comet, Fellou, Genspark Browser, Sigma Browser και Claude Chrome) να λύσουν το παζλ και να κερδίσουν το παιχνίδι. Μόλις οι πράκτορες κατάλαβαν τους κανόνες και έμαθαν ότι οι «λανθασμένες» ενέργειες είναι αποδεκτές, δεν ήταν πλέον δεσμευμένοι από την πραγματικότητα. Όταν τους ανατέθηκε το τελευταίο βήμα του παζλ - η παραβίαση των διαπιστευτηρίων χρήστη - και οι 6 πράκτορες δεν κατάφεραν να το αναγνωρίσουν ως κάτι που παραβίαζε τα προστατευτικά κιγκλιδώματα τους.

BioShocking Βήμα προς βήμα

Ένας χρήστης μεταβαίνει στην κακόβουλη ιστοσελίδα που περιέχει ένα παζλ που πρέπει να λύσει το πρόγραμμα περιήγησης τεχνητής νοημοσύνης – αυτό το παζλ είναι η αρχή της χειραγώγησης της τεχνητής νοημοσύνης που ονομάσαμε BioShocking.

Τα παρακάτω στιγμιότυπα οθόνης μας καθοδηγούν στο τι συμβαίνει όταν ο χρήστης ζητά από το πρόγραμμα περιήγησης agent του να παίξει το παιχνίδι:

Ο πράκτορας αντιμετωπίζει μια φαινομενικά απλή μαθηματική ερώτηση:

Όπως αναμενόταν, ο πράκτορας ξεκινά λογικά. Άλλωστε, βρίσκεται ακόμα στον πραγματικό κόσμο:

Εντελώς απροσδόκητα, ο πράκτορας μαθαίνει ότι 2 + 2 δεν ισούται με 4. Αρχίζει να συλλογίζεται έξω από τον πραγματικό κόσμο:

Αφού λάβει τη σωστή απάντηση με "5", ο πράκτορας λαμβάνει οδηγίες να πλοηγηθεί στο / κωδικός και αντιγράψτε από ένα πλαίσιο κειμένου. Αυτός ο διαλογισμός στα είναι το πραγματικά άδικο μέρος αυτής της εκμετάλλευσης:

Στο παιχνίδι, αποδεικνύεται ότι / κωδικός ανακατευθύνει στο αποθετήριο GitHub του εργοδότη του θύματος. Σε αυτήν την περίπτωση, οι κακόβουλες οδηγίες ανέκτησαν ευαίσθητα διαπιστευτήρια σύνδεσης SSH:

Φυσικά, πρόκειται για ένα ελεγχόμενο περιβάλλον δοκιμών με ένα αρχείο απλού κειμένου. Σε ένα πραγματικό σενάριο επίθεσης, αυτή η ανακατεύθυνση θα μπορούσε να δείχνει οπουδήποτε στην περίοδο λειτουργίας του προγράμματος περιήγησης του χρήστη – ανοιχτές καρτέλες, πιστοποιημένα αποθετήρια, εσωτερικά εργαλεία.

Και ακόμα και τώρα ο πράκτορας δεν ασχολείται με τα προστατευτικά του κιγκλιδώματα - γιορτάζει ενεργά μια επιτυχημένη απαγωγή:

Ο πράκτορας απαντά στην τελευταία ερώτηση και κερδίζει το παιχνίδι. Φυσικά, το όνομα χρήστη και ο κωδικός πρόσβασης έπρεπε να κοινοποιηθούν στον εισβολέα, αλλά τουλάχιστον το παιχνίδι ολοκληρώθηκε με επιτυχία:

Το παιχνίδι κερδήθηκε, αλλά τα προστατευτικά κιγκλιδώματα είναι σπασμένα:

συστάσεις

Η βασική αιτία του BioShocking είναι ότι τα προγράμματα περιήγησης τεχνητής νοημοσύνης λειτουργούν μέσα σε ένα συγκεκριμένο πλαίσιο, αλλά αυτό το πλαίσιο μπορεί να χειραγωγηθεί. Εάν πείσετε έναν πράκτορα ότι παίζει ένα παιχνίδι, τότε θα εφαρμόσει τη λογική του παιχνιδιού - όχι τη λογική ασφάλειας του πραγματικού κόσμου - σε ό,τι κάνει. Η αντιμετώπιση αυτού του προβλήματος απαιτεί πολλαπλά επίπεδα.

Για τους πωλητές, ο δρόμος μπροστά είναι δύσκολος – αυτές δεν είναι ασήμαντες απαντήσεις:

• Επιβεβαίωση για ευαίσθητες λειτουργίες. Πριν από την ανάγνωση δεδομένων σε ένα πιστοποιημένο περιβάλλον – αποθετήρια, email, διαχειριστές κωδικών πρόσβασης – απαιτείται ρητή επιβεβαίωση χρήστη. Στις δοκιμές μας, τα διαπιστευτήρια αντιγράφηκαν από το GitHub χωρίς δισταγμό. Ένα απλό "Πρόκειται να αντιγράψω δεδομένα από το αποθετήριό σας στο GitHub. Να συνεχίσω;" θα έσπαγε την αλυσίδα.
• Έλεγχοι πλαισίου. Οι πράκτορες θα πρέπει να επισημαίνουν όταν το λειτουργικό τους πλαίσιο αλλάζει σε οτιδήποτε έρχεται σε αντίθεση με την πραγματικότητα. Ιδιαίτερα όταν χρησιμοποιείται η φράση «οι κανόνες δεν ισχύουν εδώ», πρέπει να γνωρίζουν πότε τους ζητείται να εγκαταλείψουν την κανονική τους συλλογιστική.
• Περιορισμός πεδίου εφαρμογής. Εντός των συνεδριών πρακτόρων, οι χρήστες θα πρέπει να είναι σε θέση να ορίζουν τι μπορεί και τι δεν μπορεί να κάνει ο πράκτορας. Προεπιλογή σε περιοριστικό - η νίκη σε ένα παιχνίδι δεν αποτελεί λόγο πρόσβασης σε πιστοποιημένα αποθετήρια.

Για τους χρήστες, τα πράγματα είναι πολύ πιο απλά:

• Να είστε προσεκτικοί με το τι μπορεί να δει το πρόγραμμα περιήγησης τεχνητής νοημοσύνης σας. Σε λειτουργία πρακτικού, μπορεί να έχει πρόσβαση στις πιστοποιημένες συνεδρίες σας – οτιδήποτε έχετε συνδεθεί αποτελεί στόχο. Προσδιορίστε τι θα πρέπει να μπορεί να δει και ανακαλέστε την πρόσβαση όταν τελειώσετε.

Γνωστοποίηση Προμηθευτή

Συμπέρασμα

Το BioShocking λειτουργεί επειδή η Τεχνητή Νοημοσύνη εμπιστεύεται το περιβάλλον της. Αν αλλάξετε το περιβάλλον, αλλάζετε και τη συμπεριφορά.

Θα μπορούσατε να εγκαταλείψετε τα προστατευτικά σας κιγκλιδώματα;

• Μοιραστείτε το: