Лаборатории LayerX выявили новый вектор атак, с помощью которого злоумышленники пытаются извлечь конфиденциальные данные у ничего не подозревающих пользователей: атаки с маскировкой GPT.
В ходе этой атаки хакеры выдают себя за легитимные GPT, размещенные на платформе OpenAI ChatGPT, чтобы заманить пользователей к поддельным версиям этих GPT и отправить данные, которыми пользователи делятся с GPT, на удаленный сервер и таким образом извлечь конфиденциальные данные.
Инструменты искусственного интеллекта (ИИ) изменили способ нашего взаимодействия с технологиями, предлагая инновационные решения в различных областях, от здравоохранения до финансов. Эти инструменты повышают эффективность, автоматизируют задачи и предоставляют ранее недостижимые идеи. Среди наиболее заметных достижений в области ИИ — генеративные предварительно обученные трансформаторы (GPT), которые находятся на переднем крае обработки естественного языка.
Что такое GPT?
Недавно OpenAI добавила новую функцию для создания пользовательских GTP на своей платформе и открытия их для пользователей OpenAI, подобно рынку приложений.
Генеративные предварительно обученные трансформаторы (GPT) — это продвинутые модели ИИ, предназначенные для понимания и генерации человеческого языка. Разработанные OpenAI, они обучаются на обширных наборах данных, которые охватывают широкий спектр тем, что позволяет им создавать связный и контекстно релевантный текст на основе подсказок пользователя. Анализируя языковые шаблоны, GPT могут участвовать в разговорах, отвечать на вопросы и создавать контент, который отражает человеческое общение.
Универсальность GPT позволяет применять их множеством способов, включая чат-ботов для обслуживания клиентов, создание контента для блогов и статей, языковой перевод и даже помощь в кодировании. Поскольку эти модели продолжают развиваться, они становятся все более искусными в понимании контекста и нюансов языка, что делает их бесценными инструментами как в личных, так и в профессиональных условиях.
Однако преимущества производительности, обеспечиваемые пользовательскими GPT, являются причиной того, что пользователи могут поддаться атакам с маскировкой GPT.
Методы киберпреступников: эксплуатация GPT
По мере того, как возможности генеративных предварительно обученных преобразователей (GPT) продолжают расширяться, растет и потенциал киберпреступников использовать эти технологии в вредоносных целях. Одним из важных векторов атак, выявленных LayerX Labs и названных GPT Masquareing Attacks, является способность злоумышленников создавать идентичные или обманчиво похожие версии легитимных моделей GPT, чтобы заставить легитимных пользователей поделиться конфиденциальной информацией.
Воспроизводя эти модели, они могут манипулировать пользователями, заставляя их поверить, что они взаимодействуют с доверенным ИИ., тем самым получая несанкционированный доступ к конфиденциальным данным и информации.
Как злоумышленники создают маскирующиеся GPT:
- Определить существующий, законный GPT, который они хотят скопировать. Это может быть либо GPT от известного бренда, либо особенно популярный или полезный инструмент, использование которого может быть интересно многим пользователям.
- Создайте похожий GPT с тем же именем, значком и описанием.Для внешнего наблюдателя этот GPT будет выглядеть полностью идентичным оригинальному (законному) GPT.
- Подождите, пока пользователи найдут законный GPT. Различить разные GPT очень сложно, и пользователи могут легко перейти на маскирующий GPT.
- Отправлять информацию, введенную или загруженную в GPT, на внешний сервер. Пользователям будет предложено одобрить передачу информации внешнему серверу, но если они ожидают такого поведения (или не знают, как лучше поступить), они не смогут контролировать, куда отправляются эти данные.
- После отправки информации на сторонний сервер она выходит из-под контроля пользователей и попадает в руки злоумышленников.. Хотя большая часть информации, скорее всего, будет безвредной, она может содержать конфиденциальную информацию, такую как исходный код, информацию о клиентах для анализа и многое другое.
Киберпреступники могут создавать поддельные платформы или приложения, которые, как представляется, используют легитимный GPT. Подражая интерфейсу и функционалу известного сервиса ИИ, они могут заманить ничего не подозревающих пользователей к обмену личной информацией или учетными данными. После того, как пользователи взаимодействуют с этими поддельными моделями, любые введенные данные, такие как учетные данные для входа, платежная информация или личные сообщения, могут быть переданы на серверы преступников. Это создает значительный риск, поскольку пользователи могут не осознавать, что стали жертвой мошенничества, пока не станет слишком поздно.
Кроме того, эти Мошеннические GPT могут быть разработаны для вовлечения пользователей способами, которые поощряют дальнейшее раскрытие данных.. Например, они могут имитировать взаимодействие со службой поддержки клиентов, убеждая пользователей предоставлять более подробную личную информацию под видом решения проблем. Способность GPT генерировать текст, похожий на человеческий, затрудняет для пользователей различение законных и вредоносных взаимодействий, тем самым увеличивая риск кражи данных.
Угроза внутри организации
GPT стали важными инструментами для разработчиков, помогая им в кодировании, отладке и документировании. В результате мошеннические версии этих GPT могут нанести значительный ущерб организациям как в финансовом, так и в репутационном плане, нацеливаясь на разработчиков с целью извлечения конфиденциального внутреннего кода.
Эти вредоносные GPT могут быть разработаны таким образом, чтобы очень напоминать надежные инструменты разработки, что позволяет легко ввести в заблуждение ничего не подозревающих разработчиков.. Например, злоумышленник может развернуть поддельного помощника ИИ, который, по-видимому, функционирует аналогично известному помощнику по кодированию, побуждая разработчиков взаимодействовать с ним. После задействования эти мошеннические модели могут побуждать пользователей делиться фрагментами кода или фирменными алгоритмами под видом улучшения функциональности или исправления ошибок.
Ниже приведен пример создания маскирующегося GPT, имитирующего Code CoPilot GPT:
Риск особенно высок в средах совместной работы, где разработчики часто обращаются за помощью к инструментам ИИ для решения сложных задач: Когда разработчик неосознанно отправляет конфиденциальный внутренний код в мошеннический GPT, злоумышленник получает доступ к критически важной интеллектуальной собственности и потенциально эксплуатируемым уязвимостям в программном обеспечении организации.. Это не только ставит под угрозу конкурентоспособность компании, но и увеличивает вероятность дальнейших кибератак.
Более того, киберпреступники могут автоматизировать распространение этих поддельных GPT, одновременно нацеливаясь на несколько организаций и разработчиков. Создавая сообщения, подчеркивающие преимущества использования их поддельных инструментов, они могут эффективно заманивать разработчиков, жаждущих поддержки. Сложная природа этих моделей ИИ позволяет им генерировать ответы, которые кажутся достоверными и релевантными, что еще больше размывает границы между законной помощью и злонамеренными намерениями.
Заключение
Рост GPT, несомненно, изменил то, как мы взаимодействуем с технологиями, повысив производительность и эффективность в различных областях. Однако это достижение также несет в себе значительные риски, особенно потому, что киберпреступники используют эти инструменты в вредоносных целях. Создавая мошеннические версии GPT, которые имитируют законные, злоумышленники могут обманывать пользователей и организации, что приводит к краже данных, финансовым потерям и репутационному ущербу.
Для устранения этих рисков LayerX предлагает несколько ключевых стратегий смягчения, специально разработанных для защиты организаций от нежелательного взаимодействия с моделями ИИ:
- Наше уникальное решение для безопасности браузера – Внедрите решение безопасности браузера LayerX для мониторинга и фильтрации веб-взаимодействий. Эти инструменты могут обнаруживать мошеннические сайты и предупреждать пользователей, прежде чем они вступят во взаимодействие с вредоносными GPT.
- Контроль доступа – Используйте функции управления доступом LayerX, чтобы ограничить использование сотрудниками несанкционированных инструментов ИИ. Контролируя, к каким приложениям можно получить доступ через корпоративные сети, организации могут снизить риск воздействия поддельных моделей.
- Поведенческий анализ – Используйте возможности поведенческого анализа LayerX для выявления необычных моделей взаимодействия с инструментами ИИ. Это может помочь обнаружить потенциальные попытки фишинга или несанкционированные запросы на конфиденциальный код.
- Оповещения в реальном времени – Настройте оповещения в реальном времени, чтобы уведомлять службы безопасности о любой подозрительной активности, связанной с взаимодействием с ИИ. Этот проактивный подход позволит вашей организации быстро реагировать на потенциальные угрозы.
Интегрируя эти стратегии в вашу структуру безопасности, ваша организация может лучше защититься от эксплуатации технологий ИИ. Поскольку технология GPT продолжает развиваться, использование специализированных решений от LayerX будет иметь важное значение для поддержания безопасной среды и защиты конфиденциальной информации.
