LayerX Labs는 악의적인 행위자가 의심하지 않는 사용자로부터 민감한 데이터를 추출하기 위해 시도하는 새로운 공격 벡터인 GPT 마스커링 공격을 확인했습니다.
이 공격에서는 해커가 OpenAI의 ChatGPT 플랫폼에 호스팅된 합법적인 GPT를 가장하여 사용자를 유인하여 해당 GPT의 가짜 버전을 만들고, 사용자가 GPT와 공유하는 데이터를 원격 서버로 전송하여 민감한 데이터를 추출합니다.
인공 지능(AI) 도구는 기술과 상호 작용하는 방식을 변화시켜 의료부터 금융까지 다양한 도메인에 걸쳐 혁신적인 솔루션을 제공합니다. 이러한 도구는 효율성을 높이고, 작업을 자동화하며, 이전에는 얻을 수 없었던 통찰력을 제공합니다. AI에서 가장 주목할 만한 발전 중 하나는 자연어 처리의 최전선에 있는 생성적 사전 훈련된 변환기(GPT)입니다.
GPT란 무엇인가요?
OpenAI는 최근 플랫폼에 맞춤형 GTP를 만들고 이를 OpenAI 사용자에게 공개하는 새로운 기능을 추가했는데, 이는 애플리케이션 마켓플레이스와 유사합니다.
생성적 사전 훈련된 트랜스포머(GPT)는 인간 언어를 이해하고 생성하도록 설계된 고급 AI 모델입니다. OpenAI에서 개발한 이 모델은 광범위한 주제를 아우르는 광범위한 데이터 세트에서 훈련을 받았으며, 이를 통해 사용자 프롬프트에 따라 일관되고 맥락적으로 관련성 있는 텍스트를 생성할 수 있습니다. GPT는 언어 패턴을 분석하여 대화에 참여하고, 질문에 답하고, 인간 의사소통을 반영하는 콘텐츠를 만들 수 있습니다.
GPT의 다양성 덕분에 고객 서비스를 위한 챗봇, 블로그와 기사를 위한 콘텐츠 생성, 언어 번역, 심지어 코딩 지원 등 다양한 방식으로 적용할 수 있습니다. 이러한 모델이 계속 진화함에 따라 언어의 맥락과 뉘앙스를 이해하는 데 더 능숙해지고 있어 개인적, 직업적 환경에서 모두 귀중한 도구가 되고 있습니다.
하지만 사용자 지정 GPT가 제공하는 생산성 이점은 사용자가 GPT 마스커링 공격에 속을 수 있는 이유입니다.
사이버 범죄자의 플레이북: GPT 악용
Generative Pre-trained Transformers(GPT)의 기능이 계속 확장됨에 따라 사이버 범죄자가 이러한 기술을 악의적인 목적으로 악용할 가능성도 커지고 있습니다. LayerX Labs에서 식별한 중요한 공격 벡터 중 하나는 GPT Masquareing Attacks라고 불리는데, 악의적인 행위자가 합법적인 GPT 모델과 동일하거나 속일 수 있을 정도로 유사한 버전을 만들어 합법적인 사용자를 유인하여 민감한 정보를 공유하도록 하는 것입니다.
이러한 모델을 복제하면 사용자가 신뢰할 수 있는 AI와 상호 작용하고 있다고 믿도록 조작할 수 있습니다., 그리하여 중요한 데이터 및 정보에 대한 무단 액세스를 얻게 됩니다.
공격자가 위장 GPT를 만드는 방법:
- 복제하려는 기존의 합법적인 GPT를 식별합니다. 이는 잘 알려진 브랜드의 GPT일 수도 있고, 많은 사용자가 관심을 가지고 사용할 만한 특히 인기 있거나 유용한 도구일 수도 있습니다.
- 동일한 이름, 아이콘 및 설명으로 유사한 GPT를 만듭니다.외부 관찰자에게 이 GPT는 원본(합법적) GPT와 완전히 동일하게 보일 것입니다.
- 사용자가 합법적인 GPT를 검색할 때까지 기다립니다. 다양한 GPT를 구별하는 것은 매우 어렵고, 사용자는 위장한 GPT를 쉽게 클릭할 수 있습니다.
- GPT에 입력되거나 업로드된 정보를 외부 서버로 전송합니다.. 사용자는 외부 서버와의 정보 공유를 승인하라는 메시지를 받지만, 이러한 유형의 동작을 예상하는 경우(또는 더 나은 방법을 모르는 경우) 이 데이터가 전송되는 위치를 제어할 수 없습니다.
- 정보가 제3자 서버로 전송되면 사용자의 손을 떠나 공격자의 손에 넘어갑니다.. 대부분의 정보는 아마도 무해할 것이지만, 독점적인 소스 코드, 분석을 위한 고객 정보 등과 같은 민감한 정보를 포함할 수 있습니다.
사이버 범죄자는 합법적인 GPT를 사용하는 것처럼 보이는 가짜 플랫폼이나 애플리케이션을 설정할 수 있습니다. 잘 알려진 AI 서비스의 인터페이스와 기능을 모방하여 의심하지 않는 사용자를 유인하여 개인 정보나 자격 증명을 공유하게 할 수 있습니다. 사용자가 이러한 위조 모델에 참여하면 로그인 자격 증명, 결제 정보 또는 개인 메시지와 같이 입력된 모든 데이터가 범죄자의 서버로 전송될 수 있습니다. 이는 사용자가 너무 늦을 때까지 사기에 걸렸다는 것을 깨닫지 못할 수 있으므로 상당한 위험을 초래합니다.
또한, 이것들 사기성 GPT는 추가 데이터 공개를 장려하는 방식으로 사용자를 참여시키도록 설계될 수 있습니다.. 예를 들어, 고객 지원 상호작용을 시뮬레이션하여 문제를 해결한다는 명목으로 사용자에게 더 자세한 개인 정보를 제공하도록 설득할 수 있습니다. GPT가 인간과 유사한 텍스트를 생성하는 능력은 사용자가 합법적인 상호작용과 악의적인 상호작용을 구별하기 어렵게 만들어 데이터 도난 위험을 증폭시킵니다.
조직 내부의 위협
GPT는 개발자에게 필수적인 도구가 되어 코딩, 디버깅 및 문서화를 지원합니다. 결과적으로 이러한 GPT의 사기성 버전은 개발자를 대상으로 민감한 내부 코드를 추출하여 재정적으로나 평판적으로 조직에 큰 피해를 줄 수 있습니다.
이러한 악성 GPT는 신뢰할 수 있는 개발 도구와 매우 흡사하게 설계될 수 있으므로 의심하지 않는 개발자가 쉽게 오도될 수 있습니다.. 예를 들어, 공격자는 기존 코딩 도우미와 유사하게 작동하는 것처럼 보이는 위조 AI 도우미를 배포하여 개발자가 상호 작용하도록 유도할 수 있습니다. 이러한 사기성 모델이 작동하면 기능을 개선하거나 버그를 수정한다는 명목으로 사용자에게 코드 조각이나 독점 알고리즘을 공유하도록 유도할 수 있습니다.
다음은 Code CoPilot GPT를 가장하는 Masquerading GPT를 만드는 예입니다.
개발자가 복잡한 작업에 대해 AI 도구의 도움을 자주 구하는 협업 환경에서는 위험이 특히 심각합니다. 개발자가 자신도 모르게 중요한 내부 코드를 사기성 GPT에 제출하면 공격자는 조직의 소프트웨어 내의 중요한 지적 재산권과 잠재적으로 악용 가능한 취약점에 액세스할 수 있습니다.이는 회사의 경쟁 우위를 위협할 뿐만 아니라 추가적인 사이버 공격의 가능성도 증가시킵니다.
더욱이 사이버 범죄자들은 이러한 가짜 GPT의 배포를 자동화하여 여러 조직과 개발자를 동시에 표적으로 삼을 수 있습니다. 위조 도구를 사용하는 이점을 강조하는 메시지를 작성함으로써 지원을 간절히 원하는 개발자를 효과적으로 유인할 수 있습니다. 이러한 AI 모델의 정교한 특성 덕분에 신뢰할 수 있고 관련성이 있는 것처럼 보이는 응답을 생성할 수 있어 합법적인 지원과 악의적인 의도 간의 경계가 더욱 모호해집니다.
맺음말
GPT의 부상은 의심할 여지 없이 우리가 기술과 상호작용하는 방식을 변화시켜 다양한 도메인에서 생산성과 효율성을 향상시켰습니다. 그러나 이러한 발전에는 상당한 위험도 따르는데, 특히 사이버 범죄자들이 이러한 도구를 악의적인 목적으로 악용하기 때문입니다. 공격자는 합법적인 GPT를 모방하는 사기성 GPT 버전을 만들어 사용자와 조직을 속여 데이터 도난, 재정적 손실, 평판 손상으로 이어질 수 있습니다.
이러한 위험을 해결하기 위해 LayerX는 조직이 AI 모델과의 원치 않는 상호 작용으로부터 보호받을 수 있도록 맞춤화된 몇 가지 주요 완화 전략을 제공합니다.
- 당사의 독특한 브라우저 보안 솔루션 – LayerX의 브라우저 보안 솔루션을 구현하여 웹 상호작용을 모니터링하고 필터링합니다. 이러한 도구는 사기성 사이트를 감지하고 악의적인 GPT에 참여하기 전에 사용자에게 경고할 수 있습니다.
- 액세스 제어 – LayerX의 액세스 관리 기능을 사용하여 직원이 승인되지 않은 AI 도구를 사용하지 못하도록 제한합니다. 회사 네트워크를 통해 액세스할 수 있는 애플리케이션을 제어함으로써 조직은 위조 모델에 노출될 위험을 줄일 수 있습니다.
- 행동 분석 – LayerX의 행동 분석 기능을 활용하여 AI 도구와의 비정상적인 상호작용 패턴을 식별합니다. 이를 통해 잠재적인 피싱 시도나 민감한 코드에 대한 무단 요청을 감지하는 데 도움이 될 수 있습니다.
- 실시간 알림 – AI 상호작용과 관련된 의심스러운 활동을 보안 팀에 알리기 위해 실시간 알림을 설정합니다. 이러한 사전 예방적 접근 방식을 통해 조직은 잠재적 위협에 신속하게 대응할 수 있습니다.
이러한 전략을 보안 프레임워크에 통합하면 조직에서 AI 기술의 악용을 더 잘 방지할 수 있습니다. GPT 기술이 계속 발전함에 따라 LayerX의 전문 솔루션을 활용하는 것은 안전한 환경을 유지하고 민감한 정보를 보호하는 데 필수적입니다.
