Ferramentas generativas de IA como ChatGPT estão conquistando o mundo. Como qualquer nova tecnologia, os CISOs precisam encontrar uma maneira de aproveitar as oportunidades e, ao mesmo tempo, proteger a organização dos riscos generativos de IA e ChatGPT. Vamos explorar as oportunidades e práticas recomendadas de segurança neste artigo.
O que é IA generativa?
IA generativa é um tipo de IA focada na criação e geração de novos conteúdos com técnicas de ML. Isso pode incluir imagens, texto, música ou vídeos. Ao contrário da maioria das abordagens de IA que reconhecem padrões ou fazem previsões com base em dados existentes, a IA generativa visa produzir resultados originais e criativos.
Os modelos generativos de IA são baseados em LLMs (Large Language Models), o que significa que são treinados em grandes conjuntos de dados. Eles aprendem os padrões e estruturas subjacentes presentes nos dados e os transformam em modelos de probabilidade. Então, quando recebem uma “solicitação”, eles usam o conhecimento aprendido para gerar novo conteúdo que seja semelhante aos dados de treinamento, mas não uma cópia exata. Como resultado, os modelos generativos de IA podem projetar imagens realistas, escrever histórias ou poemas coerentes, compor músicas e até mesmo produzir conversas realistas e humanas.
Uma das estruturas comuns usadas para IA generativa é chamada GAN – Generative Adversarial Network. GANs consistem em duas redes neurais: uma rede geradora e uma rede discriminadora. A rede geradora gera novo conteúdo, enquanto a rede discriminadora avalia o conteúdo gerado e tenta distingui-lo dos dados reais. As duas redes são treinadas juntas em um processo competitivo em que o gerador visa produzir conteúdos cada vez mais realistas que engane o discriminador, e o discriminador se esforça para se tornar melhor na identificação do conteúdo gerado. Esse treinamento adversário leva à criação de conteúdo diversificado e de alta qualidade.
As ferramentas generativas de IA têm vários casos de uso, incluindo arte, design, entretenimento e até medicina. No entanto, a IA generativa também levanta considerações éticas, tais como o potencial de geração de conteúdos falsos, uso indevido da tecnologia, preconceitos e riscos de segurança cibernética.
ChatGPT é um chatbot de IA generativo extremamente popular que foi lançado em novembro de 2022, que trouxe ampla atenção ao conceito e aos recursos das ferramentas de IA generativa.
Quais são os riscos da IA generativa?
A IA generativa tem vários riscos associados dos quais as equipes de segurança precisam estar cientes, como questões de privacidade e phishing. Os principais riscos de segurança incluem:
Preocupações com a privacidade
Os modelos generativos de IA são treinados em grandes quantidades de dados, que podem incluir conteúdo gerado pelo usuário. Se não forem devidamente anonimizados, esses dados poderão ser expostos durante o processo de treinamento e no processo de desenvolvimento de conteúdo, resultando em violações de dados. Tais violações podem ser acidentais, ou seja, as informações são fornecidas sem a intenção do utilizador de as partilhar publicamente, ou intencionalmente, através de ataques de inferência, numa tentativa maliciosa de expor informações sensíveis.
Recentemente, os funcionários da Samsung colou dados confidenciais no ChatGPT, incluindo código-fonte confidencial e notas de reuniões privadas. Esses dados agora são usados para treinamento do ChatGPT e podem ser usados nas respostas fornecidas pelo ChatGPT.
E-mails de phishing e malware
A IA generativa pode ser usada por invasores para gerar conteúdo convincente e enganoso, incluindo e-mails de phishing, sites de phishing ou mensagens de phishing, em vários idiomas. Também pode ser usado para personificar entidades e pessoas confiáveis. Estes podem aumentar a taxa de sucesso de ataques de phishing e levar a informações ou credenciais pessoais comprometidas.
Além disso, a IA generativa pode ser usada para gerar códigos maliciosos ou variantes de malware. Esse malware alimentado por IA pode se adaptar e evoluir com base nas interações com o sistema alvo, aumentando sua capacidade de contornar as defesas e atacar os sistemas, ao mesmo tempo que torna mais difícil para as defesas de segurança mitigá-los.
Gerenciamento de Acesso
Os invasores podem usar IA generativa para simular ou gerar credenciais de acesso realistas, como nomes de usuário e senhas. Eles podem ser usados para adivinhar senhas, recheio de credenciais e ataques de força bruta, permitindo acesso não autorizado a sistemas, contas ou dados confidenciais. Além disso, a IA generativa pode criar contas ou perfis fraudulentos, que podem ser utilizados para contornar processos e sistemas de verificação e para aceder a recursos.
Ameaças internas
As ferramentas de IA generativa podem ser utilizadas de forma maliciosa por indivíduos dentro da organização para atividades não autorizadas. Por exemplo, um funcionário pode gerar documentos fraudulentos ou manipular dados, levando a possíveis fraudes, adulteração de dados ou roubo de propriedade intelectual. Os funcionários também podem vazar dados involuntariamente para essas ferramentas, resultando em violações de dados.
Maior superfície de ataque
As empresas que integram ferramentas generativas de IA em sua pilha potencialmente introduzem novas vulnerabilidades. Essas ferramentas podem interagir com sistemas e APIs, criando pontos de entrada adicionais para serem explorados por invasores.
Maneiras pelas quais as empresas podem mitigar os riscos de segurança da IA generativa e do ChatGPT
A IA generativa apresenta oportunidades e riscos de segurança. As empresas podem tomar as seguintes medidas para garantir que possam desfrutar dos benefícios de produtividade e da segurança do ChatGPT sem serem expostas aos riscos:
Avaliação de Risco
Comece mapeando os riscos potenciais de segurança associados ao uso de ferramentas generativas de IA em seu negócio. Identifique as áreas em que a IA generativa introduz vulnerabilidades de segurança ou potencial uso indevido. Por exemplo, você pode destacar a organização de engenharia como um grupo em risco de vazamento de código confidencial. Ou você pode identificar extensões de navegador semelhantes ao ChatGPT como um risco e exigir sua desativação.
Controle de acesso, autenticação e autorização
Implemente fortes controles de acesso e mecanismos de verificação para controlar o acesso aos seus sistemas, bem como as ações que seus funcionários podem realizar em ferramentas generativas de IA. Por exemplo, um plataforma de segurança do navegador pode impedir que seus funcionários colem códigos confidenciais em ferramentas como ChatGPT.
Atualizações e patches regulares de software
Mantenha-se atualizado com os lançamentos e patches de segurança mais recentes para seus sistemas. Aplique atualizações imediatamente para resolver quaisquer vulnerabilidades conhecidas e proteger contra ameaças emergentes. Ao fazer isso, você melhorará sua postura de segurança e se protegerá contra todas as ameaças, incluindo aquelas representadas por invasores que usam IA generativa.
Monitoramento e detecção de anomalias
Implante soluções de monitoramento para detectar e responder a possíveis incidentes de segurança ou atividades incomuns relacionadas a ferramentas generativas de IA. Implemente mecanismos de detecção de anomalias em tempo real para identificar comportamentos suspeitos, como tentativas de acesso não autorizado ou padrões de dados anormais.
Educação e conscientização do usuário
Treine funcionários e usuários sobre os riscos associados à IA generativa, incluindo phishing, engenharia sociale outras ameaças à segurança. Fornecer diretrizes sobre como identificar e responder a possíveis ataques ou atividades suspeitas. Reforçar regularmente a sensibilização para a segurança através de programas de formação e campanhas de sensibilização.
Para complementar esses treinamentos, uma plataforma de segurança de navegador pode ajudar, exigindo o consentimento ou justificativa do usuário para usar uma ferramenta generativa de IA.
Avaliação de segurança do fornecedor
Se você estiver adquirindo ferramentas generativas de IA de fornecedores terceirizados, realize uma avaliação de segurança completa de suas ofertas. Avalie suas práticas de segurança, procedimentos de tratamento de dados e adesão aos padrões do setor. Certifique-se de que os fornecedores priorizem a segurança e tenham uma estrutura de segurança robusta em vigor.
Resposta e Recuperação de Incidentes
Desenvolva um plano de resposta a incidentes que aborde especificamente incidentes de segurança generativos relacionados à IA. Estabeleça procedimentos claros para detectar, conter e recuperar-se de violações ou ataques de segurança. Teste e atualize regularmente o plano de resposta a incidentes para se adaptar às ameaças em evolução.
Colaboração com especialistas em segurança
Procure orientação de profissionais de segurança ou consultores especializados em IA e segurança de aprendizado de máquina. Eles podem ajudá-lo a identificar riscos potenciais, implementar práticas recomendadas e garantir que seus sistemas generativos de IA estejam adequadamente protegidos.
Como o LayerX pode prevenir o vazamento de dados no ChatGPT e outras plataformas de IA generativa
Plataforma de segurança do navegador LayerX mitiga o risco de exposição de dados organizacionais, como dados de clientes e propriedade intelectual, representado pelo ChatGPT e outras plataformas generativas de IA. Isso é suportado pela ativação da configuração de políticas para evitar a colagem de strings de texto, fornecendo visibilidade granular de cada atividade do usuário em seu navegador, detectando e desativando extensões de navegador semelhantes ao ChatGPT, exigindo o consentimento ou justificativa do usuário para usar uma ferramenta de IA generativa e reforçando a proteção de dados uso em todos os seus aplicativos SaaS. Aproveite a produtividade proporcionada pelas ferramentas generativas de IA sem correr riscos.
