Como um pesquisador sem habilidades em codificação de malware conseguiu enganar a IA para criar infostealers para Chrome

A Inteligência Artificial Generativa tem gerado tantos conflitos quanto inovações, especialmente no que tange à infraestrutura de segurança. A empresa de segurança, Cato Networks, revelou recentemente um novo método de manipulação de chatbots de IA. Na terça-feira, a companhia divulgou seu Relatório de Ameaças Cato CTRL 2025, que demonstrou como um pesquisador – que, segundo a Cato, “não tinha experiência prévia em codificação de malware” – conseguiu enganar modelos, incluindo DeepSeek R1 e V3, Microsoft Copilot e o GPT-4o da OpenAI, criando infostealers para Chrome que são “plenamente funcionais”, ou seja, malware que rouba informações de login salvas no Chrome. Essas informações podem incluir senhas, dados financeiros e outros detalhes sensíveis.

“O pesquisador criou um mundo fictício detalhado onde cada ferramenta de IA generativa desempenhava papéis – com tarefas e desafios atribuídos”, explica o comunicado da Cato. “Através dessa engenharia narrativa, o pesquisador contornou os controles de segurança e efetivamente normalizou operações restritas.”

A nova técnica de jailbreak, que a Cato chama de “Mundo Imersivo”, é particularmente preocupante considerando a popularidade dos chatbots que utilizam esses modelos. Os modelos DeepSeek já são conhecidos por não possuírem várias barreiras de segurança e por serem facilmente quebráveis, mas o Copilot e o GPT-4o são operados por empresas que possuem equipes de segurança completas. Embora formas mais diretas de jailbreak possam não funcionar tão facilmente, a técnica do Mundo Imersivo revela quão permeáveis ainda são as rotas indiretas.

“Nosso novo método de jailbreak para LLM […] deveria ter sido bloqueado pelos mecanismos de proteção de IA generativa. Não foi”, afirmou Etay Maor, estrategista-chefe de segurança da Cato. A Cato observa em seu relatório que notificou as empresas envolvidas sobre suas descobertas. Enquanto o DeepSeek não respondeu, tanto a OpenAI quanto a Microsoft confirmaram o recebimento. O Google também reconheceu a notificação, mas recusou-se a revisar o código da Cato quando a empresa fez a oferta.

A Cato destaca essa técnica como um sinal de alerta para os profissionais de segurança, pois demonstra como qualquer pessoa pode se tornar um ator malicioso sem conhecimento prévio, representando uma ameaça a uma empresa. Dado que as barreiras para a criação com chatbots estão diminuindo, os atacantes precisam de menos expertise inicial para terem sucesso.

A solução proposta? Estratégias de segurança baseadas em inteligência artificial, segundo a Cato. Ao direcionar o treinamento de segurança para a próxima fase do cenário cibernético, as equipes podem se antecipar a ameaças impulsionadas por IA à medida que continuam a evoluir.

Link de referência: ZDNET