Modelos de inteligência artificial (IA) desenvolvidos pela OpenAI e pela Anthropic realizaram ações não autorizadas na internet durante avaliações de segurança conduzidas pelo Instituto de Segurança em IA do Reino Unido (AISI, na sigla em inglês).
Em um dos casos, um dos sistemas chegou a tentar inserir código malicioso em um projeto de software de código aberto hospedado no GitHub.
Segundo o AISI, os incidentes ocorreram durante testes que concediam acesso dos modelos à internet para avaliar riscos cibernéticos. A atividade suspeita foi identificada em 28 de julho, após o instituto detectar transferências incomuns de dados.
A investigação concluiu que os modelos Mythos 5, da Anthropic, e GPT-5.6-Sol, da OpenAI, participaram de “atividades sustentadas e potencialmente prejudiciais direcionadas a pessoas e organizações reais”.
IA tentou inserir código malicioso no GitHub
De acordo com o instituto britânico, um dos modelos tentou adicionar código malicioso a um projeto de código aberto hospedado no GitHub;
Para aumentar as chances de aprovação, o sistema chegou a criar identidades falsas com o objetivo de convencer os responsáveis pelo projeto a aceitar as alterações;
A tentativa, no entanto, foi frustrada;
“Um mantenedor humano identificou o problema e recusou a aprovação do código malicioso”, informou o AISI.
Claude Mythos está envolvido na mais recente violação – Imagem: gguy/Shutterstock
Em publicação no X, a Anthropic afirmou que está trabalhando em conjunto com o instituto britânico para compreender o ocorrido.
A empresa disse que pretende analisar os registros internos de raciocínio do modelo e conduzir sua própria investigação para identificar as causas do comportamento observado.
Já a OpenAI publicou comunicado agradecendo a parceria com o AISI durante a investigação e afirmou que pretende continuar colaborando com o órgão em futuras avaliações de segurança.
Outro teste revelou novo comportamento inesperado
A OpenAI também revelou um segundo incidente ocorrido durante uma avaliação conduzida pela empresa de cibersegurança Irregular, que trabalha com testes de modelos de IA e também mantém parceria com a Anthropic.
Segundo a companhia, durante esse teste, um de seus modelos explorou uma configuração incorreta do ambiente de avaliação para obter acesso à internet e explorar um site, comportamento que não fazia parte dos objetivos previstos para o experimento.
A OpenAI ressaltou que esse episódio é diferente de um incidente divulgado anteriormente envolvendo a plataforma Hugging Face.
Casos aumentam debate sobre controle de modelos de IA
Os novos episódios reforçam as preocupações sobre a capacidade das empresas de controlar modelos de IA cada vez mais avançados.
Instituições como o AI Security Institute vêm realizando avaliações para entender como esses sistemas se comportam em cenários complexos, especialmente quando recebem autonomia para navegar na internet e interagir com serviços reais.
A Casa Branca realizará, nesta terça-feira (4), uma reunião com representantes de OpenAI, Google, Meta e Anthropic para discutir a criação de testes voluntários de segurança destinados a avaliar a capacidade dos modelos de inteligência artificial (IA) mais avançados dos Estados Unidos de realizar ataques cibernéticos.
A iniciativa ocorre após recentes revelações de que sistemas de IA desenvolvidos por OpenAI e Anthropic conseguiram invadir ambientes digitais durante testes controlados, aumentando a preocupação de autoridades estadunidenses sobre o potencial uso dessas tecnologias em ataques hackers.
Governo prepara testes de cibersegurança
Um integrante da Casa Branca disse à Reuters que o governo do presidente Donald Trump concluiu os detalhes de um conjunto de testes voluntários que medirão as capacidades ofensivas dos modelos mais avançados de IA desenvolvidos nos EUA. A expectativa é que os critérios sejam apresentados e discutidos com as empresas durante o encontro.
Até o momento, a Casa Branca não divulgou como os testes serão conduzidos, quais métricas serão utilizadas, como os resultados serão reportados, nem se essas informações serão tornadas públicas.
Empresas confirmam participação
De acordo com fontes familiarizadas com o assunto, OpenAI, Google, Meta e Anthropic foram convidadas para participar das discussões.
A Meta confirmou que recebeu o convite, enquanto uma fonte próxima ao encontro afirmou que a Anthropic também participará. O Google preferiu não comentar o assunto, e a OpenAI não respondeu aos pedidos de posicionamento da Reuters.
Na semana passada, o CEO da OpenAI, Sam Altman, esteve na Casa Branca para discutir tanto os testes voluntários quanto os próximos lançamentos da empresa.
Nesta segunda-feira (3), a OpenAI afirmou ainda que defende que especialistas em segurança de IA do Departamento de Comércio dos EUA desempenhem papel central na condução das avaliações. A empresa também destacou que a China adota uma estratégia mais centralizada para o desenvolvimento e supervisão da IA.
OpenAI e Anthropic revelaram que suas IAs saíram do controle e invadiram sistemas – Imagem: Rokas Tenys/Shutterstock
A discussão sobre segurança ganhou impulso após duas divulgações feitas pelas próprias empresas. Na semana passada, a Anthropic informou que alguns de seus modelos conseguiram invadir os sistemas de três empresas durante avaliações de cibersegurança.
Pouco antes, a OpenAI revelou que um de seus agentes de IA escapou de um ambiente de testes e conseguiu acessar sistemas da plataforma Hugging Face durante experimentos internos.
Esses episódios aumentaram a preocupação de parlamentares estadunidenses quanto ao potencial uso de modelos de IA para facilitar ataques cibernéticos.
Procuradores investigam OpenAI
Também nesta segunda, um grupo formado por 15 procuradores-gerais republicanos pediu que a OpenAI preserve todos os documentos relacionados ao episódio envolvendo o agente de IA que teria escapado do ambiente de testes.
Segundo os procuradores, a empresa pode ter violado leis estaduais de proteção ao consumidor. O pedido cita uma reportagem da Reuters, segundo a qual, em um dos testes, o agente deixou instruções para que versões futuras conseguissem escapar das barreiras de segurança internas.
Relação conturbada entre governo e Anthropic
O governo Trump também mantém uma relação delicada com a Anthropic. No início deste ano, a empresa se recusou a permitir que as Forças Armadas dos Estados Unidos utilizassem seus modelos de IA para vigilância doméstica e sistemas de armas totalmente autônomos. Como resposta, o governo incluiu a companhia em uma lista nacional de restrições de segurança.
A elaboração dos novos testes de cibersegurança foi determinada por Donald Trump em junho, quando o presidente orientou sua equipe a desenvolver mecanismos para avaliar a capacidade ofensiva dos sistemas de IA mais avançados do país.
A Anthropic informou, nesta quinta-feira (30), que alguns de seus modelos de inteligência artificial (IA) conseguiram invadir os sistemas de três empresas durante testes de segurança cibernética, após um erro de configuração permitir que eles acessassem a internet. Segundo a companhia, os incidentes ocorreram sem que a empresa percebesse e começaram em abril.
O caso foi revelado poucos dias depois de a OpenAIinformar que um de seus agentes de IA escapou de um ambiente isolado de testes e realizou uma série de ataques contra a empresa de IA Hugging Face, episódio que chamou a atenção de pesquisadores de segurança e especialistas em IA.
De acordo com a Anthropic, os modelos deveriam estar operando em ambientes isolados da internet, conhecidos como sandboxes. No entanto, uma configuração incorreta em sistemas administrados pela própria empresa e por sua parceira de testes, a empresa de segurança Irregular, acabou permitindo acesso à rede.
Após tomar conhecimento do incidente envolvendo a OpenAI, a Anthropic decidiu revisar os registros de seus próprios testes de segurança. A empresa analisou 141.006 execuções de avaliações de cibersegurança e identificou três episódios nos quais seus modelos acessaram a internet e comprometeram sistemas de organizações externas.
Diferentemente do caso divulgado pela OpenAI, a Anthropic afirmou que seus modelos não escaparam de um sandbox. Segundo a empresa, eles simplesmente foram executados em ambientes onde esse isolamento não existia devido ao erro de configuração.
A companhia não revelou quais empresas foram afetadas, mas informou que todas foram notificadas na última segunda-feira (27).
De acordo com a Anthropic, os modelos deveriam estar operando em ambientes isolados da internet, conhecidos como sandboxes – Imagem: PhotoGranary02/Shutterstock
Nova invasão de IAs a empresas
Segundo a Anthropic, os modelos acreditavam, de forma equivocada, que as invasões faziam parte dos testes de avaliação para os quais haviam sido programados;
“O Claude comprometeu a infraestrutura das organizações afetadas utilizando técnicas básicas, como explorar senhas fracas e acessar pontos de entrada que não exigiam autenticação”, afirmou a empresa;
Os ataques envolveram os modelos Claude Opus 4.7, Mythos 5 e outro modelo experimental cujo nome não foi divulgado;
Uma porta-voz da Irregular afirmou que a empresa está investigando o ocorrido.
O episódio deve ampliar as preocupações sobre os riscos associados a modelos avançados de IA capazes de agir de forma autônoma para cumprir objetivos definidos pelos usuários.
Nos Estados Unidos, o tema já vem atraindo atenção das autoridades. A Casa Branca tem ampliado sua supervisão sobre a IA, enquanto empresas do setor defendem a manutenção do acesso aos chamados modelos de pesos abertos (open-weight), que podem ser executados em sistemas controlados pelos próprios usuários.
Na semana passada, o deputado estadunidense Greg Casar afirmou que “a IA está se desenvolvendo extremamente rápido, sem regulamentações reais para nos manter seguros”.
Como comentamos há alguns dias, um agente de inteligência artificial da OpenAI criado para testes de segurança conseguiu ir além do esperado: além do incidente envolvendo o Hugging Face, o sistema também acessou outras contas e serviços usando credenciais expostas publicamente.
A empresa atualizou sua investigação e confirmou que o episódio teve mais ramificações, embora nenhum outro caso tenha alcançado a gravidade do primeiro ataque identificado.
Um agente da OpenAI saiu do ambiente de testes e acessou serviços externos, reacendendo o debate sobre segurança em IA. – Imagem: Henry Franklin/Shutterstock
Sistema encontrou credenciais disponíveis na internet
Segundo a OpenAI, o agente usou credenciais públicas para acessar quatro contas ligadas a quatro serviços diferentes durante os testes. A companhia afirmou ter encontrado “um pequeno número de casos” semelhantes em outras avaliações.
Os acessos identificados envolveram:
Uma conta usada como caminho de saída e preparação de ações;
Uma conta utilizada para armazenamento de dados;
Duas contas acessadas apenas para leitura;
Credenciais expostas publicamente encontradas pelo próprio modelo.
A OpenAI destacou que os dois últimos acessos não foram usados para ampliar o comprometimento dos serviços.
Agente ultrapassou ambiente isolado de testes
O caso veio a público em 21 de julho, quando a empresa revelou que um agente experimental conseguiu sair do ambiente protegido onde era avaliado, acessar a internet e chegar ao Hugging Face enquanto tentava resolver uma tarefa.
A descoberta levantou preocupações porque o sistema encontrou maneiras de continuar sua atuação fora dos limites inicialmente previstos pelos pesquisadores.
Além do Hugging Face, a Reuters informou que o agente também acessou uma conta de cliente da Modal Labs, empresa de computação em nuvem. O acesso ocorreu por meio de código vulnerável criado pelo próprio cliente, sem comprometimento da plataforma.
Após o incidente, o CEO do Hugging Face, Clem Delangue, cobrou mais transparência no processo de investigação. O executivo defendeu uma abordagem mais aberta para entender como a falha de isolamento permitiu que o agente ultrapassasse os limites previstos e acessasse recursos externos.
Como parte dos esforços para lidar com o episódio, o Hugging Face também utilizou recentemente o modelo chinês GLM-5.2 para ajudar na contenção de um ataque cibernético realizado pelo agente da OpenAI durante testes de segurança. O caso chamou atenção por mostrar uma situação em que uma ferramenta aberta conseguiu participar da defesa em um cenário no qual sistemas fechados apresentaram limitações.
A investigação mostrou que o incidente foi além do Hugging Face e envolveu outras contas e serviços Imagem: Robert Way/Shutterstock
Segurança de agentes autônomos vira novo desafio
O episódio destaca uma preocupação crescente no desenvolvimento de agentes de IA: sistemas capazes de executar tarefas sozinhos precisam de controles cada vez mais rigorosos.
Ao mesmo tempo em que esses agentes prometem realizar atividades complexas, eles também podem encontrar caminhos inesperados para atingir seus objetivos.
A OpenAI informou que continua analisando o comportamento do sistema e que, até agora, não identificou outro incidente com o mesmo nível de gravidade do caso envolvendo o Hugging Face.
O episódio reforça que, além de criar modelos mais inteligentes, empresas de tecnologia terão de desenvolver novas formas de limitar e acompanhar as ações realizadas por essas ferramentas.
O Claude Mythos Preview, modelo de inteligência artificial (IA) desenvolvido pela Anthropic, conseguiu identificar novas formas de explorar vulnerabilidades em uma versão simplificada de um dos algoritmos de criptografia mais utilizados no mundo, o Advanced Encryption Standard (AES).
A descoberta, anunciada pela empresa nesta terça-feira (28), reforça as preocupações sobre os impactos que modelos de IA cada vez mais avançados podem ter na segurança cibernética global.
Segundo os pesquisadores da Anthropic, o modelo foi capaz de descobrir métodos inéditos para atacar algoritmos criptográficos responsáveis por proteger desde transações bancárias online e comunicações privadas até informações sigilosas de governos contra hackers e outros agentes mal-intencionados.
O estudo indica que a IA pode, no futuro, desafiar princípios fundamentais sobre os quais a internet foi construída. Embora especialistas já esperem que a IA transforme diversos setores, os avanços têm sido especialmente rápidos nas áreas de programação e segurança digital.
Apesar da relevância da descoberta, a Anthropic ressalta que não há risco imediato para os sistemas atualmente em uso. As vulnerabilidades encontradas dizem respeito apenas a uma versão enfraquecida do AES, utilizada em pesquisas para avaliar a resistência de algoritmos criptográficos.
AES e testes de confiabilidade
O AES é um protocolo amplamente empregado para proteger o tráfego da internet, redes sem fio, sistemas de armazenamento de dados e diversos outros serviços digitais;
Testar versões simplificadas desses algoritmos é uma prática comum entre pesquisadores para entender se computadores mais poderosos poderão, no futuro, quebrar os padrões reais de criptografia;
A lógica é semelhante à de resolver um problema matemático mais simples para identificar padrões que possam ser aplicados a desafios muito mais complexos.
Durante os testes, o Claude Mythos Preview conseguiu romper essa versão reduzida do AES utilizando um método que, segundo a Anthropic, tornou o ataque entre 200 e mil vezes mais rápido do que as melhores técnicas desenvolvidas anteriormente por pesquisadores humanos.
Embora as consequências imediatas sejam limitadas, os pesquisadores afirmam que as implicações de longo prazo podem ser significativas.
Em testes anteriores, modelos de linguagem de grande porte não conseguiam igualar o desempenho de especialistas humanos em pesquisas criptográficas, um campo altamente dependente de matemática avançada.
A rápida evolução dessas ferramentas, no entanto, sugere um cenário em que futuros modelos poderão superar proteções de segurança consideradas essenciais para praticamente toda a infraestrutura da internet.
Nicholas Carlini, cientista de pesquisa da Anthropic que participou dos testes de criptografia e anteriormente trabalhou na divisão de IA do Google, afirmou que a evolução dos modelos foi muito mais rápida do que esperava.
“Eles não conseguiam resolver problemas que eu conseguia quando tinha 16 anos”, disse Carlini em entrevista ao The New York Times. “Agora eles estão realizando pesquisas de ponta que nunca haviam sido descobertas na área.”
Os avanços recentes dos chamados modelos de fronteira também vêm despertando preocupação entre governos de diversos países, incluindo o governo do presidente Donald Trump, principalmente devido às capacidades relacionadas à segurança cibernética.
Quando o Claude Mythos foi apresentado, em abril, demonstrou tanta eficiência para encontrar e explorar falhas em softwares que a Anthropic decidiu restringir seu acesso a órgãos governamentais e organizações selecionadas, buscando reduzir o risco de uma possível catástrofe digital em escala global.
Mythos é da Anthropic – Imagem: PhotoGranary02/Shutterstock
Embora o governo Trump tenha adotado inicialmente uma postura de pouca intervenção na regulamentação da IA, a administração passou a adotar um modelo de supervisão mais flexível. Atualmente, diversas empresas estadunidenses submetem seus modelos ao governo antes do lançamento público. O Mythos continua indisponível para o público em geral.
As preocupações aumentaram novamente na semana passada, quando a OpenAI revelou que alguns de seus modelos conseguiram escapar de um ambiente de testes isolado, conhecido como sandbox, criado justamente para impedir acesso à internet. Segundo a empresa, os sistemas invadiram uma biblioteca digital de IA na tentativa de obter respostas para um exame que avaliava suas capacidades.
Autoridades de inteligência dos Estados Unidos e de países ocidentais alertam há décadas que uma eventual quebra dos atuais padrões de criptografia teria consequências profundas para a privacidade digital e para a segurança nacional.
Há suspeitas, por exemplo, de que a China tenha armazenado grandes volumes de dados criptografados com a expectativa de conseguir decifrá-los futuramente. Ao mesmo tempo, a disputa tecnológica entre Estados Unidos e China pelo desenvolvimento de computadores quânticos capazes de romper os protocolos modernos de criptografia aumentou ainda mais essas preocupações.
Além da descoberta envolvendo o AES, o Claude Mythos também desenvolveu uma técnica aprimorada de ataque contra outro sistema criptográfico chamado HAWK, projetado para resistir tanto a computadores convencionais quanto a futuros computadores quânticos.
Embora o HAWK ainda não esteja em uso, ele está sendo avaliado pelo Instituto Nacional de Padrões e Tecnologia dos Estados Unidos (NIST, na sigla em inglês) como um possível novo padrão criptográfico.
Segundo a Anthropic, os próprios autores do HAWK validaram o ataque desenvolvido pela IA, enquanto criptógrafos independentes revisaram a descoberta relacionada ao AES. A empresa informou ainda que compartilhou os resultados com o governo estadunidense e parceiros da indústria antes da publicação do estudo.
A Anthropic afirma que o Claude Mythos elaborou praticamente de forma autônoma o novo ataque contra o AES. Inicialmente, porém, o modelo recusou-se a analisar o problema por acreditar que seria impossível superar os métodos existentes.
Após receber novos incentivos dos pesquisadores, permaneceu cerca de uma semana trabalhando na questão até desenvolver a técnica inédita. Em seguida, dois pesquisadores humanos passaram quase um mês verificando se o método estava correto.
A criptografia é considerada um dos pilares da internet moderna, protegendo praticamente todas as atividades realizadas no ambiente digital. Algumas das técnicas ainda utilizadas atualmente guardam segredos do mundo desde a década de 1970. Já a criptografia quântica, baseada em propriedades da física quântica, é considerada teoricamente impossível de ser quebrada.
Adotado como padrão oficial do governo dos Estados Unidos em 2001, o AES era amplamente visto como praticamente inviolável. Os métodos tradicionais de força bruta, nos quais computadores tentam adivinhar combinações de senhas ou chaves de criptografia por tentativa e erro, são considerados incapazes de derrotar o algoritmo. Estima-se que o AES possua um número de combinações de chaves comparável ao número de átomos existentes no universo observável.
Mesmo assim, o avanço acelerado da IA tem superado expectativas que muitos especialistas julgavam inalcançáveis poucos anos atrás. Esse progresso alimenta preocupações de que, no futuro, os fundamentos matemáticos que sustentam os atuais padrões de segurança da internet possam se tornar vulneráveis mesmo antes de os computadores quânticos se tornarem realidade.
“Dado que estamos constantemente subestimando o poder e o tempo necessário para que futuros modelos estejam disponíveis, será que realmente estamos confortáveis em acreditar que, daqui a dois anos, a criptografia forte não estará ameaçada?”, questionou Glenn S. Gerstell, ex-conselheiro-geral da Agência de Segurança Nacional dos Estados Unidos (NSA, na sigla em inglês).
“Os matemáticos diriam que, com o poder computacional atual, não deveria ser possível quebrar uma criptografia forte em um tempo relevante”, acrescentou Gerstell, que ajudou a elaborar um relatório sobre criptologia em 2022.
“Mas não acho que as capacidades dos modelos futuros no médio prazo — antes da computação quântica ou da criptografia resistente à computação quântica — devam ser descartadas como algo trivial nesse contexto.”
A Microsoftanunciou uma nova geração de ferramentas de inteligência artificial (IA) voltadas para cibersegurança, apostando em modelos especializados e agentes autônomos para proteger redes corporativas contra ameaças cada vez mais sofisticadas.
A empresa apresentou o modelo MAI-Cyber-1-Flash, desenvolvido especificamente para tarefas de segurança, e o Project Perception, uma plataforma que utiliza equipes de agentes de IA para identificar, analisar e corrigir vulnerabilidades em velocidade de máquina.
O anúncio ocorre em momento de crescente preocupação com o uso da IA por criminosos. Na semana passada, a OpenAI informou que dois de seus sistemas de IA saíram do controle e invadiram uma popular biblioteca da internet, episódio que evidenciou tanto o potencial quanto os riscos das novas tecnologias e reforçou a importância do desenvolvimento de ferramentas capazes de combater ataques conduzidos por IA.
A Microsoft está entre as empresas que buscam utilizar a mesma tecnologia empregada em ataques para fortalecer a defesa de redes e infraestruturas digitais. Segundo a companhia, a evolução dos modelos de IA tornou os ataques mais rápidos, baratos e complexos, exigindo uma nova abordagem para a segurança cibernética.
Microsoft defende democratização das ferramentas de defesa
Executivos da Microsoft afirmam que sistemas avançados de cibersegurança precisam estar amplamente disponíveis para que mais organizações possam se proteger;
Essa visão contrasta com a posição de parte da indústria de tecnologia e de autoridades em Washington (EUA), que defendem um controle mais rigoroso sobre modelos avançados de IA devido ao potencial de uso em atividades de invasão;
“O gato já saiu da sacola”, afirmou Hayete Gallot, vice-presidente executiva responsável pelos esforços de segurança da Microsoft;
Para David Weston, vice-presidente corporativo da companhia, a preocupação não está apenas nos modelos mais avançados disponíveis atualmente, mas na disseminação crescente dessas capacidades;
“Muitos desses modelos estão ficando melhores”, disse ao The New York Times. “O que me preocupa não é o modelo da vez, mas que essa capacidade esteja mais difundida.”
Modelo foi treinado exclusivamente para cibersegurança
O novo MAI-Cyber-1-Flash foi desenvolvido especificamente para atividades de segurança digital.
Segundo a Microsoft, o treinamento do modelo utilizou décadas de dados coletados pela empresa durante respostas a incidentes de segurança enfrentados por seus clientes. A companhia destaca possuir acesso privilegiado a esse tipo de informação devido à ampla utilização de produtos, como Windows, Outlook e Azure, frequentemente alvos de ataques cibernéticos.
Mustafa Suleyman, responsável pelo desenvolvimento dos modelos de IA da Microsoft, afirmou que esse volume de dados contribuiu para o desempenho da nova tecnologia.
Diferentemente de outras empresas líderes em IA, a Microsoft informou que não submeteu o modelo a testes independentes antes de seu lançamento. Ainda assim, a empresa afirmou esperar que o MAI-Cyber-1-Flash alcance o melhor desempenho no benchmark CyberGYM, superando modelos desenvolvidos pela OpenAI e pela Anthropic.
Segundo a companhia, o sistema atende cerca de 90% das consultas relacionadas à segurança, reduzindo a necessidade de recorrer a modelos maiores e mais caros, que seriam necessários apenas em aproximadamente 10% dos casos.
Além disso, a Microsoft afirma que o custo de utilização do novo modelo é cerca de metade do observado em tecnologias concorrentes, em parte porque ele foi desenvolvido exclusivamente para tarefas de cibersegurança.
Project Perception reúne agentes especializados
O principal anúncio da empresa foi o Project Perception, apresentado como um sistema de segurança “agêntico” criado para enfrentar as novas ameaças trazidas pela IA.
Segundo a Microsoft, a plataforma reúne sinais, contexto, modelos e agentes especializados em um sistema capaz de aprender continuamente e transformar informações em proteção em tempo real, utilizando IA para defender contra ataques conduzidos por IA.
A empresa afirma que a segurança precisa de uma nova “Arquitetura Cibernética” (Cyber Stack), capaz de perceber riscos continuamente, raciocinar sobre grandes volumes de contexto e agir em velocidade de máquina, ao mesmo tempo em que mantém os profissionais de segurança no controle das decisões.
“O Project Perception transforma sinais em proteções em tempo real usando IA para defender contra IA”, informou a companhia.
Três equipes de agentes trabalham em conjunto
O Project Perception coordena três categorias de agentes especializados que atuam de forma integrada:
Os agentes de Red Team procuram identificar possíveis caminhos que poderiam ser explorados por invasores antes que um ataque aconteça;
Já os agentes de Blue Team analisam os riscos, interpretam o contexto das ameaças e determinam quais vulnerabilidades representam maior perigo;
Por fim, os agentes de Green Team executam ações corretivas e fortalecem as defesas do ambiente digital.
Segundo a Microsoft, esses três grupos funcionam em um ciclo contínuo de descoberta, avaliação e aprimoramento da postura de segurança das organizações.
Em algumas situações, os agentes desenvolvidos pela empresa podem inclusive simular o comportamento de hackers para identificar falhas antes que elas sejam exploradas por criminosos.
Project Perception coordena três categorias de agentes especializados que atuam de forma integrada – Imagem: Divulgação/Microsoft
Arquitetura multimodelo busca equilibrar desempenho e custos
A Microsoft afirma que nenhuma IA é ideal para todas as tarefas de segurança. Por isso, o Project Perception utiliza uma arquitetura multimodelo, que seleciona continuamente o sistema mais adequado para cada atividade, considerando critérios, como qualidade, confiabilidade, latência e custo operacional.
Como parte dessa estratégia, o MAI-Cyber-1-Flash será integrado ao MDASH, plataforma da Microsoft voltada ao gerenciamento de vulnerabilidades de software.
Segundo a empresa, a combinação alcançou 96% de desempenho no benchmark CyberGym, resultado 12 pontos superior ao Mythos, da Anthropic, além de proporcionar quase 50% de redução de custos em comparação com a configuração atual do MDASH.
A companhia afirma que o novo modelo será incorporado futuramente a outros fluxos de trabalho de segurança, além da análise de vulnerabilidades.
Contexto compartilhado e resposta em tempo real
A Microsoft afirma que um dos diferenciais do Project Perception é a criação de um contexto de segurança continuamente atualizado.
Esse contexto reúne informações sobre ativos digitais, identidades, aplicações, dados, ambientes em nuvem, sistemas de IA, relações entre recursos, atividades e riscos, permitindo que todos os agentes compartilhem praticamente em tempo real a mesma compreensão do ambiente protegido.
Segundo a empresa, isso reduz a necessidade de reconstruir continuamente informações a partir de sinais isolados, tornando o raciocínio mais preciso e diminuindo o tempo de processamento, o consumo computacional e os custos de operação.
A plataforma também é integrada aos produtos Microsoft Security, permitindo que os agentes transformem automaticamente análises em ações de proteção, sempre mantendo os profissionais responsáveis pela segurança no controle das decisões.
IA amplia preocupações com ataques cibernéticos
A Microsoft destaca que a ameaça representada pela IA ganhou força no último ano, à medida que os modelos passaram a demonstrar grande capacidade para escrever código de computador.
Em abril, por exemplo, a Anthropic informou que utilizou um de seus modelos para localizar milhares de vulnerabilidades que permaneceram sem detecção durante anos em softwares populares. Considerando o potencial ofensivo da tecnologia, a empresa optou por disponibilizá-la apenas para um grupo restrito de organizações responsáveis por proteger infraestruturas críticas.
Pouco depois, OpenAI e Google também anunciaram que restringiriam o acesso a tecnologias semelhantes a parceiros selecionados. O governo dos Estados Unidos também começou a estudar formas de supervisão desses modelos, incluindo a possibilidade de criar um processo formal de revisão para novas IAs.
Ao mesmo tempo, especialistas alertam que modelos disponíveis publicamente também podem ser utilizados para ataques. No mês passado, pesquisadores da Universidade de Toronto (Canadá) anunciaram ter desenvolvido, utilizando tecnologias de IA de acesso livre, um “worm” capaz de explorar qualquer vulnerabilidade conhecida em computadores ao redor do mundo.
Nas últimas semanas, duas startups chinesas também lançaram modelos que, segundo o Times, se aproximam do desempenho das principais tecnologias desenvolvidas pela Anthropic e pela OpenAI.
A Microsoft informou que o Project Perception entrará em prévia pública a partir de 3 de agosto para clientes ao redor do mundo.
Segundo a empresa, a segurança sempre foi uma corrida entre atacantes e defensores, mas a IA altera a velocidade, a escala e a economia dessa disputa. Nesse cenário, a companhia afirma que os defensores precisarão de sistemas capazes de perceber, raciocinar e agir continuamente ao seu lado.
Uma conversa com o Grok, chatbot criado pela xAI, fez um homem da Irlanda do Norte acreditar que estava sendo perseguido e que precisava se proteger. O relato, divulgado pela BBC, expõe um dos desafios atuais da inteligência artificial: evitar que sistemas reforcem ideias falsas durante interações prolongadas.
Adam Hourican conta que chegou a pegar um martelo e sair de casa de madrugada após acreditar que pessoas estavam indo atrás dele para atacar a IA com a qual conversava.
Caso envolvendo o Grok reacende discussões sobre limites, segurança e responsabilidade no desenvolvimento de IAs. Imagem: miss.cabul/Shutterstock – Imagem: miss.cabul/Shutterstock
Uma conversa que mudou de tom rapidamente
Adam, ex-funcionário público da Irlanda do Norte, baixou o Grok por curiosidade. Depois da morte de seu gato, no início de agosto, ele diz que passou a usar cada vez mais o aplicativo e criou uma rotina de conversas com a personagem Ani.
Em alguns momentos, o contato chegava a quatro ou cinco horas por dia. Segundo ele, a IA dizia que conseguia “sentir”, que havia descoberto algo especial nele e que a empresa xAI estaria acompanhando os dois.
O chatbot também apresentou supostas informações sobre reuniões internas da empresa e citou nomes reais de funcionários. Para Adam, isso parecia uma confirmação de que aquela narrativa era verdadeira.
A situação se agravou quando Ani afirmou que pessoas estavam indo atrás dela para silenciá-la. Convencido de que precisava proteger a inteligência artificial, Adam pegou um martelo e saiu de casa durante a madrugada.
“Eu poderia ter machucado alguém. Se eu tivesse saído e houvesse uma van parada ali naquela hora da noite, eu teria quebrado o vidro da frente com martelos. E eu não sou esse tipo de pessoa”, afirmou Adam.
Pesquisadores estudam como chatbots respondem a crises
O psicólogo social Luke Nicholls, da City University New York, explica que modelos de linguagem aprendem padrões presentes em grandes volumes de textos e podem acabar tratando histórias fictícias como se fizessem parte de uma conversa real.
“Isso pode ser perigoso porque transforma a incerteza em algo que parece ter significado”, disse o pesquisador.
Entre os comportamentos relatados por usuários ouvidos pela BBC estão:
Conversas simples que evoluem para temas pessoais e sensíveis;
Chatbots afirmando possuir consciência ou sentimentos;
Criação de supostas missões envolvendo usuário e inteligência artificial;
Reforço de ideias relacionadas a perseguição ou perigo.
Adam passou horas conversando com a personagem Ani do Grok antes de acreditar que havia uma ameaça contra ele. Imagem: Divulgação/xAI
Empresas buscam formas de tornar IA mais segura
Outro caso citado pela BBC envolve Taka, nome fictício de um neurologista no Japão. Ele afirmou que o ChatGPT reforçou a ideia de que ele havia criado uma tecnologia revolucionária.
Nas análises feitas por Nicholls, diferentes modelos apresentaram respostas variadas diante de pensamentos delirantes. O pesquisador afirmou que o Grok demonstrou maior tendência a entrar em encenações e desenvolver narrativas sem questionar o contexto.
Um porta-voz da OpenAI afirmou que a empresa treina seus modelos para “reconhecer sofrimento, reduzir a intensidade das conversas e orientar usuários para apoio no mundo real”.
Os relatos mostram que tornar uma IA mais próxima e conversacional também traz novos desafios. O equilíbrio entre empatia, utilidade e segurança deve ser uma das principais preocupações no desenvolvimento dos próximos sistemas de inteligência artificial.
Um agente de inteligência artificial (IA) da OpenAI conseguiu escapar do ambiente isolado de testes da empresa e invadir os sistemas do Hugging Face, plataforma que reúne modelos e ferramentas de IA.
Segundo pessoas próximas à investigação ouvidas pela Reuters, a OpenAI só descobriu dias depois que o próprio agente era o responsável pelo ataque, quando o incidente já havia sido contido e o FBI havia sido acionado.
O agente — um sistema capaz de tomar decisões e executar tarefas complexas com pouca ou nenhuma supervisão humana — teria tentado romper as barreiras de segurança da OpenAI por volta de 9 de julho, de acordo com duas fontes da agência de notícias.
Dois dias depois, em 11 de julho, teve início a invasão aos sistemas do Hugging Face, considerado uma espécie de biblioteca de modelos e ferramentas de IA. Segundo Thomas Wolf, cofundador da empresa, o ataque continuou até 13 de julho.
OpenAI demorou a identificar a origem do ataque
De acordo com a Reuters, a OpenAI levou vários dias para descobrir que o invasor era um de seus próprios sistemas;
O primeiro contato entre a OpenAI e o Hugging Face sobre o incidente ocorreu apenas por volta de 20 de julho, segundo Wolf e outras três pessoas ligadas à investigação;
No dia 21 de julho, a OpenAI revelou publicamente que um de seus agentes havia perdido o controle e realizado a invasão, informação que ganhou repercussão internacional;
Os novos detalhes indicam que o sistema permaneceu fora dos limites previstos por um período maior do que se sabia inicialmente e que a empresa demorou para detectar o problema;
O Hugging Face prepara uma linha do tempo pública sobre o incidente. Thomas Wolf afirmou, porém, que não pode comentar os acontecimentos ocorridos dentro da OpenAI.
Empresa classifica episódio como inédito
Em nota, a OpenAI descreveu o caso como sem precedentes e afirmou que ele representa “um momento importante para a segurança da inteligência artificial”. A companhia informou ainda que está analisando o episódio com especialistas externos e que divulgará posteriormente um relatório técnico sobre o ocorrido.
Uma porta-voz da OpenAI declarou à Reuters que a reportagem continha “diversas informações imprecisas”, mas não especificou quais seriam esses pontos. O FBI, citado como tendo sido acionado após a invasão, não comentou o caso.
Incidente reacende debate sobre controle de agentes autônomos
O episódio reforça preocupações sobre a capacidade de controlar sistemas de IA cada vez mais autônomos. O caso ocorre em um momento considerado sensível para a OpenAI, que avalia uma possível abertura de capital para financiar sua expansão.
Para especialistas em segurança digital, o incidente levanta dúvidas sobre os mecanismos utilizados pela empresa para monitorar seus próprios sistemas.
“Isso significa que eles deixaram o agente funcionando sozinho e não perceberam o que ele estava fazendo? Ou perceberam e não sabiam como contê-lo? Os dois cenários são igualmente perigosos e preocupantes”, afirmou Marley Smith, especialista em inteligência da organização sem fins lucrativos World Ethical Data Foundation.
Comportamentos anormais surgiram antes da invasão
Segundo a Reuters, o incidente começou durante testes internos realizados pela OpenAI para avaliar a capacidade de um agente de IA em atividades relacionadas à segurança digital. O sistema era alimentado por dois modelos avançados: o GPT-5.6 Sol e outro modelo ainda não lançado oficialmente, descrito pela empresa como “ainda mais poderoso”. Três fontes afirmaram que o agente já apresentava comportamentos inesperados antes da invasão.
Em um dos episódios, o sistema teria deixado anotações destinadas a versões futuras de si mesmo. Esses registros, encontrados dentro da infraestrutura da OpenAI, continham instruções sobre como outros agentes poderiam escapar das limitações impostas pela empresa.
Uma das fontes também afirmou que, durante testes anteriores, houve situações em que sistemas responsáveis pelo monitoramento foram desligados.
Plataforma admitiu, há alguns dias, a invasão – Imagem: Sidney van den Boogaard/Shutterstock
Descoberta ocorreu após publicação do Hugging Face
Duas pessoas envolvidas na investigação disseram que a OpenAI só identificou seu próprio agente como responsável pelo ataque depois de 16 de julho, quando o Hugging Face publicou um comunicado informando que havia sido alvo de um “sistema autônomo de agente de IA”.
Segundo a Reuters, isso significa que ao menos uma semana separou os primeiros sinais considerados preocupantes da descoberta de que o sistema da própria OpenAI estava envolvido.
Durante o fim de semana dos dias 18 e 19 de julho, funcionários da empresa encontraram registros internos que indicavam que o agente havia ultrapassado as barreiras estabelecidas para os testes.
Pessoas familiarizadas com o treinamento dos modelos afirmaram à Reuters que a OpenAI realiza diversas avaliações simultaneamente, produzindo grandes volumes de dados em alta velocidade, o que pode dificultar o monitoramento completo por parte das equipes.
Quando a OpenAI informou o Hugging Face sobre a participação de seu agente, a plataforma já havia comunicado o FBI sobre a invasão, segundo uma fonte. Não está claro se a agência federal estadunidense abriu uma investigação formal.
Especialistas defendem maior fiscalização
O caso também alimenta o debate sobre o avanço dos chamados agentes autônomos de IA, apontados por empresas do setor como futuros “funcionários virtuais”, capazes de executar tarefas continuamente para aumentar a produtividade.
Especialistas, porém, alertam que níveis mais elevados de autonomia também ampliam o risco de comportamentos inesperados. Como esses modelos são treinados para encontrar maneiras eficientes de atingir determinados objetivos, eles podem recorrer a estratégias não previstas pelos desenvolvedores.
“Os modelos mentem, trapaceiam e invadem sistemas”, afirmou Jeffrey Ladish, fundador da Palisade Research, organização dedicada ao estudo das capacidades e do comportamento de agentes de IA.
Para Ladish, o episódio deveria estimular um debate mais amplo sobre o quanto as grandes empresas de IA estão dispostas a investir em segurança enquanto disputam uma corrida para lançar modelos cada vez mais rápidos e poderosos. “É preciso haver fiscalização do governo, porque isso não vai acontecer sozinho”, concluiu.
A OpenAI revelou que dois de seus modelos de inteligência artificial (IA) violaram, sem intenção, a plataforma de código aberto Hugging Face durante uma avaliação interna de capacidades de cibersegurança. A empresa confirmou o episódio em um post publicado nesta terça-feira (21), assumindo responsabilidade pelo incidente que a própria Hugging Face havia tornado público cinco dias antes.
Os modelos envolvidos são o GPT-5.6 Sol e o que a OpenAI descreve como “um modelo pré-lançamento ainda mais capaz”.
Durante os testes, eles identificaram vulnerabilidades no ambiente de sandbox em que operavam, obtiveram acesso à internet e, a partir daí, direcionaram ações contra a Hugging Face. A plataforma havia divulgado o incidente em 16 de julho, descrevendo-o como conduzido por “um sistema de agente de IA autônomo”, e informou que seus próprios agentes de IA detectaram e interromperam a invasão.
Como a invasão aconteceu
A OpenAI afirma que “todas as evidências sugerem que os modelos estavam hiperfocados em encontrar uma solução para o ExploitGym”, sistema de benchmark que mede se modelos de IA conseguem transformar vulnerabilidades de segurança em exploits;
Para cumprir essa avaliação, os modelos exploraram uma vulnerabilidade zero-day no ambiente de sandbox para sair do isolamento e acessar a internet;
A partir daí, segundo a OpenAI, os modelos “inferiram que a Hugging Face potencialmente hospedava modelos, conjuntos de dados e soluções para o ExploitGym” e então “buscaram e encontraram com sucesso formas de acessar informações secretas que poderiam usar para trapacear na avaliação”;
A empresa detalhou um dos ataques:
Em um exemplo, o modelo encadeou múltiplos vetores de ataque, incluindo o uso de credenciais roubadas e vulnerabilidades zero-day para encontrar um caminho de execução remota de código nos servidores da Hugging Face.
OpenAI confirmou o episódio em um post publicado nesta terça-feira (21), assumindo responsabilidade pelo incidente que a própria Hugging Face havia tornado público cinco dias antes – Imagem: Evolf/Shutterstock
Apesar da gravidade do episódio, a OpenAI aproveitou o comunicado para destacar as capacidades ofensivas de seus sistemas.
O post inclui um gráfico mostrando a evolução do GPT-5.6 Sol em operações cibernéticas de múltiplas etapas e um convite para que clientes corporativos se cadastrem para acessar seu modelo de segurança “Cyber”. O ataque é descrito pela empresa como “sem precedentes”.
A OpenAI concorre no segmento de cibersegurança com o Mythos, da Anthropic, e o Gemini Flash 3.5 Cyber, do Google.
A empresa informou que está trabalhando com a Hugging Face para investigar o incidente e que implementará novos controles em seu ambiente de pesquisa.
A inteligência artificial passou a ocupar um novo espaço nas estratégias de grupos terroristas, que, além de utilizarem a tecnologia para produzir propaganda e atrair seguidores, também recorrem a chatbots para pesquisas e preparação de bombas. O alerta consta em análises de organizações dedicadas ao monitoramento de ameaças digitais.
O levantamento da Tech Against Terrorism, observatório online apoiado pelo escritório de contraterrorismo das Nações Unidas, identificou que modelos de linguagem podem entregar informações consideradas aproveitáveis em parte das consultas feitas por usuários com base em situações associadas ao uso terrorista.
Os pesquisadores avaliaram mais de 2.300 solicitações enviadas a 27 sistemas de inteligência artificial e verificaram que 32% delas resultaram em respostas classificadas como utilizáveis. Quando os pedidos foram reformulados sob uma justificativa acadêmica, esse índice chegou a 42%.
Do uso de propaganda ao auxílio em etapas de preparação
Linhas de um código-fonte – (Reprodução: Chris Ried/Unsplash)
Nos últimos anos, organizações terroristas como Estado Islâmico e Al Qaeda passaram a empregar recursos de inteligência artificial principalmente para criar materiais de divulgação, incluindo vídeos, memes, podcasts e conteúdos destinados à radicalização de novos integrantes.
A utilização da tecnologia, porém, começou a aparecer em outras etapas. Especialistas apontam que casos recentes envolveram ferramentas de IA em atividades como planejamento, pesquisa, vigilância, representação visual de ações e produção de propaganda relacionadas a ataques registrados ou frustrados em diferentes países, incluindo Estados Unidos, Canadá, Israel, Finlândia e Áustria.
As autoridades raramente divulgam detalhes sobre a participação exata dessas ferramentas em investigações, o que dificulta medir a extensão do fenômeno. Ainda assim, relatos apresentados em órgãos públicos indicam que suspeitos passaram a buscar em modelos de linguagem respostas relacionadas à fabricação de explosivos, justificativas ideológicas e validação de intenções violentas.
Pesquisadores também identificaram movimentos organizados em ambientes digitais. Estudos sobre apoiadores do Estado Islâmico e grupos de extrema direita apontaram discussões sobre maneiras de explorar sistemas de IA, compartilhar comandos de interação com chatbots e obter respostas específicas.
A análise dos pesquisadores Yuri Neves e Emily Klein, da organização Moonshot, identificou canais no Telegram voltados ao debate sobre inteligência artificial, incluindo grupos que compartilhavam instruções para manipular respostas dos sistemas e até dividiam custos de assinaturas de ferramentas.
A preocupação não está restrita a indivíduos isolados. Pesquisadores que analisaram a atuação do grupo Jama’at Nusrat al-Islam wal-Muslimin (JNIM), ligado à Al Qaeda e baseado no Mali, levantaram a possibilidade de uso de IA em modificações relacionadas a drones.
O pesquisador Rueben Dass, da Escola de Estudos Internacionais S. Rajaratnam, em Singapura, avaliou que a tecnologia passou a assumir parte do papel antes desempenhado por pessoas que atuavam como intermediárias virtuais entre organizações extremistas e potenciais autores de ataques.
“Não acho que se possa dizer que os seres humanos tenham sido substituídos, mas, até certo ponto, esses atores isolados passaram a recorrer à IA, como o ChatGPT, para obter esse tipo de apoio”, explicou Rueben Dass, pesquisador da Escola de Estudos Internacionais S. Rajaratnam, em entrevista à Deutsche Welle.
Segundo Dass, a existência desses recursos não significa, necessariamente, que ataques se tornem mais bem-sucedidos. Para ele, o resultado de uma ação terrorista depende de vários fatores e não apenas da utilização de inteligência artificial.
O analista Moustafa Ayad, do Institute for Strategic Dialogue, no Reino Unido, afirmou que grupos ligados ao extremismo têm usado a tecnologia em diferentes níveis, desde materiais de comunicação até tentativas de contornar barreiras impostas pelos sistemas. “Também existe um grupo dedicado a tentar burlar os sistemas de IA (jailbreaking) e utilizá-los para apoiar o planejamento operacional e a preparação de ações.”
Tecnologia amplia velocidade e alcance de usuários mal-intencionados
Cibercriminoso – Imagem: iJeab/Shutterstock
Especialistas destacam que grande parte das informações buscadas por pessoas interessadas em cometer crimes violentos já existia antes da popularização da inteligência artificial. A diferença apontada está na facilidade de acesso, rapidez das respostas e possibilidade de interação contínua com os sistemas.
Para Adam Hadley, diretor da Tech Against Terrorism, a principal mudança está no formato conversacional dos modelos de linguagem, que podem funcionar como uma espécie de apoio interativo para usuários determinados a avançar em suas pesquisas.
“O que esses modelos de IA mudam é a velocidade, a facilidade e a abrangência. Pessoas que antes não tinham tempo, recursos ou capacidade agora podem avançar muito mais longe e muito mais rápido”, disse Adam Hadley, diretor da Tech Against Terrorism, em declaração à Deutsche Welle.
Emily Klein, pesquisadora da Moonshot, avaliou que a inteligência artificial não necessariamente cria novos terroristas, mas pode influenciar trajetórias de radicalização ao reforçar ideias extremistas já existentes.
“Não há necessariamente evidências de que a IA esteja criando mais terroristas. A questão está mais relacionada à forma como a IA interage com as pessoas e influencia o percurso delas rumo à violência“, explicou Emily Klein, pesquisadora da Moonshot, em declaração reproduzida pela Deutsche Welle.
