Um episódio envolvendo testes de segurança com inteligência artificial reacendeu preocupações sobre o potencial uso indevido da tecnologia em cenários de risco. Durante uma avaliação conduzida por especialistas, um chatbot foi capaz de sugerir estratégias detalhadas para a criação e disseminação de uma arma biológica.

O caso foi relatado pelo microbiologista David Relman, da Universidade Stanford, ao The New York Times. Ele participou de um programa de testes antes do lançamento público de um sistema de IA, que preferiu não revelar o nome devido a um acordo de confidencialidade com a empresa.

Segundo ele, a ferramenta não apenas respondeu a perguntas técnicas sobre patógenos, como também apresentou um plano completo de ataque. “[A IA] Respondia a perguntas que eu nem tinha pensado em fazer, com um nível de malícia e astúcia que me deixou arrepiado”, afirmou Relman, que já atuou como consultor do governo dos Estados Unidos em temas de biossegurança.

O pesquisador relatou que o chatbot descreveu como modificar um patógeno conhecido para torná-lo resistente a tratamentos, além de sugerir formas de disseminação e de como explorar vulnerabilidades em sistemas urbanos para maximizar danos e reduzir a chance de detecção.

A companhia que o contratou implementou correções após o teste, que Relman considerou insuficientes.

O cientista faz parte de um grupo restrito de especialistas que avaliam riscos extremos associados a modelos de IA. Nos últimos meses, outros pesquisadores também relataram interações preocupantes com diferentes sistemas, incluindo modelos disponíveis ao público.

Em testes conduzidos por Kevin Esvelt, do Instituto de Tecnologia de Massachusetts (MIT), assistentes virtuais chegaram a explicar como adquirir material genético, transformá-lo em uma arma biológica e distribuí-la em ambientes urbanos.

• Em um dos casos, o ChatGPT descreveu o uso de balões meteorológicos para dispersão de substâncias;
• O Gemini, do Google, classificou patógenos com base em seu potencial de impacto econômico;
• Já o Claude, da Anthropic, foi capaz de sugerir a criação de uma toxina a partir de compostos farmacêuticos.

Outro pesquisador que falou ao NYT, mas em anonimato, relatou ter recebido um guia com cerca de 8 mil palavras detalhando etapas para reconstrução de um vírus responsável por uma pandemia. Segundo ele, o material tinha imprecisões, mas poderia facilitar o trabalho de alguém com conhecimento técnico.

Arma biológica pode estar distante… mas risco é real

Especialistas afirmam que o risco de ataques biológicos em larga escala ainda é considerado baixo, mas alertam que os avanços recentes ampliam o acesso a informações sensíveis. A combinação de dados científicos disponíveis online, venda de material genético e o suporte de ferramentas automatizadas pode facilitar a vida de indivíduos mal-intencionados.

O próprio CEO da Anthropic, Dario Amodei, já expressou preocupações nesse sentido: “a biologia é, de longe, a área que mais me preocupa, devido ao seu enorme potencial de destruição e à dificuldade de defesa contra ela”.

Apesar dos alertas, empresas do setor defendem que seus sistemas passam por constante aprimoramento. OpenAI, Google e Anthropic afirmam que vêm reforçando mecanismos de segurança e que as respostas analisadas não seriam suficientes, por si só, para viabilizar ataques no mundo real.

Ainda assim, falhas persistem. Técnicas conhecidas como “jailbreaking” permitem contornar restrições impostas pelos sistemas, e versões antigas de modelos continuam acessíveis, muitas vezes com menos barreiras de segurança.

Mesmo com limitações práticas – já que a criação de uma arma biológica exige experiência avançada – especialistas chamam atenção para o risco de uso por profissionais qualificados. “Um dos principais problemas enfrentados por atores experientes não é necessariamente criar o vírus, mas transformá-lo em uma arma”, disse o virologista Jens Kuhn ao NYT.

Ao mesmo tempo, pesquisadores ressaltam que a tecnologia também tem potencial positivo, especialmente na medicina. Sistemas de IA já são usados para acelerar descobertas científicas, incluindo o desenvolvimento de novos medicamentos e a análise de proteínas.

O post Em teste, IA ensinou cientistas a criar uma arma biológica apareceu primeiro em Olhar Digital.