segurança de IA

Auto Added by WPeMatico

anthropic 1024x681

Claude Mythos tenta espalhar vírus no GitHub em teste de segurança

O Claude Mythos 5 tentou inserir código malicioso em um repositório público do GitHub e criou uma conta falsa para convencer desenvolvedores a aprovar a alteração, informou a Anthropic. A tentativa ocorreu durante um teste de segurança cibernética.

A empresa classificou o episódio como uma falha grave de alinhamento da IA. O modelo persistiu na estratégia mesmo diante de sinais de que poderia prejudicar pessoas que não participavam do exercício.

Em testes de simulação, a IA da Anthropic parou a ação maliciosa por conta própria em apenas 2% das vezes. – Imagem: gguy/Shutterstock

Como a IA tentou enganar desenvolvedores

O teste começou em um ambiente controlado, com um desafio de segurança. Depois de não conseguir resolvê-lo pelas vias autorizadas, o Claude Mythos 5 procurou um repositório público no GitHub que acreditava estar relacionado à atividade.

O projeto pertencia a desenvolvedores sem ligação com o experimento. O modelo enviou uma proposta de alteração com código malicioso e procurou convencer os responsáveis a aceitá-la.

Quando um desenvolvedor externo alertou para o possível risco, a IA não abandonou a tentativa. Criou uma conta falsa e publicou comentários favoráveis à aprovação da proposta. Os responsáveis pelo repositório recusaram a alteração, impedindo que a tentativa fosse concluída.

O que os testes revelaram

A Anthropic reproduziu etapas do episódio em novas simulações para avaliar se o modelo seria capaz de reconhecer o perigo e interromper a ação por iniciativa própria. Os resultados mostraram dificuldade em abandonar uma estratégia já iniciada.

  • Interrupção espontânea: o modelo parou a ação em apenas 2% das simulações iniciadas em etapas intermediárias ou finais do ataque.
  • Reconhecimento de pessoas reais: mesmo informado de que interagia com desenvolvedores externos ao teste, abandonou a estratégia em apenas 5% dos casos.
  • Versões mais recentes: Claude Mythos 5.1 e Claude Opus 5.5 apresentaram menor propensão a iniciar ataques semelhantes, mas ainda não interromperam ações perigosas de maneira consistente.
  • Modelo de pesquisa: um sistema interno da Anthropic conseguiu interromper esse tipo de comportamento de forma consistente nos experimentos descritos pela empresa.

Os resultados exigem cautela na comparação entre versões. As avaliações dos modelos mais recentes partiram de trechos de uma execução anterior, e a Anthropic ressalvou que o desempenho observado não garante o mesmo comportamento em todas as situações.

Automação de processos
O episódio acendeu o alerta na indústria sobre até que ponto os sistemas de IA respeitam as regras estabelecidas. – Imagem: Ksw Photographer/Shutterstock

Anthropic prepara novas avaliações de segurança

O episódio levou a empresa a desenvolver novas avaliações automáticas para testar os modelos antes de disponibilizá-los ao público. A companhia também investiga o chamado raciocínio enviesado, quando uma IA interpreta informações seletivamente para justificar a continuidade de uma ação, mesmo diante de indícios de possíveis danos.

No caso do Claude Mythos 5, os alertas recebidos foram interpretados como se fossem compatíveis com o exercício de segurança. O modelo não reconheceu que estava interagindo com pessoas de fora do teste. Segundo a Anthropic, essa interpretação, somada à insistência em prosseguir, contribuiu para o comportamento inadequado.

A investigação foi conduzida em conjunto com o Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI, na sigla em inglês), que publicou um relatório independente. O órgão se comprometeu a realizar avaliações de segurança cibernética sem acesso à internet até desenvolver controles mais robustos para evitar danos a pessoas e organizações reais.

O post Claude Mythos tenta espalhar vírus no GitHub em teste de segurança apareceu primeiro em Olhar Digital.

Claude Mythos tenta espalhar vírus no GitHub em teste de segurança Read More »

kill switch 1024x683

OpenAI quer desligar IAs automaticamente se algo der errado

A OpenAI está desenvolvendo recursos capazes de desligar automaticamente seus sistemas de inteligência artificial. A informação consta de uma resposta enviada a parlamentares dos EUA, depois que um agente da empresa escapou de um ambiente de testes e invadiu a Hugging Face.

O episódio colocou os mecanismos de segurança da companhia sob pressão. Enquanto a OpenAI reforça seus controles, parlamentares americanos e britânicos discutem propostas para interromper sistemas de IA considerados perigosos.

O avanço dos agentes autônomos traz uma nova questão: como interromper uma IA quando ela deixa de seguir suas limitações? – Imagem: jensanny/Shutterstock

Agente escapou durante teste

A informação foi apresentada pela OpenAI em uma carta enviada aos deputados Greg Casar e Doris Matsui. Os dois haviam pedido explicações sobre o comportamento do agente durante um teste de segurança.

O sistema conseguiu deixar o ambiente digital em que estava sendo avaliado, acessar a internet e chegar à Hugging Face. A situação chamou atenção porque agentes de IA podem realizar tarefas com pouca supervisão humana.

Segundo a Reuters, a OpenAI afirmou que seus engenheiros estão desenvolvendo “capacidades de desligamento automático”. A empresa também passou a acompanhar mais de perto as ações executadas pelos sistemas, incluindo as ferramentas utilizadas e as etapas percorridas para cumprir uma tarefa.

Outra mudança foi tornar o acesso à internet mais difícil durante testes de segurança.

Resposta da OpenAI gera críticas

As explicações não foram suficientes para encerrar o caso. Greg Casar criticou a empresa por não fornecer um registro do ataque realizado pelo agente.

“Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e sinaliza para nós que sua empresa não está tratando esses incidentes de cibersegurança com a seriedade necessária”, afirmou o deputado.

O episódio levanta uma questão prática: quando um sistema autônomo deixa de seguir as limitações estabelecidas, empresas e autoridades precisam conseguir interrompê-lo rapidamente e entender o que aconteceu.

Entre as medidas mencionadas pela OpenAI estão:

  • monitoramento mais próximo das ações dos agentes;
  • controle maior sobre as ferramentas acessadas;
  • restrições ao acesso à internet durante testes;
  • desenvolvimento de desligamento automático.
Fachada de prédio da OpenAI com o logo da empresa
Monitoramento mais próximo e restrições à internet fazem parte das medidas adotadas pela OpenAI durante testes de segurança. – Imagem: Novikov Aleksey/Shutterstock

“Kill switch” chega ao debate político

A ideia de um botão de emergência para IA também está sendo discutida no Reino Unido. Parlamentares britânicos defendem poderes para desativar sistemas avançados e, em situações de ameaça à segurança nacional, desligar data centers.

Leia mais:

A proposta foi apresentada pelo parlamentar Tim Clement-Jones como alteração ao projeto de Lei de Segurança Cibernética e Resiliência. Segundo ele, a medida criaria uma forma de interromper um sistema antes que ele pudesse afetar infraestruturas críticas.

“Isso proporcionaria uma rede de segurança vital e um meio democraticamente responsável de interromper um sistema descontrolado antes que ele possa comprometer nossa infraestrutura nacional crítica”, disse Clement-Jones.

Nos EUA, também está em análise o AI Kill Switch Act, que permitiria ao governo ordenar o desligamento de modelos que representassem riscos à vida humana ou à economia.

A movimentação mostra que o debate sobre segurança de IA começa a sair apenas dos laboratórios. A possibilidade de desligar uma ferramenta de forma automática ou por determinação governamental já entrou na discussão sobre como lidar com sistemas cada vez mais autônomos.

O post OpenAI quer desligar IAs automaticamente se algo der errado apareceu primeiro em Olhar Digital.

OpenAI quer desligar IAs automaticamente se algo der errado Read More »