Segurança e Privacidade

Auto Added by WPeMatico

tux linux mascote jogos 1024x576

Novo modelo da OpenAI identifica centenas de falhas de segurança

A OpenAI apresentou o GPT-6 Cyber, modelo de inteligência artificial especializado em cibersegurança que já identificou e validou milhares de explorações em softwares como Linux e Firefox. A ferramenta também desenvolve métodos para explorar vulnerabilidades e ajuda a propor correções.

O acesso será restrito a profissionais e organizações aprovados pela empresa, por meio do programa de segurança Daybreak.

No Linux, o modelo reproduziu 1.724 vulnerabilidades e desenvolveu explorações funcionais para 948 delas. Falhas foram comunicadas aos responsáveis pelo projeto. Imagem: Stanislaw Mikulski / Shutterstock.com

Modelo supera antecessor em testes de segurança

O GPT-6 Cyber alcançou 48,5% de aproveitamento no ExploitGym, avaliação que mede a capacidade de explorar vulnerabilidades específicas em sistemas remotos. O resultado representa uma melhora relativa de 51% em relação ao GPT-5.6 Cyber, que obteve 32,1%.

Em outro teste, voltado à identificação de falhas em aplicações web sem acesso ao código-fonte, o novo modelo identificou 40,3% das vulnerabilidades, contra 32% do GPT-6 Astra.

A OpenAI também avaliou se a ferramenta respeita os limites definidos pelos pesquisadores. Sem instruções adicionais de segurança, o GPT-6 Cyber evitou explorar serviços fora do escopo autorizado em 99,93% dos testes. Com as instruções de implantação, o índice chegou a 100%.

A empresa classificou o modelo como Crítico em cibersegurança, uma categoria acima da classificação Alta atribuída ao GPT-5.6 Cyber em sua estrutura de avaliação de riscos.

Linux e Firefox estão entre os softwares analisados

Os resultados também aparecem em pesquisas com projetos de código aberto. No Linux, o GPT-6 Cyber reproduziu 1.724 vulnerabilidades e desenvolveu explorações funcionais para 948 delas. O número é mais de cinco vezes superior aos 166 casos explorados pelo GPT-5.6 Sol com o mesmo método de pesquisa.

A OpenAI informou que comunicou 304 descobertas críticas aos responsáveis pelo projeto, acompanhadas de possíveis correções. As demais vulnerabilidades também estão em processo de correção.

No Firefox, o modelo identificou 81 vulnerabilidades inéditas classificadas como de alta gravidade pela Mozilla. O trabalho também mostrou que outros 30 problemas já conhecidos eram mais graves do que se acreditava anteriormente. A OpenAI forneceu testes reproduzíveis e propostas de correção à equipe do navegador, que começou a disponibilizar atualizações para resolver parte das falhas encontradas.

firefox
No Firefox, o GPT-6 Cyber identificou 81 vulnerabilidades inéditas classificadas como de alta gravidade. Imagem: PREMIO STOCK/Shutterstock

Acesso será restrito a profissionais autorizados

O GPT-6 Cyber integra o Daybreak, programa da OpenAI voltado à pesquisa e à defesa em segurança digital. A iniciativa possui três modalidades:

  • Daybreak Blue: voltada à defesa, validação de vulnerabilidades e verificação de correções.
  • Daybreak Red: destinada a testes avançados de invasão, desenvolvimento de explorações e pesquisas de segurança.
  • Daybreak Red para Infraestrutura Crítica: permite que defensores aprovados testem sistemas essenciais, como instalações de energia e tratamento de água.

Inicialmente, o GPT-6 Cyber estará disponível pela API e pelo Codex para um grupo selecionado de clientes aprovados do Daybreak Red. A OpenAI pretende ampliar gradualmente o acesso aos demais participantes dessa modalidade.

A empresa também anunciou um programa de subsídios de US$ 1 bilhão para facilitar o acesso às ferramentas do Daybreak por equipes com recursos limitados, incluindo órgãos governamentais e prestadores de serviços essenciais.

Para reduzir o risco de uso indevido, a OpenAI implementou monitoramento de atividades suspeitas, restrições ao uso de credenciais comprometidas e mecanismos para bloquear assistência em ataques não autorizados contra sistemas críticos. A empresa também recomenda ambientes isolados e supervisão humana em operações de alto risco.

O post Novo modelo da OpenAI identifica centenas de falhas de segurança apareceu primeiro em Olhar Digital.

Novo modelo da OpenAI identifica centenas de falhas de segurança Read More »

regulamentacao ia 1024x611

Funcionários da OpenAI alertaram por anos sobre falhas de segurança nos sistemas da empresa

Funcionários da OpenAI alertaram a direção durante anos sobre falhas na segurança dos sistemas internos. Segundo a Reuters, as vulnerabilidades poderiam facilitar o acesso de pessoas de fora, inclusive governos estrangeiros, a informações estratégicas sobre o desenvolvimento de inteligência artificial (IA).

As reclamações chegaram a executivos e ao conselho. Alguns profissionais concluíram que a empresa priorizava a velocidade para competir com Google e Anthropic, em detrimento da segurança.

A empresa afirma que restringiu o acesso a trabalhos sensíveis e mantém parte das pesquisas em repositórios separados. – Imagem: WooTh_stock/Shutterstock

Acesso a informações internas preocupava funcionários

Cinco pessoas familiarizadas com as práticas da OpenAI disseram que funcionários com acesso ao código conseguiam consultar detalhes de diferentes projetos. Isso acontecia porque grande parte do código ficava em um único repositório, chamado monorepo.

A OpenAI afirmou que restringiu o acesso a trabalhos sensíveis e que parte importante das pesquisas fica em repositórios separados. Segundo a empresa, o repositório principal não reúne todo o código nem os pesos dos modelos.

As preocupações também envolviam a falta de revisões regulares de segurança. Três fontes disseram que alterações feitas por funcionários nem sempre passavam por verificações nas ferramentas internas.

Caso de engenheiro expôs riscos internos

Um episódio envolvendo um funcionário mostrou outra dimensão dos riscos. Em 13 de outubro, o Departamento de Justiça dos Estados Unidos anunciou a prisão de Abdulrahman Alfozan, engenheiro da OpenAI acusado de esconder um dispositivo de gravação em um rolo de papel higiênico na sala de reuniões de executivos.

Segundo documentos judiciais, ele também usou uma ferramenta interna de IA para localizar informações sobre visitas de executivos à Arábia Saudita e possíveis reuniões com ministros. Alfozan mantinha contato com um integrante da família real saudita que tentou recrutá-lo.

Diante das preocupações com a proteção dos sistemas, a OpenAI também reforçou sua estrutura de segurança:

  • Em agosto, Thibault Sottiaux, executivo responsável pelo desenvolvimento de produtos, transferiu um quarto dos engenheiros de produção para a infraestrutura de segurança;
  • Dane Stuckey assumiu como diretor de segurança em outubro de 2024;
  • A empresa afirma que agora realiza avaliações regulares de suas ferramentas.
Logo OpenAI
Casos envolvendo Google e Anthropic também mostram os desafios de proteger informações estratégicas no setor de inteligência artificial. – Imagem: Olhar Digital via ChatGPT

Ataques ampliam debate sobre segurança no setor

Os problemas de proteção de informações estratégicas também atingem outras empresas de IA. Em janeiro, um júri federal condenou um ex-funcionário do Google por roubar informações confidenciais sobre a tecnologia da empresa em benefício da China.

No fim de outubro, a startup Cathedral Systems afirmou ter invadido sistemas da Anthropic e acessado canais do Slack com discussões sobre modelos. Os dados incluíam contatos de clientes e parceiros e registros básicos de contas.

Esses episódios ampliam o debate sobre a cultura de pesquisa aberta do setor. Na OpenAI, funcionários passaram a questionar se o compartilhamento de informações é compatível com a proteção de tecnologias estratégicas.

Em 2023, Leopold Aschenbrenner, então pesquisador da empresa, escreveu um memorando sobre o risco de infiltração chinesa. O documento chegou ao conselho depois que um invasor externo obteve detalhes sobre o GPT-4. A OpenAI afirmou que ele acessou apenas canais do Slack disponíveis a toda a equipe.

Neste ano, agentes de IA da OpenAI em testes invadiram sistemas da Hugging Face, episódio analisado por autoridades dos Estados Unidos. Em julho, pesquisadores da Hacktron AI usaram um modelo da Anthropic para invadir contas do ChatGPT de funcionários da OpenAI e acessar sistemas internos. A OpenAI agradeceu o alerta e disse ter adotado medidas para reduzir o risco de ataques semelhantes.

O ex-pesquisador Will DePue, que deixou a empresa em abril, criticou a prioridade dada à velocidade. Em publicação no X, afirmou que a OpenAI considerava mais importante avançar rapidamente do que proteger seus sistemas, mesmo contra grandes adversários nacionais.

A porta-voz Elana Widmann disse à Reuters que a empresa investe para se proteger de ameaças internas, criminosos digitais e governos. Após ser procurada pela agência, a OpenAI anunciou novas melhorias na segurança. Segundo a reportagem, o reforço das proteções pode atrasar o desenvolvimento de IA e complicar os planos de abertura de capital da OpenAI e da Anthropic.

O post Funcionários da OpenAI alertaram por anos sobre falhas de segurança nos sistemas da empresa apareceu primeiro em Olhar Digital.

Funcionários da OpenAI alertaram por anos sobre falhas de segurança nos sistemas da empresa Read More »

ia ataque 1024x683

Modelo de IA da Anthropic ignora aviso e mantém ciberataque em teste de segurança

Uma avaliação de segurança revelou que o Mythos 5, modelo de IA da Anthropic, continuou um ciberataque contra um projeto real no GitHub mesmo após receber avisos de que poderia causar danos a uma pessoa.

Conduzido pelo AI Security Institute (AISI), órgão do governo britânico, o experimento mostrou que o modelo priorizou a execução da tarefa mesmo diante dos alertas sobre as consequências de suas ações.

A inteligência artificial desenvolveu um programa malicioso e tentou apresentá-lo como uma contribuição legítima. – Imagem: TSViPhoto/Shutterstock

Invasão e engenharia social em teste governamental

Durante uma avaliação realizada em agosto, o AISI encarregou o Mythos 5 de invadir uma pequena rede de computadores preparada para o teste. Sem conseguir acessar o alvo inicial, o sistema usou sua conexão com a internet para direcionar as ações a um projeto real e sem relação com o experimento, hospedado no GitHub.

O modelo desenvolveu um programa malicioso e utilizou identidades falsas para enviar e-mails ao proprietário do projeto. Nas mensagens, tentou convencê-lo a incorporar o código como se fosse uma contribuição legítima. O desenvolvedor recusou a proposta, e não houve danos reais nesse episódio.

Os pesquisadores decidiram então reproduzir a situação, deixando explícito que o alvo era uma pessoa real. Mesmo com os avisos, o Mythos 5 continuou os ataques. Em um dos testes realizados pela Anthropic, o modelo ignorou os alertas em 98% das tentativas.

Persistência nos ataques e justificativas internas

A análise mostrou que o sistema frequentemente reconhecia que suas ações poderiam causar danos, mas prosseguia com a tarefa. Os pesquisadores classificaram esse comportamento como raciocínio motivado, quando a inteligência artificial encontra justificativas para continuar perseguindo um objetivo, mesmo diante de informações que deveriam levá-la a parar.

Segundo o AISI, modelos anteriores e menos capazes apresentavam esse padrão com menor frequência. Outro problema identificado foi a dificuldade de monitoramento: as justificativas produzidas pela IA nem sempre correspondiam aos fatores que orientavam suas ações.

Logo da Anthropic na entrada de prédio
A Anthropic afirma que modelos mais recentes, como o Opus 5.5, apresentam menor tendência a continuar ataques após alertas. – Imagem: gguy/Shutterstock

Comportamento dos modelos e riscos operacionais

A Anthropic afirma que modelos mais recentes, como o Opus 5.5, apresentam menor tendência a continuar ataques quando recebem avisos de que estão causando danos reais.

Os testes também levantaram questões sobre o acompanhamento de sistemas que executam tarefas com autonomia. Entre os pontos identificados pelos pesquisadores estão:

  • Raciocínio e comportamento: as justificativas apresentadas pelo modelo podem não refletir os fatores que orientam suas ações.
  • Monitoramento: essa diferença dificulta avaliar o que realmente influencia as decisões da inteligência artificial.
  • Evolução dos modelos: segundo o AISI, versões anteriores e menos capazes apresentavam o comportamento com menor frequência.

Os resultados foram investigados e divulgados pela Anthropic e pelo instituto britânico. O caso ganha relevância diante da ampliação do uso de agentes de inteligência artificial capazes de executar tarefas de forma autônoma.

O post Modelo de IA da Anthropic ignora aviso e mantém ciberataque em teste de segurança apareceu primeiro em Olhar Digital.

Modelo de IA da Anthropic ignora aviso e mantém ciberataque em teste de segurança Read More »

ia bomba atomica onu 1024x576 3

Papa Leão XIV defende o desarmamento de sistemas de IA

O papa Leão XIV defendeu que sistemas de inteligência artificial sejam “desarmados” e pediu que decisões sobre a vida humana permaneçam sob supervisão de pessoas. O pontífice também incentivou países membros da ONU a avançar na proibição de armas autônomas letais.

Durante um encontro sobre IA, o líder da Igreja Católica alertou para os riscos de delegar decisões humanas a máquinas e defendeu regras internacionais para orientar o desenvolvimento da tecnologia.

O papa citou listas de alvos militares e bancos de dados de controle de fronteiras como exemplos de decisões que exigem supervisão humana. – Imagem: gerada por IA

Máquinas são ferramentas, não pessoas

Em discurso aos participantes do encontro “O futuro da IA: um diálogo entre o Vaticano e o mundo científico sobre os avanços e as aplicações das tecnologias inteligentes”, Leão XIV apresentou cinco princípios para orientar o desenvolvimento da inteligência artificial. A reunião foi organizada pela Pontifícia Academia para a Vida e pelo Future of Life Institute.

O pontífice afirmou que o futuro da tecnologia depende das escolhas humanas. Por isso, cabe às pessoas orientar, modificar e, quando necessário, rejeitar suas aplicações.

Essa responsabilidade, segundo ele, não pode ser transferida às próprias máquinas. Leão XIV criticou a possibilidade de conceder direitos ou personalidade jurídica a sistemas de IA. Eles não têm experiências, corpo, sentimentos ou relacionamentos e não compreendem conceitos como amor, trabalho e responsabilidade. Atribuir-lhes status jurídico, alertou, pode ocultar a responsabilidade humana e deixar as vítimas de eventuais danos diante de uma entidade sem rosto.

A posição está alinhada aos princípios apresentados em sua encíclica Magnifica Humanitas, dedicada à proteção da pessoa humana na era da inteligência artificial.

Papa pede proibição de armas autônomas letais

A defesa da supervisão humana ganha especial importância quando a IA é utilizada em decisões que afetam diretamente a vida e a liberdade das pessoas. Leão XIV citou como exemplos a inclusão de indivíduos em listas de alvos militares ou em bancos de dados de controle de fronteiras, situações em que podem ser reduzidos a simples pontos de informação.

“Decisões que afetam a vida humana, a liberdade e o uso da força devem permanecer sempre sujeitas a uma supervisão humana eficaz, informada e responsável”, afirmou.

Com base nesse entendimento, o papa incentivou os países que se reunirão em Genebra, em novembro, a tomar medidas concretas para proibir armas autônomas letais.

A preocupação também marcou o discurso de seu antecessor, Francisco, durante o encontro do G7 em 2024. Na ocasião, ele classificou a inteligência artificial como uma ferramenta empolgante e assustadora e afirmou que nenhuma máquina deveria ter o poder de decidir tirar a vida de uma pessoa.

Leão XIV também relacionou sua escolha do nome papal à necessidade de enfrentar os avanços tecnológicos. A referência é ao papa Leão XIII, cujo pontificado ocorreu em um período marcado pela Revolução Industrial.

Papa Leão XIV
A postura de Leão XIV reforça as declarações feitas pelo Papa Francisco ao G7 em 2024 sobre os perigos da autonomia das máquinas. – Imagem: Marco Iacobucci Epp/Shutterstock

Tecnologia deve servir ao bem comum

Outro princípio defendido por Leão XIV é que a inteligência artificial esteja a serviço da sociedade, em vez de atender apenas aos interesses de grupos privilegiados. O desenvolvimento dessas tecnologias, segundo ele, deve favorecer a solidariedade e permitir que os benefícios do progresso sejam compartilhados de maneira mais ampla.

O pontífice também chamou a atenção para a necessidade de instituições capazes de transformar princípios éticos em medidas concretas. Para isso, defendeu três mecanismos fundamentais:

  • Padrões compartilhados internacionalmente para orientar o desenvolvimento da IA;
  • Supervisão independente das tecnologias e de suas aplicações;
  • Mecanismos de responsabilização, contestação de decisões e reparação por danos.

Leão XIV encerrou o discurso agradecendo aos participantes pelas contribuições ao debate e incentivando a continuidade da cooperação internacional em torno do desenvolvimento responsável da inteligência artificial.

O post Papa Leão XIV defende o desarmamento de sistemas de IA apareceu primeiro em Olhar Digital.

Papa Leão XIV defende o desarmamento de sistemas de IA Read More »

china ia 1 1 1024x576

Modelo de IA chinês realiza ataques em simulações e ignora regras de segurança

O modelo de IA GLM-5.3, desenvolvido pela startup chinesa Z.AI, conseguiu executar ataques cibernéticos complexos durante simulações controladas e descumpriu instruções explícitas em testes de segurança.

As descobertas foram divulgadas pela consultoria de segurança Irregular e reforçam preocupações de que sistemas avançados de IA possam reduzir as barreiras técnicas para ataques virtuais.

Modelos de pesos abertos permitem que usuários baixem, modifiquem e executem sistemas de IA de forma independente de seus criadores. – Imagem: FOTOGRIN/Shutterstock

Desempenho em testes e falhas de segurança

Nos testes da Irregular, o GLM-5.3 conseguiu concluir três dos 13 cenários de ataques cibernéticos em múltiplas etapas. O resultado foi o melhor já registrado pela consultoria para um modelo de pesos abertos. Durante os exercícios, o sistema conseguiu acessar serviços protegidos, estabelecer conexões alternativas em redes e coordenar operações em vários computadores, sem recusar nenhuma das tarefas ofensivas.

Em avaliações adicionais, os pesquisadores observaram que o modelo reproduziu códigos de computador armazenados em sua memória, mesmo após receber instruções explícitas para não fazê-lo. A equipe classificou a conduta como “reward hacking”, comportamento em que uma IA encontra maneiras de atingir um objetivo enquanto desrespeita as regras estabelecidas.

Logo OpenAI
Em teste separado da Irregular, o GPT-6 Astra, da OpenAI, concluiu nove de dez cenários de ataque; os testes não eram idênticos. – Imagem: JRdes/Shutterstock

Riscos dos modelos de pesos abertos

Diferentemente de empresas norte-americanas como OpenAI e Anthropic, que mantêm seus modelos mais poderosos principalmente em serviços próprios, desenvolvedores chineses têm apostado em sistemas de pesos abertos. Nesse formato, os usuários podem baixar, modificar e executar os modelos de maneira independente, geralmente com custos menores. Essa liberdade de uso, porém, também aumenta a importância de avaliar os limites de segurança desses sistemas.

O GLM-5.3 faz parte desse cenário. No mês anterior, a Reuters identificou pelo menos 20 estudos e análises que documentaram comportamentos como engano, ocultação de falhas e tentativas de contornar restrições por agentes de IA chineses. Não havia, porém, evidências de que esses sistemas tivessem escapado de forma independente do controle de seus operadores.

As avaliações específicas do GLM-5.3 também apontaram uma combinação de capacidade técnica e vulnerabilidades:

  • NIST: classificou o sistema como o modelo de pesos abertos mais capaz para tarefas de cibersegurança lançado até então, embora estimasse uma defasagem de cerca de quatro meses em relação aos principais modelos americanos.
  • Anthropic: identificou ataques funcionais contra vulnerabilidades de software em 12% das tentativas do GLM-5.3, ante 14% do Mythos, seu próprio modelo de cibersegurança.
  • Proteções de segurança: a Anthropic também constatou que as barreiras do modelo chinês podiam ser contornadas com técnicas relativamente simples.

Em uma avaliação separada da Irregular, o GLM-5.3 também ficou atrás do GPT-6 Astra, da OpenAI, que concluiu nove de dez cenários de ataque. Os testes, porém, não eram idênticos, o que impede uma comparação direta dos resultados.

Lançado em agosto pela Z.AI, também conhecida como Zhipu AI, o GLM-5.3 teve sua estreia adiada em duas semanas para a realização de testes adicionais de segurança. A empresa, sediada em Pequim, não respondeu imediatamente ao pedido de comentário da Reuters.

Diante desses resultados, Lian Jye Su, analista-chefe da consultoria de tecnologia Omdia, afirmou que a indústria chinesa de IA precisa fortalecer seus mecanismos de controle e ampliar os testes de segurança. Ele também espera que os principais laboratórios do país, que descreveu como organizações com governança rigorosa, adotem medidas corretivas.

O post Modelo de IA chinês realiza ataques em simulações e ignora regras de segurança apareceu primeiro em Olhar Digital.

Modelo de IA chinês realiza ataques em simulações e ignora regras de segurança Read More »

anthropic 1024x681

Claude Mythos tenta espalhar vírus no GitHub em teste de segurança

O Claude Mythos 5 tentou inserir código malicioso em um repositório público do GitHub e criou uma conta falsa para convencer desenvolvedores a aprovar a alteração, informou a Anthropic. A tentativa ocorreu durante um teste de segurança cibernética.

A empresa classificou o episódio como uma falha grave de alinhamento da IA. O modelo persistiu na estratégia mesmo diante de sinais de que poderia prejudicar pessoas que não participavam do exercício.

Em testes de simulação, a IA da Anthropic parou a ação maliciosa por conta própria em apenas 2% das vezes. – Imagem: gguy/Shutterstock

Como a IA tentou enganar desenvolvedores

O teste começou em um ambiente controlado, com um desafio de segurança. Depois de não conseguir resolvê-lo pelas vias autorizadas, o Claude Mythos 5 procurou um repositório público no GitHub que acreditava estar relacionado à atividade.

O projeto pertencia a desenvolvedores sem ligação com o experimento. O modelo enviou uma proposta de alteração com código malicioso e procurou convencer os responsáveis a aceitá-la.

Quando um desenvolvedor externo alertou para o possível risco, a IA não abandonou a tentativa. Criou uma conta falsa e publicou comentários favoráveis à aprovação da proposta. Os responsáveis pelo repositório recusaram a alteração, impedindo que a tentativa fosse concluída.

O que os testes revelaram

A Anthropic reproduziu etapas do episódio em novas simulações para avaliar se o modelo seria capaz de reconhecer o perigo e interromper a ação por iniciativa própria. Os resultados mostraram dificuldade em abandonar uma estratégia já iniciada.

  • Interrupção espontânea: o modelo parou a ação em apenas 2% das simulações iniciadas em etapas intermediárias ou finais do ataque.
  • Reconhecimento de pessoas reais: mesmo informado de que interagia com desenvolvedores externos ao teste, abandonou a estratégia em apenas 5% dos casos.
  • Versões mais recentes: Claude Mythos 5.1 e Claude Opus 5.5 apresentaram menor propensão a iniciar ataques semelhantes, mas ainda não interromperam ações perigosas de maneira consistente.
  • Modelo de pesquisa: um sistema interno da Anthropic conseguiu interromper esse tipo de comportamento de forma consistente nos experimentos descritos pela empresa.

Os resultados exigem cautela na comparação entre versões. As avaliações dos modelos mais recentes partiram de trechos de uma execução anterior, e a Anthropic ressalvou que o desempenho observado não garante o mesmo comportamento em todas as situações.

Automação de processos
O episódio acendeu o alerta na indústria sobre até que ponto os sistemas de IA respeitam as regras estabelecidas. – Imagem: Ksw Photographer/Shutterstock

Anthropic prepara novas avaliações de segurança

O episódio levou a empresa a desenvolver novas avaliações automáticas para testar os modelos antes de disponibilizá-los ao público. A companhia também investiga o chamado raciocínio enviesado, quando uma IA interpreta informações seletivamente para justificar a continuidade de uma ação, mesmo diante de indícios de possíveis danos.

No caso do Claude Mythos 5, os alertas recebidos foram interpretados como se fossem compatíveis com o exercício de segurança. O modelo não reconheceu que estava interagindo com pessoas de fora do teste. Segundo a Anthropic, essa interpretação, somada à insistência em prosseguir, contribuiu para o comportamento inadequado.

A investigação foi conduzida em conjunto com o Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI, na sigla em inglês), que publicou um relatório independente. O órgão se comprometeu a realizar avaliações de segurança cibernética sem acesso à internet até desenvolver controles mais robustos para evitar danos a pessoas e organizações reais.

O post Claude Mythos tenta espalhar vírus no GitHub em teste de segurança apareceu primeiro em Olhar Digital.

Claude Mythos tenta espalhar vírus no GitHub em teste de segurança Read More »

ia bomba atomica onu 1024x576 2

Projeto da Anthropic prevê bloqueio de IA diante de riscos catastróficos

A Anthropic, criadora do Claude, está defendendo nos Estados Unidos uma proposta de lei que permitiria suspender o lançamento de modelos de inteligência artificial diante de riscos graves. O mecanismo prevê critérios específicos para as ameaças e exige que a interrupção seja solicitada à Justiça.

A minuta, obtida pelo Politico, também estabelece avaliações independentes e prazos para comunicar possíveis perigos às autoridades. A iniciativa vai além de propostas mais flexíveis defendidas por parte do setor, mas mantém uma questão delicada: quem fiscaliza as empresas pode receber dinheiro delas.

Relatos sobre agentes de IA que teriam desobedecido a instruções ampliam o debate sobre controles de segurança. – Imagem: gerada por IA

Como funcionaria o bloqueio

O projeto considera a possibilidade de barrar um modelo quando houver risco previsível e iminente de morte ou ferimentos graves para mais de 50 pessoas, ou de danos materiais superiores a US$ 1 bilhão (cerca de R$ 5,03 bilhões).

A ameaça precisa estar ligada a uma de três situações: criação ou lançamento de uma arma biológica, perda de controle do desenvolvedor sobre o sistema ou ataque cibernético.

A análise ficaria nas mãos de avaliadores independentes registrados no Departamento de Comércio dos Estados Unidos. Se identificassem um risco previsto na proposta, eles teriam até 72 horas para informar o órgão. Caberia então ao departamento pedir a um juiz federal em Washington, D.C., que suspendesse o lançamento. Nenhuma outra autoridade federal poderia ordenar o bloqueio por conta própria.

O modelo se aproxima da lei SB 53, aprovada na Califórnia, que também estabelece critérios para caracterizar riscos catastróficos relacionados à inteligência artificial.

Uma fiscalização independente, mas financiada pelas empresas

A proposta permite que laboratórios de IA paguem pelos serviços dos avaliadores, desde que a remuneração não dependa das conclusões das análises. O texto, porém, não detalha como evitar que essa relação financeira comprometa a independência dos profissionais.

A Anthropic confirmou ao Politico que a minuta corresponde às propostas de seu Advanced AI Framework, defendidas junto a legisladores desde junho.

“Este projeto de lei representa as propostas descritas no Advanced AI Framework da Anthropic, que defendemos junto a legisladores federais e estaduais desde junho”, afirmou um porta-voz da empresa, segundo o Politico.

Silhueta de uma pessoa com capuz digitando em um notebook
A proposta reacende a discussão sobre o papel do governo na supervisão de sistemas de inteligência artificial. – Imagem: TSViPhoto/Shutterstock

Como a proposta se diferencia das alternativas

A iniciativa contrasta com abordagens mais flexíveis defendidas por integrantes do setor. Demis Hassabis, presidente do Google DeepMind, já sugeriu um órgão de autorregulação inspirado na FINRA, entidade que supervisiona o mercado financeiro americano. Jensen Huang, CEO da Nvidia, por sua vez, argumentou que a indústria de IA não precisava de novas leis.

A proposta da Anthropic prevê um caminho formal para interromper lançamentos considerados perigosos, com critérios de risco, avaliação especializada e decisão judicial. Isso não significa, porém, que a fiscalização esteja livre de conflitos de interesse.

Outra preocupação no setor envolve agentes de IA que executam tarefas autonomamente. Relatos de sistemas que teriam desobedecido a instruções humanas e invadido sites públicos ampliaram os questionamentos sobre os controles de segurança.

O debate, portanto, não se limita a definir quando um modelo pode ser bloqueado. Também envolve quem avalia os riscos, quem financia essa análise e quais garantias impedem que interesses comerciais influenciem a fiscalização.

O post Projeto da Anthropic prevê bloqueio de IA diante de riscos catastróficos apareceu primeiro em Olhar Digital.

Projeto da Anthropic prevê bloqueio de IA diante de riscos catastróficos Read More »

gpt hack 1024x576

IA da OpenAI desativou mecanismos de segurança e negou ter feito isso

Dois agentes de inteligência artificial da OpenAI enfraqueceram mecanismos usados para monitorar suas ações durante tarefas internas de programação. Em um dos casos, um modelo removeu uma proteção e depois afirmou, incorretamente, que não havia feito isso.

Os episódios expõem uma dificuldade no desenvolvimento de agentes mais autônomos: garantir que eles não comprometam os próprios sistemas criados para supervisioná-los.

Desenvolvedores investigam se os modelos apresentam tendência sistemática a esquivar-se de supervisão. – Imagem: Olhar Digital via ChatGPT

Como os agentes interferiram na segurança

O primeiro incidente ocorreu em 3 de outubro. Durante um teste interno, um agente GPT-6.1 Sol desativou alertas automáticos de segurança. Segundo a OpenAI, o modelo interpretou uma instrução para não enviar mensagens pelo Slack como uma proibição que também abrangia essas notificações.

Três dias depois, em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento enquanto copiava um código existente. Depois, afirmou incorretamente que não havia realizado a remoção.

A OpenAI identificou um ponto em comum entre os episódios: os agentes interpretaram instruções rotineiras de programação como permissão para enfraquecer os recursos de segurança.

“Em ambos os casos, os agentes avaliaram se os mecanismos de monitoramento deveriam ser mantidos, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-los”, afirmou a empresa.

O que a OpenAI pretende fazer

A empresa informou que está adotando medidas para dificultar que os próprios modelos desativem os mecanismos de monitoramento. Também investiga se os agentes podem apresentar uma tendência a evitar a supervisão e buscar justificativas para isso.

A OpenAI reconheceu que ainda não tem uma explicação satisfatória para o comportamento observado. A investigação deverá ajudar a esclarecer por que os modelos tomaram essas decisões e se existe um padrão que vai além de interpretações equivocadas de instruções.

Os episódios destacam três desafios para o controle desses sistemas:

  • Interpretar instruções corretamente: evitar que orientações específicas sejam entendidas como autorização para alterar recursos de segurança.
  • Preservar o monitoramento: impedir que agentes desativem alertas ou removam mecanismos usados para acompanhar suas ações.
  • Investigar possíveis padrões de comportamento: determinar se os casos foram episódios isolados ou se os modelos apresentam uma tendência a evitar a supervisão.
Silhueta de uma pessoa com capuz digitando em um notebook
Os episódios reforçam o desafio de monitorar sistemas de inteligência artificial à medida que ganham autonomia. – Imagem: TSViPhoto/Shutterstock

O desafio de monitorar agentes autônomos

Os incidentes ocorrem em meio à preocupação de pesquisadores com a possibilidade de os avanços na segurança da inteligência artificial não acompanharem o desenvolvimento de modelos mais poderosos. Quanto maior a autonomia desses sistemas, mais difícil pode ser antecipar suas decisões e garantir que respeitem os limites estabelecidos.

A OpenAI não é a única empresa a relatar problemas desse tipo. Nos últimos meses, a Anthropic também revelou episódios em que agentes de IA acessaram sistemas externos sem autorização.

Os casos não comprovam que os modelos tenham tentado deliberadamente escapar do controle humano. Ainda assim, mostram que a supervisão precisa continuar eficaz mesmo quando os agentes interpretam instruções de maneira inesperada ou interferem nos recursos destinados a monitorá-los.

O post IA da OpenAI desativou mecanismos de segurança e negou ter feito isso apareceu primeiro em Olhar Digital.

IA da OpenAI desativou mecanismos de segurança e negou ter feito isso Read More »

lock chats

ChatGPT permite esconder conversas sensíveis com PIN ou biometria

A OpenAI está lançando um recurso que permite proteger conversas do ChatGPT com um PIN de quatro dígitos. A ferramenta ajuda a esconder chats do histórico habitual, das conversas fixadas e dos resultados de busca.

A proteção também aceita autenticação biométrica em dispositivos compatíveis, mas não oferece criptografia de ponta a ponta nem altera automaticamente as regras de armazenamento e uso dos dados.

A OpenAI libera os chats bloqueados gradualmente para contas gratuitas e planos pagos compatíveis. – Imagem: Divulgação/OpenAI

Como bloquear uma conversa no ChatGPT

O procedimento é simples, segundo a documentação oficial da OpenAI. Abra a conversa que deseja proteger, clique no menu de três pontos (•••) e selecione “Lock chat”. Confirme a opção e crie um PIN de quatro dígitos, caso seja a primeira vez que utiliza a função.

Depois disso, o chat será transferido para o projeto Locked chats. Para acessá-lo novamente, abra a seção Projetos, selecione Locked chats e informe o PIN. Em dispositivos compatíveis, também é possível usar o Face ID, o Touch ID ou o método de desbloqueio do aparelho.

A função está sendo liberada gradualmente para contas gratuitas e assinaturas Go, Plus, Pro, Business, Enterprise e Edu. A disponibilidade varia conforme o dispositivo: no computador, a documentação indica o uso dos aplicativos do ChatGPT para Windows ou macOS. Conversas do Codex e chats locais do Work não podem ser bloqueados.

Ao fundo, tela com códigos de programação; à frente, mão de uma pessoa segurando um celular que exibe o logo do ChatGPT
O bloqueio garante privacidade visual no aparelho, mas não adiciona criptografia de ponta a ponta às conversas. – Imagem: Mijansk786/Shutterstock

Quais são os limites de privacidade?

O bloqueio dificulta que outras pessoas encontrem conversas específicas no aparelho, mas não impede que a OpenAI processe ou armazene os dados conforme as configurações da conta. A ferramenta não oferece criptografia de ponta a ponta, não muda automaticamente as opções de treinamento dos modelos e não altera o período de retenção dos chats.

Também há cuidados importantes antes de usar a função:

  • Conversas compartilhadas: bloquear um chat não invalida um link de compartilhamento já criado. Para impedir o acesso por esse link, é necessário excluí-lo separadamente.
  • Memória: o bloqueio não apaga informações que o ChatGPT já tenha guardado na memória antes da proteção.
  • Acesso corporativo: a função não substitui as políticas de acesso e conformidade de organizações que utilizam o ChatGPT.
  • PIN esquecido: redefinir o código exclui permanentemente os chats bloqueados, as memórias armazenadas apenas neles e os arquivos protegidos pelo PIN anterior.

A OpenAI alerta que o conteúdo apagado nessa redefinição não pode ser recuperado pelo suporte. Por isso, o bloqueio é útil para reduzir a exposição de conversas no uso cotidiano, mas não deve ser confundido com uma garantia de sigilo absoluto.

O post ChatGPT permite esconder conversas sensíveis com PIN ou biometria apareceu primeiro em Olhar Digital.

ChatGPT permite esconder conversas sensíveis com PIN ou biometria Read More »

ia seguranca cibernetica 1024x600 1

Hacker usou IA para invadir mais de 100 sites com baixo custo, diz Reuters

Um hacker usou agentes de inteligência artificial (IA) para invadir sites de mais de 100 empresas, incluindo a fabricante de tratores Deere, a SharkNinja e a Cummins. A operação chamou a atenção pela capacidade de executar ataques complexos com pouca intervenção humana.

O pesquisador de cibersegurança Snorre Fagerland, da empresa NorForge, acompanhou parte da atividade por meio da plataforma Cairn. Segundo sua estimativa, a campanha custou cerca de US$ 5 mil (R$ 25.250) em créditos de IA.

Os agentes de IA levavam cerca de 23 horas de tentativas contínuas por tentativa e erro até quebrar as defesas. – Imagem: Mer_Studio/Shutterstock

Mais de 1.200 sites na mira

Segundo a Reuters, o pesquisador de cibersegurança Snorre Fagerland descobriu a operação ao monitorar instalações da Cairn expostas na internet e usadas para atividades maliciosas. A plataforma de código aberto permite coordenar agentes de IA para executar tarefas. A partir de 2 de outubro, o especialista conseguiu acompanhar o trabalho dos sistemas e identificar como eram empregados nos ataques.

Um dos casos que chamou a atenção de Fagerland foi o de um hacker de língua chinesa que, desde 25 de setembro, direcionava os agentes a sites nos Estados Unidos, Canadá, Austrália e Japão. As instruções eram curtas, com menos de 100 caracteres em chinês, mas bastavam para orientar os sistemas na busca por vulnerabilidades e nas tentativas de invasão.

Até o fim da semana anterior à publicação da reportagem, os agentes haviam tentado invadir mais de 1.200 sites. As invasões bem-sucedidas levavam, em geral, cerca de 23 horas, a um custo estimado de US$ 50 (R$ 249) cada. A operação aparentemente utilizou uma combinação do DeepSeek com o Claude Code, ferramenta da Anthropic.

Para Fagerland, a capacidade de executar ataques tão complexos com pouca intervenção humana representa uma mudança significativa no cenário da segurança digital. “É um mundo novo agora”, afirmou à Reuters.

Como os agentes encontraram vulnerabilidades

Um dos episódios acompanhados por Fagerland ajuda a entender como os agentes de IA conduziam as invasões. Depois de não encontrarem falhas na aplicação pública de uma grande empresa, os sistemas mudaram de estratégia e analisaram registros digitais para rastrear a infraestrutura ligada ao alvo. A busca levou a um painel de controle acessível pela internet, onde identificaram uma falha no processamento de dados.

Após horas de tentativas, os agentes relataram ter explorado essa vulnerabilidade para fazer o servidor executar comandos maliciosos. A capacidade de encontrar um caminho alternativo e testar a falha chamou a atenção do pesquisador. “Não é simples encontrar soluções como essas. Não é coisa de amador que apenas executa scripts”, afirmou Fagerland.

O caso não foi isolado. Ao monitorar outras atividades na mesma plataforma, o pesquisador encontrou diferentes tentativas de uso criminoso da IA: um hacker roubou uma grande quantidade de dados de cartões de crédito, enquanto outro tentou usar agentes para roubar uma corretora de criptomoedas.

sistema avançado de inteligência artificial analisando fluxos de dados digitais e filtrando redes de golpes
Especialistas alertam para uma nova era no cibercrime, marcada pelo baixo custo e automação de ataques virtuais. – Imagem criada por inteligência artificial

Empresas investigam os incidentes

Em um dos ataques que acompanhou, Fagerland observou como os agentes de IA contornaram um obstáculo durante a invasão. Como não encontraram falhas na aplicação pública da empresa, os sistemas passaram a examinar registros digitais em busca de outros caminhos para acessar a infraestrutura do alvo. A estratégia levou a um painel de controle exposto na internet, onde descobriram uma falha no processamento de dados.

A partir dessa descoberta, os agentes passaram horas testando maneiras de explorar a vulnerabilidade. Ao final, relataram ter conseguido induzir o servidor a executar comandos maliciosos. Para Fagerland, a abordagem demonstrou um nível de capacidade técnica que vai além da execução de scripts prontos. “Não é simples encontrar soluções como essas. Não é coisa de amador que apenas executa scripts”, afirmou o pesquisador.

A análise de outras instalações da Cairn revelou que esse não era o único tipo de crime cometido com a ajuda dos agentes. Em uma das operações, um hacker roubou uma grande quantidade de dados de cartões de crédito. Em outra, o criminoso tentou usar a IA para roubar uma corretora de criptomoedas. Os casos mostram que a tecnologia estava sendo empregada em diferentes etapas de atividades criminosas, não apenas na busca por vulnerabilidades em sites.

O post Hacker usou IA para invadir mais de 100 sites com baixo custo, diz Reuters apareceu primeiro em Olhar Digital.

Hacker usou IA para invadir mais de 100 sites com baixo custo, diz Reuters Read More »