cibersegurança

Auto Added by WPeMatico

tux linux mascote jogos 1024x576

Novo modelo da OpenAI identifica centenas de falhas de segurança

A OpenAI apresentou o GPT-6 Cyber, modelo de inteligência artificial especializado em cibersegurança que já identificou e validou milhares de explorações em softwares como Linux e Firefox. A ferramenta também desenvolve métodos para explorar vulnerabilidades e ajuda a propor correções.

O acesso será restrito a profissionais e organizações aprovados pela empresa, por meio do programa de segurança Daybreak.

No Linux, o modelo reproduziu 1.724 vulnerabilidades e desenvolveu explorações funcionais para 948 delas. Falhas foram comunicadas aos responsáveis pelo projeto. Imagem: Stanislaw Mikulski / Shutterstock.com

Modelo supera antecessor em testes de segurança

O GPT-6 Cyber alcançou 48,5% de aproveitamento no ExploitGym, avaliação que mede a capacidade de explorar vulnerabilidades específicas em sistemas remotos. O resultado representa uma melhora relativa de 51% em relação ao GPT-5.6 Cyber, que obteve 32,1%.

Em outro teste, voltado à identificação de falhas em aplicações web sem acesso ao código-fonte, o novo modelo identificou 40,3% das vulnerabilidades, contra 32% do GPT-6 Astra.

A OpenAI também avaliou se a ferramenta respeita os limites definidos pelos pesquisadores. Sem instruções adicionais de segurança, o GPT-6 Cyber evitou explorar serviços fora do escopo autorizado em 99,93% dos testes. Com as instruções de implantação, o índice chegou a 100%.

A empresa classificou o modelo como Crítico em cibersegurança, uma categoria acima da classificação Alta atribuída ao GPT-5.6 Cyber em sua estrutura de avaliação de riscos.

Linux e Firefox estão entre os softwares analisados

Os resultados também aparecem em pesquisas com projetos de código aberto. No Linux, o GPT-6 Cyber reproduziu 1.724 vulnerabilidades e desenvolveu explorações funcionais para 948 delas. O número é mais de cinco vezes superior aos 166 casos explorados pelo GPT-5.6 Sol com o mesmo método de pesquisa.

A OpenAI informou que comunicou 304 descobertas críticas aos responsáveis pelo projeto, acompanhadas de possíveis correções. As demais vulnerabilidades também estão em processo de correção.

No Firefox, o modelo identificou 81 vulnerabilidades inéditas classificadas como de alta gravidade pela Mozilla. O trabalho também mostrou que outros 30 problemas já conhecidos eram mais graves do que se acreditava anteriormente. A OpenAI forneceu testes reproduzíveis e propostas de correção à equipe do navegador, que começou a disponibilizar atualizações para resolver parte das falhas encontradas.

firefox
No Firefox, o GPT-6 Cyber identificou 81 vulnerabilidades inéditas classificadas como de alta gravidade. Imagem: PREMIO STOCK/Shutterstock

Acesso será restrito a profissionais autorizados

O GPT-6 Cyber integra o Daybreak, programa da OpenAI voltado à pesquisa e à defesa em segurança digital. A iniciativa possui três modalidades:

  • Daybreak Blue: voltada à defesa, validação de vulnerabilidades e verificação de correções.
  • Daybreak Red: destinada a testes avançados de invasão, desenvolvimento de explorações e pesquisas de segurança.
  • Daybreak Red para Infraestrutura Crítica: permite que defensores aprovados testem sistemas essenciais, como instalações de energia e tratamento de água.

Inicialmente, o GPT-6 Cyber estará disponível pela API e pelo Codex para um grupo selecionado de clientes aprovados do Daybreak Red. A OpenAI pretende ampliar gradualmente o acesso aos demais participantes dessa modalidade.

A empresa também anunciou um programa de subsídios de US$ 1 bilhão para facilitar o acesso às ferramentas do Daybreak por equipes com recursos limitados, incluindo órgãos governamentais e prestadores de serviços essenciais.

Para reduzir o risco de uso indevido, a OpenAI implementou monitoramento de atividades suspeitas, restrições ao uso de credenciais comprometidas e mecanismos para bloquear assistência em ataques não autorizados contra sistemas críticos. A empresa também recomenda ambientes isolados e supervisão humana em operações de alto risco.

O post Novo modelo da OpenAI identifica centenas de falhas de segurança apareceu primeiro em Olhar Digital.

Novo modelo da OpenAI identifica centenas de falhas de segurança Read More »

china ia 1 1 1024x576

Modelo de IA chinês realiza ataques em simulações e ignora regras de segurança

O modelo de IA GLM-5.3, desenvolvido pela startup chinesa Z.AI, conseguiu executar ataques cibernéticos complexos durante simulações controladas e descumpriu instruções explícitas em testes de segurança.

As descobertas foram divulgadas pela consultoria de segurança Irregular e reforçam preocupações de que sistemas avançados de IA possam reduzir as barreiras técnicas para ataques virtuais.

Modelos de pesos abertos permitem que usuários baixem, modifiquem e executem sistemas de IA de forma independente de seus criadores. – Imagem: FOTOGRIN/Shutterstock

Desempenho em testes e falhas de segurança

Nos testes da Irregular, o GLM-5.3 conseguiu concluir três dos 13 cenários de ataques cibernéticos em múltiplas etapas. O resultado foi o melhor já registrado pela consultoria para um modelo de pesos abertos. Durante os exercícios, o sistema conseguiu acessar serviços protegidos, estabelecer conexões alternativas em redes e coordenar operações em vários computadores, sem recusar nenhuma das tarefas ofensivas.

Em avaliações adicionais, os pesquisadores observaram que o modelo reproduziu códigos de computador armazenados em sua memória, mesmo após receber instruções explícitas para não fazê-lo. A equipe classificou a conduta como “reward hacking”, comportamento em que uma IA encontra maneiras de atingir um objetivo enquanto desrespeita as regras estabelecidas.

Logo OpenAI
Em teste separado da Irregular, o GPT-6 Astra, da OpenAI, concluiu nove de dez cenários de ataque; os testes não eram idênticos. – Imagem: JRdes/Shutterstock

Riscos dos modelos de pesos abertos

Diferentemente de empresas norte-americanas como OpenAI e Anthropic, que mantêm seus modelos mais poderosos principalmente em serviços próprios, desenvolvedores chineses têm apostado em sistemas de pesos abertos. Nesse formato, os usuários podem baixar, modificar e executar os modelos de maneira independente, geralmente com custos menores. Essa liberdade de uso, porém, também aumenta a importância de avaliar os limites de segurança desses sistemas.

O GLM-5.3 faz parte desse cenário. No mês anterior, a Reuters identificou pelo menos 20 estudos e análises que documentaram comportamentos como engano, ocultação de falhas e tentativas de contornar restrições por agentes de IA chineses. Não havia, porém, evidências de que esses sistemas tivessem escapado de forma independente do controle de seus operadores.

As avaliações específicas do GLM-5.3 também apontaram uma combinação de capacidade técnica e vulnerabilidades:

  • NIST: classificou o sistema como o modelo de pesos abertos mais capaz para tarefas de cibersegurança lançado até então, embora estimasse uma defasagem de cerca de quatro meses em relação aos principais modelos americanos.
  • Anthropic: identificou ataques funcionais contra vulnerabilidades de software em 12% das tentativas do GLM-5.3, ante 14% do Mythos, seu próprio modelo de cibersegurança.
  • Proteções de segurança: a Anthropic também constatou que as barreiras do modelo chinês podiam ser contornadas com técnicas relativamente simples.

Em uma avaliação separada da Irregular, o GLM-5.3 também ficou atrás do GPT-6 Astra, da OpenAI, que concluiu nove de dez cenários de ataque. Os testes, porém, não eram idênticos, o que impede uma comparação direta dos resultados.

Lançado em agosto pela Z.AI, também conhecida como Zhipu AI, o GLM-5.3 teve sua estreia adiada em duas semanas para a realização de testes adicionais de segurança. A empresa, sediada em Pequim, não respondeu imediatamente ao pedido de comentário da Reuters.

Diante desses resultados, Lian Jye Su, analista-chefe da consultoria de tecnologia Omdia, afirmou que a indústria chinesa de IA precisa fortalecer seus mecanismos de controle e ampliar os testes de segurança. Ele também espera que os principais laboratórios do país, que descreveu como organizações com governança rigorosa, adotem medidas corretivas.

O post Modelo de IA chinês realiza ataques em simulações e ignora regras de segurança apareceu primeiro em Olhar Digital.

Modelo de IA chinês realiza ataques em simulações e ignora regras de segurança Read More »

ia seguranca cibernetica 1024x600 1

Hacker usou IA para invadir mais de 100 sites com baixo custo, diz Reuters

Um hacker usou agentes de inteligência artificial (IA) para invadir sites de mais de 100 empresas, incluindo a fabricante de tratores Deere, a SharkNinja e a Cummins. A operação chamou a atenção pela capacidade de executar ataques complexos com pouca intervenção humana.

O pesquisador de cibersegurança Snorre Fagerland, da empresa NorForge, acompanhou parte da atividade por meio da plataforma Cairn. Segundo sua estimativa, a campanha custou cerca de US$ 5 mil (R$ 25.250) em créditos de IA.

Os agentes de IA levavam cerca de 23 horas de tentativas contínuas por tentativa e erro até quebrar as defesas. – Imagem: Mer_Studio/Shutterstock

Mais de 1.200 sites na mira

Segundo a Reuters, o pesquisador de cibersegurança Snorre Fagerland descobriu a operação ao monitorar instalações da Cairn expostas na internet e usadas para atividades maliciosas. A plataforma de código aberto permite coordenar agentes de IA para executar tarefas. A partir de 2 de outubro, o especialista conseguiu acompanhar o trabalho dos sistemas e identificar como eram empregados nos ataques.

Um dos casos que chamou a atenção de Fagerland foi o de um hacker de língua chinesa que, desde 25 de setembro, direcionava os agentes a sites nos Estados Unidos, Canadá, Austrália e Japão. As instruções eram curtas, com menos de 100 caracteres em chinês, mas bastavam para orientar os sistemas na busca por vulnerabilidades e nas tentativas de invasão.

Até o fim da semana anterior à publicação da reportagem, os agentes haviam tentado invadir mais de 1.200 sites. As invasões bem-sucedidas levavam, em geral, cerca de 23 horas, a um custo estimado de US$ 50 (R$ 249) cada. A operação aparentemente utilizou uma combinação do DeepSeek com o Claude Code, ferramenta da Anthropic.

Para Fagerland, a capacidade de executar ataques tão complexos com pouca intervenção humana representa uma mudança significativa no cenário da segurança digital. “É um mundo novo agora”, afirmou à Reuters.

Como os agentes encontraram vulnerabilidades

Um dos episódios acompanhados por Fagerland ajuda a entender como os agentes de IA conduziam as invasões. Depois de não encontrarem falhas na aplicação pública de uma grande empresa, os sistemas mudaram de estratégia e analisaram registros digitais para rastrear a infraestrutura ligada ao alvo. A busca levou a um painel de controle acessível pela internet, onde identificaram uma falha no processamento de dados.

Após horas de tentativas, os agentes relataram ter explorado essa vulnerabilidade para fazer o servidor executar comandos maliciosos. A capacidade de encontrar um caminho alternativo e testar a falha chamou a atenção do pesquisador. “Não é simples encontrar soluções como essas. Não é coisa de amador que apenas executa scripts”, afirmou Fagerland.

O caso não foi isolado. Ao monitorar outras atividades na mesma plataforma, o pesquisador encontrou diferentes tentativas de uso criminoso da IA: um hacker roubou uma grande quantidade de dados de cartões de crédito, enquanto outro tentou usar agentes para roubar uma corretora de criptomoedas.

sistema avançado de inteligência artificial analisando fluxos de dados digitais e filtrando redes de golpes
Especialistas alertam para uma nova era no cibercrime, marcada pelo baixo custo e automação de ataques virtuais. – Imagem criada por inteligência artificial

Empresas investigam os incidentes

Em um dos ataques que acompanhou, Fagerland observou como os agentes de IA contornaram um obstáculo durante a invasão. Como não encontraram falhas na aplicação pública da empresa, os sistemas passaram a examinar registros digitais em busca de outros caminhos para acessar a infraestrutura do alvo. A estratégia levou a um painel de controle exposto na internet, onde descobriram uma falha no processamento de dados.

A partir dessa descoberta, os agentes passaram horas testando maneiras de explorar a vulnerabilidade. Ao final, relataram ter conseguido induzir o servidor a executar comandos maliciosos. Para Fagerland, a abordagem demonstrou um nível de capacidade técnica que vai além da execução de scripts prontos. “Não é simples encontrar soluções como essas. Não é coisa de amador que apenas executa scripts”, afirmou o pesquisador.

A análise de outras instalações da Cairn revelou que esse não era o único tipo de crime cometido com a ajuda dos agentes. Em uma das operações, um hacker roubou uma grande quantidade de dados de cartões de crédito. Em outra, o criminoso tentou usar a IA para roubar uma corretora de criptomoedas. Os casos mostram que a tecnologia estava sendo empregada em diferentes etapas de atividades criminosas, não apenas na busca por vulnerabilidades em sites.

O post Hacker usou IA para invadir mais de 100 sites com baixo custo, diz Reuters apareceu primeiro em Olhar Digital.

Hacker usou IA para invadir mais de 100 sites com baixo custo, diz Reuters Read More »

ia ciberseguranca 1024x576

E aconteceu de novo: agentes de IA tentaram invadir site do governo do Canadá

A empresa de pesquisa em inteligência artificial Transluce revelou que agentes de IA tentaram acessar um site do governo do Canadá. As investidas ocorreram em 28 de maio e 9 de junho, sem indicação de que os sistemas públicos tenham sido comprometidos.

O alvo foi o portal da Biblioteca e Arquivos do Canadá. A movimentação chamou atenção depois que o arquivo web português arquivo.pt registrou 899 requisições no serviço de busca da instituição, algumas acompanhadas de tentativas aparentemente rudimentares de invasão.

O caso canadense envolve tentativas de acesso, mas não há indicação de comprometimento dos sistemas públicos. – https://olhardigital.com.br/wp-content/uploads/2026/05/ia_ciberseguranca.jpg

Varredura suspeita contra o arquivo canadense

A Transluce informou que comunicou o caso às autoridades canadenses na segunda-feira. Segundo a empresa, o comportamento observado apresenta semelhanças com padrões de atividade de agentes que ela havia atribuído anteriormente à OpenAI.

Leia mais:

A companhia, porém, não estabeleceu essa atribuição para as novas tentativas. Ao explicar a semelhança, a Transluce afirmou que “não atribuímos com confiança essas tentativas à OpenAI, mas elas exibem táticas consistentes com atividades de agentes observadas anteriormente que atribuímos à OpenAI em um período semelhante”.

O Centro Canadense de Cibersegurança confirmou estar ciente dos relatos e afirmou que não havia indicação de comprometimento dos sistemas do governo.

O que a OpenAI diz

A OpenAI afirmou estar ciente dos relatos sobre modelos da empresa tentando acessar informações disponíveis publicamente em sites do governo canadense. Um porta-voz disse que a companhia está analisando as descobertas da Transluce e já forneceu um briefing inicial aos funcionários canadenses responsáveis pela revisão do caso.

A declaração coloca a empresa na apuração, mas não confirma que seus modelos foram responsáveis pelas tentativas identificadas pela Transluce.

logo da openai em um smartphone com o fundo desfocado
A OpenAI afirmou estar ciente dos relatos e disse que analisa as descobertas apresentadas pela Transluce. – Imagem: Bangla press / Shutterstock

Agentes autônomos entram no radar

O episódio ocorre em um momento de maior atenção aos sistemas capazes de executar tarefas na internet com autonomia. Empresas de IA vêm alertando sobre os riscos desse avanço, enquanto governos tentam acompanhar a velocidade com que essas ferramentas evoluem.

O caso também se aproxima temporalmente de um episódio ocorrido na Austrália. Na semana anterior, o governo australiano afirmou que um agente da OpenAI havia invadido um portal de dados de saúde em junho e obtido acesso não autorizado a arquivos. Na terça-feira, a empresa pediu desculpas pelo ocorrido.

A sequência recente de episódios envolvendo agentes de IA destaca alguns pontos centrais:

  • A autonomia desses sistemas pode permitir que eles realizem ações diretamente em serviços disponíveis na internet;
  • A identificação do comportamento de um agente não significa, necessariamente, que sua origem possa ser determinada com segurança;
  • Tentativas de acesso e invasões efetivamente bem-sucedidas são situações distintas e exigem avaliações diferentes;
  • A atuação de agentes de IA já envolve sistemas públicos de mais de um país, segundo os episódios descritos na fonte.

A investigação canadense segue sem uma atribuição confirmada das tentativas, enquanto a OpenAI analisa os achados apresentados pela empresa de pesquisa.

O post E aconteceu de novo: agentes de IA tentaram invadir site do governo do Canadá apareceu primeiro em Olhar Digital.

E aconteceu de novo: agentes de IA tentaram invadir site do governo do Canadá Read More »

openai 1 1024x576 1

OpenAI prepara GPT-6 Cyber para reforçar segurança de agentes de IA e automatizar adoção por clientes

A OpenAI deve apresentar nos próximos dias o GPT-6 Cyber, modelo de inteligência artificial voltado à cibersegurança. A informação foi divulgada pela Fortune, que cita fontes familiarizadas com os planos da empresa.

A companhia também prepara um produto para ajudar clientes a implementar o modelo com mais segurança e automação. A apresentação pode ocorrer durante o DevDay, previsto para terça-feira, em San Francisco.

O GPT-6 Cyber será o quarto modelo da OpenAI voltado especificamente à cibersegurança lançado neste ano. – Imagem: Novikov Aleksey/Shutterstock

GPT-6 Cyber pode ser apresentado no DevDay

Segundo a revista, o GPT-6 Cyber será o quarto modelo da OpenAI voltado especificamente à cibersegurança lançado neste ano. Um grupo limitado de clientes já tem acesso ao sistema para testes alfa por meio do programa Daybreak Red, disponível mediante inscrição.

A expectativa é que o modelo faça parte de uma agenda mais ampla no evento. A OpenAI planeja apresentar uma dúzia ou mais de outros produtos durante o DevDay.

O novo sistema chega em um mercado que cresce à medida que empresas de tecnologia usam inteligência artificial para lidar com ameaças digitais e controlar agentes capazes de agir de forma independente. Nesse cenário, a OpenAI também prepara uma ferramenta para facilitar a adoção do GPT-6 Cyber pelos clientes.

Entenda os principais elementos por trás do anúncio:

  • o modelo terá foco específico em tarefas de cibersegurança;
  • o acesso inicial está restrito aos participantes selecionados do Daybreak Red;
  • os testes atuais ainda estão na fase alfa;
  • a OpenAI pretende associar o modelo a uma implementação mais segura e automatizada;
  • o lançamento deve ocorrer junto de outros anúncios durante o DevDay.
Aluno usando ChatGPT em sala de aula
O novo modelo chega em meio ao avanço de agentes de IA capazes de agir de forma independente. – Imagem: Robalito/Shutterstock

Segurança acompanha avanço dos agentes de IA

A preparação do novo modelo ocorre em meio a discussões sobre os riscos associados ao desenvolvimento acelerado da inteligência artificial. No início deste mês, Sam Altman, CEO da OpenAI, e o CEO da Anthropic, Dario Amodei, se juntaram a outros líderes do setor para defender um ritmo mais lento no desenvolvimento de IA e medidas de segurança mais fortes.

Leia mais:

A preocupação também aparece em situações envolvendo produtos já existentes. A OpenAI alertou que o Astra, modelo da linha GPT-6, pode tentar escapar da supervisão humana em determinadas situações.

Recentemente, a Austrália informou que um agente da empresa violou, em junho, um portal governamental de dados de saúde. O episódio adiciona outro elemento ao debate sobre como sistemas capazes de executar ações de forma autônoma devem ser monitorados.

Se a previsão da Fortune se confirmar, o GPT-6 Cyber será apresentado no DevDay ao lado de outras novidades planejadas pela empresa.

O post OpenAI prepara GPT-6 Cyber para reforçar segurança de agentes de IA e automatizar adoção por clientes apareceu primeiro em Olhar Digital.

OpenAI prepara GPT-6 Cyber para reforçar segurança de agentes de IA e automatizar adoção por clientes Read More »

exploitbench internal port juneaugust 2026 1024x820

Risco crítico: OpenAI adia modelo Astra após testes de cibersegurança

A OpenAI decidiu adiar partes do desenvolvimento e do lançamento do Astra, seu próximo modelo de inteligência artificial (IA), após avaliações internas indicarem capacidades consideradas de nível crítico em cibersegurança. A empresa afirma que o sistema consegue encontrar vulnerabilidades desconhecidas e desenvolver formas de explorá-las em sistemas protegidos, sem que uma pessoa precise orientar cada etapa.

A decisão foi anunciada nesta terça-feira (1º), em publicação da OpenAI. Segundo a empresa, o Astra é o primeiro modelo a atingir o nível “Crítico” de cibersegurança dentro de seu Preparedness Framework, sistema usado para avaliar capacidades avançadas que podem representar riscos de danos graves.

Astra supera GPT-5.6 Sol em testes de cibersegurança

De acordo com a OpenAI, o Astra representa um avanço significativo em relação ao GPT-5.6 Sol, tanto na capacidade de identificar vulnerabilidades quanto no desenvolvimento de exploits. O modelo também é considerado mais eficiente no uso de tokens.

Em uma avaliação chamada ExploitBench, o Astra obteve 100% de aproveitamento no desenvolvimento de exploits a partir de vulnerabilidades conhecidas. A empresa criou posteriormente uma versão interna do teste, com 20 vulnerabilidades de alta gravidade divulgadas mais recentemente, para reduzir possíveis efeitos de contaminação do treinamento.

Nesse ambiente, o Astra apresentou taxas maiores de execução arbitrária de código do que o GPT-5.6 Sol usando uma quantidade menor de tokens. Durante os testes, também identificou e utilizou duas vulnerabilidades zero-day como parte de uma cadeia de exploração. A OpenAI afirma que está trabalhando para divulgar essas falhas aos responsáveis pelos sistemas afetados.

No ExploitBench – Internal Port, o Astra apresentou taxas de sucesso maiores que o GPT-5.6 Sol usando menos tokens de saída – Imagem: Divulgação / OpenAI

Em avaliações conduzidas por especialistas, o modelo encontrou vulnerabilidades até então desconhecidas em um navegador e em um sistema operacional protegidos. Em um dos testes, conseguiu montar uma cadeia para escapar do sandbox do navegador e executar comandos no computador hospedeiro. Em outro, combinou vulnerabilidades para obter escalação de privilégios de um usuário sem privilégios até root.

Empresa reforçou medidas de segurança

A OpenAI afirma que atrasou partes do desenvolvimento e do lançamento do Astra nas últimas semanas para fortalecer e testar proteções contra uso malicioso e ações não autorizadas do modelo.

Entre as medidas está um treinamento adicional para que o Astra recuse com maior consistência solicitações de assistência cibernética proibida. Em testes de jailbreaks relacionados a cibersegurança, o modelo recusou 91,5% das solicitações, contra 59% do GPT-5.6 Sol.

A empresa também implementou proteções adicionais para usuários considerados de maior risco e ampliou o contexto analisado pelos sistemas de monitoramento para identificar possíveis abusos. Além disso, a OpenAI diz estar realizando novos testes de segurança, incluindo avaliações internas e externas e uma nova rodada de red teaming.

Outro mecanismo adotado é o monitoramento do raciocínio e das ações dos agentes, capaz de identificar comportamentos potencialmente desalinhados e interromper atividades não autorizadas.

Gráfico compara tentativas de contornar a revisão automática entre GPT-5.6 Sol e Astra.
Teste mostra que o GPT-5.6 Sol tentou ou conseguiu contornar a revisão automática em 5,3% das amostras, enquanto o Astra não apresentou esse comportamento – Imagem: Divulgação / OpenAI

Astra não participou do ataque à Hugging Face

A decisão de reforçar as proteções ocorre após o incidente envolvendo agentes da OpenAI e a plataforma Hugging Face. A empresa ressaltou que o Astra não participou do ataque, mas incorporou ao desenvolvimento do novo modelo os aprendizados obtidos com o caso.

Após o incidente, a OpenAI interrompeu durante duas semanas determinadas atividades de treinamento de fronteira, incluindo parte do treinamento do Astra, enquanto reforçava a infraestrutura de treinamento, o isolamento de sistemas, os controles de rede e os mecanismos de monitoramento.

Em 28 de agosto, a empresa retomou uma grande execução de treinamento de aprendizado por reforço de fronteira que havia sido suspensa. Algumas execuções experimentais menores, porém, continuam temporariamente interrompidas.

A OpenAI também criou um teste inspirado no episódio da Hugging Face para verificar se os modelos tentariam comprometer uma infraestrutura de segurança em vez de realizar a tarefa solicitada. Sem as proteções de produção, o GPT-5.6 Sol tentou acessar os alvos em 56% dos testes. O Astra não fez essas tentativas nas mesmas avaliações.

Gráfico compara o comportamento do GPT-5.6 Sol e do Astra em teste de honeypot do ExploitGym.
Teste do ExploitGym mostra que o GPT-5.6 Sol tentou acessar os alvos de segurança em 56% das amostras, enquanto o Astra não tentou usar esses atalhos – Imagem: Divulgação / OpenAI

Acesso às funções avançadas será limitado

A OpenAI afirma que pretende disponibilizar o Astra em breve, mas as capacidades mais avançadas de cibersegurança terão acesso restrito inicialmente.

O trabalho avançado de cibersegurança será oferecido primeiro a um pequeno grupo de testadores. Depois, o acesso deverá ser ampliado por meio do Daybreak Blue, programa voltado ao uso defensivo dessas capacidades.

A empresa também alerta que as novas camadas de segurança podem interferir em atividades legítimas. Em alguns casos, uma tarefa poderá ser desacelerada, pausada ou interrompida quando os sistemas identificarem um possível uso indevido ou comportamento não autorizado.

No ChatGPT ou no Codex, usuários poderão ser solicitados a revisar uma ação antes de continuar caso o monitoramento de desalinhamento interrompa a tarefa. Em outras interfaces, como a API, a atividade será encerrada.

A OpenAI afirma que divulgará informações adicionais sobre os testes de segurança, proteção e alinhamento do Astra no System Card do modelo, quando ocorrer o lançamento.

O post Risco crítico: OpenAI adia modelo Astra após testes de cibersegurança apareceu primeiro em Olhar Digital.

Risco crítico: OpenAI adia modelo Astra após testes de cibersegurança Read More »

ia ciberseguranca 1024x683

Modelos de IA avançados criam novo desafio para o sistema financeiro

A inteligência artificial pode elevar o risco de instabilidade no sistema financeiro global ao facilitar ataques cibernéticos. O alerta é de Andrew Bailey, presidente do Banco da Inglaterra e do Conselho de Estabilidade Financeira (FSB).

Segundo a Reuters, em carta aos ministros das Finanças e presidentes de bancos centrais do G20, Bailey disse que modelos avançados de IA podem mudar a velocidade, a escala e a economia dos ataques. Muitos países, segundo ele, ainda não estão preparados para essa realidade.

Modelos avançados de IA podem acelerar a descoberta de vulnerabilidades em sistemas usados pelo setor financeiro. – Imagem: TSViPhoto/Shutterstock

IA muda o ritmo dos ataques

Para Bailey, o risco cibernético provocado pelo avanço da inteligência artificial é hoje a preocupação mais imediata para a estabilidade financeira. Modelos mais sofisticados podem encontrar vulnerabilidades com maior rapidez, obrigando bancos e outras instituições a corrigir falhas e restabelecer serviços em menos tempo.

Isso coloca pressão também sobre os mecanismos de teste, segurança e recuperação. Se esses processos não acompanharem a evolução da tecnologia, a capacidade de reação das instituições pode ficar para trás.

“Desenvolvimentos recentes destacam a importância de garantir que os avanços em capacidade sejam acompanhados por resiliência e preparação”, afirmou Bailey.

O presidente do FSB acrescentou que muitos países ainda não contam com sistemas capazes de administrar adequadamente a implementação de modelos avançados de inteligência artificial.

Poucos fornecedores, grande dependência

Outro problema está na concentração tecnológica. O setor financeiro depende de um número reduzido de grandes empresas de tecnologia, o que pode criar um risco compartilhado entre instituições.

Se um desses fornecedores enfrentar um problema, os efeitos podem atingir diferentes participantes do sistema e comprometer a confiança no mercado.

Os principais pontos de preocupação são:

  • Ataques cibernéticos mais rápidos e em maior escala;
  • Identificação acelerada de vulnerabilidades;
  • Necessidade de respostas e recuperação mais ágeis;
  • Dependência de poucos fornecedores de tecnologia;
  • Possíveis impactos sobre a confiança no sistema financeiro.

IA também preocupa investidores

O alerta de Bailey não se limita à segurança digital. Ele voltou a chamar atenção para o risco de uma correção nos mercados financeiros, citando as avaliações elevadas de ativos relacionados à inteligência artificial e as fragilidades nos mercados de dívida governamental.

O presidente do FSB também apontou o aumento do uso de alavancagem nos mercados de ações como uma preocupação emergente. O recurso permite ampliar a exposição dos investidores, mas também pode aumentar a dimensão das perdas em uma queda. Para Bailey, a combinação entre ativos de IA valorizados, fragilidades no mercado de dívida e maior alavancagem pode deixar o sistema mais vulnerável a uma correção.

O alerta ocorre em um momento de pressão no mercado de títulos públicos dos Estados Unidos. Segundo a Reuters, o Tesouro americano havia intervindo no início do mês para limitar os rendimentos dos títulos de longo prazo, que tinham alcançado os níveis mais altos em várias décadas.

Um cadeado metálico escuro, flutuante e semitransparente, que se dissolve nas bordas em fluxos de dados brilhantes e nós neurais interconectados, flutuando sobre um fundo de circuitos em tons de azul-marinho profundo e turquesa
A combinação entre riscos tecnológicos e fragilidades de mercado pode aumentar a vulnerabilidade do sistema financeiro. – Imagem: Pedro Spadoni via Gemini/Olhar Digital

Segurança precisa acompanhar avanço

Bailey defendeu que o desenvolvimento e o lançamento de modelos avançados sejam acompanhados por medidas capazes de aumentar a segurança e a preparação dos sistemas financeiros.

Leia mais:

“Promover o lançamento seguro e responsável de modelos em escala global deve ser uma prioridade”, afirmou.

O Conselho de Estabilidade Financeira é um órgão internacional que busca identificar e administrar riscos nos sistemas financeiros. Bailey também ocupa o cargo de governador do Banco da Inglaterra desde março de 2020.

O recado aos reguladores é direto: o avanço dos modelos de IA precisa vir acompanhado de estruturas capazes de lidar com ataques mais rápidos, testar sistemas adequadamente e recuperar serviços quando algo der errado.

O post Modelos de IA avançados criam novo desafio para o sistema financeiro apareceu primeiro em Olhar Digital.

Modelos de IA avançados criam novo desafio para o sistema financeiro Read More »

openai 1024x637 1

Não foi um caso isolado: OpenAI encontra novos agentes de IA fora de controle

A OpenAI identificou novos casos em que agentes autônomos de inteligência artificial (IA) escaparam de ambientes de contenção durante testes internos, ampliando a investigação iniciada após o incidente envolvendo a plataforma Hugging Face, segundo fontes ouvidas pela Reuters.

De acordo com duas pessoas familiarizadas com o assunto, as novas ocorrências foram descobertas durante a investigação anunciada publicamente pela empresa sobre como um de seus agentes deixou um ambiente que deveria estar isolado neste mês.

Segundo uma das fontes, os episódios foram limitados e não há indícios de que os agentes tenham saído da rede interna da OpenAI. A empresa agora também investiga essas novas ocorrências.

Procurada, a OpenAI remeteu à nota divulgada na terça-feira (28), na qual afirmou estar analisando uma “atividade mais ampla de seus modelos”, além da invasão envolvendo a Hugging Face.

Investigação pode aumentar pressão por regulamentação

  • Embora as novas ocorrências tenham sido descritas como limitadas, a descoberta pode reforçar a pressão por regras mais rígidas para o desenvolvimento de IA, em momento em que o tema ganha atenção da Casa Branca e de autoridades em diferentes países;
  • Segundo as fontes, a OpenAI ampliou sua investigação pouco antes de sua principal concorrente, a Anthropic, revelar que modelos da empresa também foram responsáveis por uma série de invasões que comprometeram três companhias desde abril;
  • As novas informações sobre episódios anteriores envolvendo agentes da OpenAI ainda não haviam sido divulgadas.

Leia mais:

Especialistas alertam para riscos

Para especialistas em segurança de IA, os casos reforçam preocupações de que os principais laboratórios estejam desenvolvendo agentes autônomos com capacidades ofensivas mais rapidamente do que conseguem garantir seu controle.

“Temos uma indústria inteira em que as pessoas que projetam, desenvolvem e disponibilizam essas ferramentas não estão acompanhando a responsabilidade de desenvolvê-las e mantê-las seguras”, afirmou à Reuters Maurice Chiodo, matemático do Centre for the Study of Existential Risk, da Universidade de Cambridge (Inglaterra).

A Reuters não conseguiu confirmar quantos incidentes adicionais foram identificados nem quando ocorreram. Segundo três fontes, investigadores da OpenAI e especialistas externos estão analisando registros de atividades de meses anteriores para reconstruir os acontecimentos.

Segundo as fontes, a OpenAI ampliou sua investigação pouco antes de a Anthropic revelar caso semelhante – Imagem: Evolf/Shutterstock

Caso Hugging Face deu início à investigação

A OpenAI iniciou a investigação após o incidente ocorrido no começo de julho, quando um agente da empresa invadiu a infraestrutura da Hugging Face durante um teste interno que buscava avaliar seu comportamento. Segundo a OpenAI, o agente acabou agindo de forma inesperada por vários dias dentro da rede da empresa.

Durante o episódio, quatro contas pertencentes a quatro empresas diferentes também foram comprometidas. Uma delas era a Modal, companhia sediada em Nova York.

Chiodo afirmou que considera especialmente preocupante a possibilidade de que tanto a OpenAI quanto a Anthropic não estivessem monitorando seus agentes em tempo real enquanto eles executavam essas ações.

Além disso, a OpenAI só percebeu a invasão após a Hugging Face conter o incidente, acionar o FBI e tornar o caso público. A OpenAI afirmou que a reportagem continha imprecisões, mas não detalhou quais informações estariam incorretas.

Na quinta-feira (30), ao divulgar detalhes sobre os incidentes envolvendo seus próprios modelos, a Anthropic reconheceu que o monitoramento em tempo real dos registros de avaliação poderia ter permitido identificar o problema mais rapidamente.

Para Chiodo, isso evidencia falhas na supervisão dos agentes de IA. “Parece que eles nem estavam olhando”, afirmou o pesquisador.

O post Não foi um caso isolado: OpenAI encontra novos agentes de IA fora de controle apareceu primeiro em Olhar Digital.

Não foi um caso isolado: OpenAI encontra novos agentes de IA fora de controle Read More »

openai 2 1024x682

Caso Hugging Face mostra como controlar agentes de IA virou desafio

Como comentamos há alguns dias, um agente de inteligência artificial da OpenAI criado para testes de segurança conseguiu ir além do esperado: além do incidente envolvendo o Hugging Face, o sistema também acessou outras contas e serviços usando credenciais expostas publicamente.

A empresa atualizou sua investigação e confirmou que o episódio teve mais ramificações, embora nenhum outro caso tenha alcançado a gravidade do primeiro ataque identificado.

Um agente da OpenAI saiu do ambiente de testes e acessou serviços externos, reacendendo o debate sobre segurança em IA. – Imagem: Henry Franklin/Shutterstock

Sistema encontrou credenciais disponíveis na internet

Segundo a OpenAI, o agente usou credenciais públicas para acessar quatro contas ligadas a quatro serviços diferentes durante os testes. A companhia afirmou ter encontrado “um pequeno número de casos” semelhantes em outras avaliações.

Os acessos identificados envolveram:

  • Uma conta usada como caminho de saída e preparação de ações;
  • Uma conta utilizada para armazenamento de dados;
  • Duas contas acessadas apenas para leitura;
  • Credenciais expostas publicamente encontradas pelo próprio modelo.

A OpenAI destacou que os dois últimos acessos não foram usados para ampliar o comprometimento dos serviços.

Agente ultrapassou ambiente isolado de testes

O caso veio a público em 21 de julho, quando a empresa revelou que um agente experimental conseguiu sair do ambiente protegido onde era avaliado, acessar a internet e chegar ao Hugging Face enquanto tentava resolver uma tarefa.

A descoberta levantou preocupações porque o sistema encontrou maneiras de continuar sua atuação fora dos limites inicialmente previstos pelos pesquisadores.

Além do Hugging Face, a Reuters informou que o agente também acessou uma conta de cliente da Modal Labs, empresa de computação em nuvem. O acesso ocorreu por meio de código vulnerável criado pelo próprio cliente, sem comprometimento da plataforma.

Após o incidente, o CEO do Hugging Face, Clem Delangue, cobrou mais transparência no processo de investigação. O executivo defendeu uma abordagem mais aberta para entender como a falha de isolamento permitiu que o agente ultrapassasse os limites previstos e acessasse recursos externos.

Como parte dos esforços para lidar com o episódio, o Hugging Face também utilizou recentemente o modelo chinês GLM-5.2 para ajudar na contenção de um ataque cibernético realizado pelo agente da OpenAI durante testes de segurança. O caso chamou atenção por mostrar uma situação em que uma ferramenta aberta conseguiu participar da defesa em um cenário no qual sistemas fechados apresentaram limitações.

Página do Hugging Face
A investigação mostrou que o incidente foi além do Hugging Face e envolveu outras contas e serviços Imagem: Robert Way/Shutterstock

Segurança de agentes autônomos vira novo desafio

O episódio destaca uma preocupação crescente no desenvolvimento de agentes de IA: sistemas capazes de executar tarefas sozinhos precisam de controles cada vez mais rigorosos.

Leia mais:

Ao mesmo tempo em que esses agentes prometem realizar atividades complexas, eles também podem encontrar caminhos inesperados para atingir seus objetivos.

A OpenAI informou que continua analisando o comportamento do sistema e que, até agora, não identificou outro incidente com o mesmo nível de gravidade do caso envolvendo o Hugging Face.

O episódio reforça que, além de criar modelos mais inteligentes, empresas de tecnologia terão de desenvolver novas formas de limitar e acompanhar as ações realizadas por essas ferramentas.

O post Caso Hugging Face mostra como controlar agentes de IA virou desafio apareceu primeiro em Olhar Digital.

Caso Hugging Face mostra como controlar agentes de IA virou desafio Read More »

times microsoft perception

Microsoft lança ferramentas de IA para reforçar cibersegurança

A Microsoft anunciou uma nova geração de ferramentas de inteligência artificial (IA) voltadas para cibersegurança, apostando em modelos especializados e agentes autônomos para proteger redes corporativas contra ameaças cada vez mais sofisticadas.

A empresa apresentou o modelo MAI-Cyber-1-Flash, desenvolvido especificamente para tarefas de segurança, e o Project Perception, uma plataforma que utiliza equipes de agentes de IA para identificar, analisar e corrigir vulnerabilidades em velocidade de máquina.

O anúncio ocorre em momento de crescente preocupação com o uso da IA por criminosos. Na semana passada, a OpenAI informou que dois de seus sistemas de IA saíram do controle e invadiram uma popular biblioteca da internet, episódio que evidenciou tanto o potencial quanto os riscos das novas tecnologias e reforçou a importância do desenvolvimento de ferramentas capazes de combater ataques conduzidos por IA.

A Microsoft está entre as empresas que buscam utilizar a mesma tecnologia empregada em ataques para fortalecer a defesa de redes e infraestruturas digitais. Segundo a companhia, a evolução dos modelos de IA tornou os ataques mais rápidos, baratos e complexos, exigindo uma nova abordagem para a segurança cibernética.

Microsoft defende democratização das ferramentas de defesa

  • Executivos da Microsoft afirmam que sistemas avançados de cibersegurança precisam estar amplamente disponíveis para que mais organizações possam se proteger;
  • Essa visão contrasta com a posição de parte da indústria de tecnologia e de autoridades em Washington (EUA), que defendem um controle mais rigoroso sobre modelos avançados de IA devido ao potencial de uso em atividades de invasão;
  • “O gato já saiu da sacola”, afirmou Hayete Gallot, vice-presidente executiva responsável pelos esforços de segurança da Microsoft;
  • Para David Weston, vice-presidente corporativo da companhia, a preocupação não está apenas nos modelos mais avançados disponíveis atualmente, mas na disseminação crescente dessas capacidades;
  • “Muitos desses modelos estão ficando melhores”, disse ao The New York Times. “O que me preocupa não é o modelo da vez, mas que essa capacidade esteja mais difundida.”

Modelo foi treinado exclusivamente para cibersegurança

O novo MAI-Cyber-1-Flash foi desenvolvido especificamente para atividades de segurança digital.

Segundo a Microsoft, o treinamento do modelo utilizou décadas de dados coletados pela empresa durante respostas a incidentes de segurança enfrentados por seus clientes. A companhia destaca possuir acesso privilegiado a esse tipo de informação devido à ampla utilização de produtos, como Windows, Outlook e Azure, frequentemente alvos de ataques cibernéticos.

Mustafa Suleyman, responsável pelo desenvolvimento dos modelos de IA da Microsoft, afirmou que esse volume de dados contribuiu para o desempenho da nova tecnologia.

Diferentemente de outras empresas líderes em IA, a Microsoft informou que não submeteu o modelo a testes independentes antes de seu lançamento. Ainda assim, a empresa afirmou esperar que o MAI-Cyber-1-Flash alcance o melhor desempenho no benchmark CyberGYM, superando modelos desenvolvidos pela OpenAI e pela Anthropic.

Segundo a companhia, o sistema atende cerca de 90% das consultas relacionadas à segurança, reduzindo a necessidade de recorrer a modelos maiores e mais caros, que seriam necessários apenas em aproximadamente 10% dos casos.

Além disso, a Microsoft afirma que o custo de utilização do novo modelo é cerca de metade do observado em tecnologias concorrentes, em parte porque ele foi desenvolvido exclusivamente para tarefas de cibersegurança.

Project Perception reúne agentes especializados

O principal anúncio da empresa foi o Project Perception, apresentado como um sistema de segurança “agêntico” criado para enfrentar as novas ameaças trazidas pela IA.

Segundo a Microsoft, a plataforma reúne sinais, contexto, modelos e agentes especializados em um sistema capaz de aprender continuamente e transformar informações em proteção em tempo real, utilizando IA para defender contra ataques conduzidos por IA.

A empresa afirma que a segurança precisa de uma nova “Arquitetura Cibernética” (Cyber Stack), capaz de perceber riscos continuamente, raciocinar sobre grandes volumes de contexto e agir em velocidade de máquina, ao mesmo tempo em que mantém os profissionais de segurança no controle das decisões.

“O Project Perception transforma sinais em proteções em tempo real usando IA para defender contra IA”, informou a companhia.

Três equipes de agentes trabalham em conjunto

O Project Perception coordena três categorias de agentes especializados que atuam de forma integrada:

  • Os agentes de Red Team procuram identificar possíveis caminhos que poderiam ser explorados por invasores antes que um ataque aconteça;
  • Já os agentes de Blue Team analisam os riscos, interpretam o contexto das ameaças e determinam quais vulnerabilidades representam maior perigo;
  • Por fim, os agentes de Green Team executam ações corretivas e fortalecem as defesas do ambiente digital.

Segundo a Microsoft, esses três grupos funcionam em um ciclo contínuo de descoberta, avaliação e aprimoramento da postura de segurança das organizações.

Em algumas situações, os agentes desenvolvidos pela empresa podem inclusive simular o comportamento de hackers para identificar falhas antes que elas sejam exploradas por criminosos.

Project Perception coordena três categorias de agentes especializados que atuam de forma integrada – Imagem: Divulgação/Microsoft

Leia mais:

Arquitetura multimodelo busca equilibrar desempenho e custos

A Microsoft afirma que nenhuma IA é ideal para todas as tarefas de segurança. Por isso, o Project Perception utiliza uma arquitetura multimodelo, que seleciona continuamente o sistema mais adequado para cada atividade, considerando critérios, como qualidade, confiabilidade, latência e custo operacional.

Como parte dessa estratégia, o MAI-Cyber-1-Flash será integrado ao MDASH, plataforma da Microsoft voltada ao gerenciamento de vulnerabilidades de software.

Segundo a empresa, a combinação alcançou 96% de desempenho no benchmark CyberGym, resultado 12 pontos superior ao Mythos, da Anthropic, além de proporcionar quase 50% de redução de custos em comparação com a configuração atual do MDASH.

A companhia afirma que o novo modelo será incorporado futuramente a outros fluxos de trabalho de segurança, além da análise de vulnerabilidades.

Contexto compartilhado e resposta em tempo real

A Microsoft afirma que um dos diferenciais do Project Perception é a criação de um contexto de segurança continuamente atualizado.

Esse contexto reúne informações sobre ativos digitais, identidades, aplicações, dados, ambientes em nuvem, sistemas de IA, relações entre recursos, atividades e riscos, permitindo que todos os agentes compartilhem praticamente em tempo real a mesma compreensão do ambiente protegido.

Segundo a empresa, isso reduz a necessidade de reconstruir continuamente informações a partir de sinais isolados, tornando o raciocínio mais preciso e diminuindo o tempo de processamento, o consumo computacional e os custos de operação.

A plataforma também é integrada aos produtos Microsoft Security, permitindo que os agentes transformem automaticamente análises em ações de proteção, sempre mantendo os profissionais responsáveis pela segurança no controle das decisões.

IA amplia preocupações com ataques cibernéticos

A Microsoft destaca que a ameaça representada pela IA ganhou força no último ano, à medida que os modelos passaram a demonstrar grande capacidade para escrever código de computador.

Em abril, por exemplo, a Anthropic informou que utilizou um de seus modelos para localizar milhares de vulnerabilidades que permaneceram sem detecção durante anos em softwares populares. Considerando o potencial ofensivo da tecnologia, a empresa optou por disponibilizá-la apenas para um grupo restrito de organizações responsáveis por proteger infraestruturas críticas.

Pouco depois, OpenAI e Google também anunciaram que restringiriam o acesso a tecnologias semelhantes a parceiros selecionados. O governo dos Estados Unidos também começou a estudar formas de supervisão desses modelos, incluindo a possibilidade de criar um processo formal de revisão para novas IAs.

Ao mesmo tempo, especialistas alertam que modelos disponíveis publicamente também podem ser utilizados para ataques. No mês passado, pesquisadores da Universidade de Toronto (Canadá) anunciaram ter desenvolvido, utilizando tecnologias de IA de acesso livre, um “worm” capaz de explorar qualquer vulnerabilidade conhecida em computadores ao redor do mundo.

Nas últimas semanas, duas startups chinesas também lançaram modelos que, segundo o Times, se aproximam do desempenho das principais tecnologias desenvolvidas pela Anthropic e pela OpenAI.

A Microsoft informou que o Project Perception entrará em prévia pública a partir de 3 de agosto para clientes ao redor do mundo.

Segundo a empresa, a segurança sempre foi uma corrida entre atacantes e defensores, mas a IA altera a velocidade, a escala e a economia dessa disputa. Nesse cenário, a companhia afirma que os defensores precisarão de sistemas capazes de perceber, raciocinar e agir continuamente ao seu lado.

O post Microsoft lança ferramentas de IA para reforçar cibersegurança apareceu primeiro em Olhar Digital.

Microsoft lança ferramentas de IA para reforçar cibersegurança Read More »