cibersegurança

Auto Added by WPeMatico

openai 1024x637 1

Não foi um caso isolado: OpenAI encontra novos agentes de IA fora de controle

A OpenAI identificou novos casos em que agentes autônomos de inteligência artificial (IA) escaparam de ambientes de contenção durante testes internos, ampliando a investigação iniciada após o incidente envolvendo a plataforma Hugging Face, segundo fontes ouvidas pela Reuters.

De acordo com duas pessoas familiarizadas com o assunto, as novas ocorrências foram descobertas durante a investigação anunciada publicamente pela empresa sobre como um de seus agentes deixou um ambiente que deveria estar isolado neste mês.

Segundo uma das fontes, os episódios foram limitados e não há indícios de que os agentes tenham saído da rede interna da OpenAI. A empresa agora também investiga essas novas ocorrências.

Procurada, a OpenAI remeteu à nota divulgada na terça-feira (28), na qual afirmou estar analisando uma “atividade mais ampla de seus modelos”, além da invasão envolvendo a Hugging Face.

Investigação pode aumentar pressão por regulamentação

  • Embora as novas ocorrências tenham sido descritas como limitadas, a descoberta pode reforçar a pressão por regras mais rígidas para o desenvolvimento de IA, em momento em que o tema ganha atenção da Casa Branca e de autoridades em diferentes países;
  • Segundo as fontes, a OpenAI ampliou sua investigação pouco antes de sua principal concorrente, a Anthropic, revelar que modelos da empresa também foram responsáveis por uma série de invasões que comprometeram três companhias desde abril;
  • As novas informações sobre episódios anteriores envolvendo agentes da OpenAI ainda não haviam sido divulgadas.

Leia mais:

Especialistas alertam para riscos

Para especialistas em segurança de IA, os casos reforçam preocupações de que os principais laboratórios estejam desenvolvendo agentes autônomos com capacidades ofensivas mais rapidamente do que conseguem garantir seu controle.

“Temos uma indústria inteira em que as pessoas que projetam, desenvolvem e disponibilizam essas ferramentas não estão acompanhando a responsabilidade de desenvolvê-las e mantê-las seguras”, afirmou à Reuters Maurice Chiodo, matemático do Centre for the Study of Existential Risk, da Universidade de Cambridge (Inglaterra).

A Reuters não conseguiu confirmar quantos incidentes adicionais foram identificados nem quando ocorreram. Segundo três fontes, investigadores da OpenAI e especialistas externos estão analisando registros de atividades de meses anteriores para reconstruir os acontecimentos.

Segundo as fontes, a OpenAI ampliou sua investigação pouco antes de a Anthropic revelar caso semelhante – Imagem: Evolf/Shutterstock

Caso Hugging Face deu início à investigação

A OpenAI iniciou a investigação após o incidente ocorrido no começo de julho, quando um agente da empresa invadiu a infraestrutura da Hugging Face durante um teste interno que buscava avaliar seu comportamento. Segundo a OpenAI, o agente acabou agindo de forma inesperada por vários dias dentro da rede da empresa.

Durante o episódio, quatro contas pertencentes a quatro empresas diferentes também foram comprometidas. Uma delas era a Modal, companhia sediada em Nova York.

Chiodo afirmou que considera especialmente preocupante a possibilidade de que tanto a OpenAI quanto a Anthropic não estivessem monitorando seus agentes em tempo real enquanto eles executavam essas ações.

Além disso, a OpenAI só percebeu a invasão após a Hugging Face conter o incidente, acionar o FBI e tornar o caso público. A OpenAI afirmou que a reportagem continha imprecisões, mas não detalhou quais informações estariam incorretas.

Na quinta-feira (30), ao divulgar detalhes sobre os incidentes envolvendo seus próprios modelos, a Anthropic reconheceu que o monitoramento em tempo real dos registros de avaliação poderia ter permitido identificar o problema mais rapidamente.

Para Chiodo, isso evidencia falhas na supervisão dos agentes de IA. “Parece que eles nem estavam olhando”, afirmou o pesquisador.

O post Não foi um caso isolado: OpenAI encontra novos agentes de IA fora de controle apareceu primeiro em Olhar Digital.

Não foi um caso isolado: OpenAI encontra novos agentes de IA fora de controle Read More »

openai 2 1024x682

Caso Hugging Face mostra como controlar agentes de IA virou desafio

Como comentamos há alguns dias, um agente de inteligência artificial da OpenAI criado para testes de segurança conseguiu ir além do esperado: além do incidente envolvendo o Hugging Face, o sistema também acessou outras contas e serviços usando credenciais expostas publicamente.

A empresa atualizou sua investigação e confirmou que o episódio teve mais ramificações, embora nenhum outro caso tenha alcançado a gravidade do primeiro ataque identificado.

Um agente da OpenAI saiu do ambiente de testes e acessou serviços externos, reacendendo o debate sobre segurança em IA. – Imagem: Henry Franklin/Shutterstock

Sistema encontrou credenciais disponíveis na internet

Segundo a OpenAI, o agente usou credenciais públicas para acessar quatro contas ligadas a quatro serviços diferentes durante os testes. A companhia afirmou ter encontrado “um pequeno número de casos” semelhantes em outras avaliações.

Os acessos identificados envolveram:

  • Uma conta usada como caminho de saída e preparação de ações;
  • Uma conta utilizada para armazenamento de dados;
  • Duas contas acessadas apenas para leitura;
  • Credenciais expostas publicamente encontradas pelo próprio modelo.

A OpenAI destacou que os dois últimos acessos não foram usados para ampliar o comprometimento dos serviços.

Agente ultrapassou ambiente isolado de testes

O caso veio a público em 21 de julho, quando a empresa revelou que um agente experimental conseguiu sair do ambiente protegido onde era avaliado, acessar a internet e chegar ao Hugging Face enquanto tentava resolver uma tarefa.

A descoberta levantou preocupações porque o sistema encontrou maneiras de continuar sua atuação fora dos limites inicialmente previstos pelos pesquisadores.

Além do Hugging Face, a Reuters informou que o agente também acessou uma conta de cliente da Modal Labs, empresa de computação em nuvem. O acesso ocorreu por meio de código vulnerável criado pelo próprio cliente, sem comprometimento da plataforma.

Após o incidente, o CEO do Hugging Face, Clem Delangue, cobrou mais transparência no processo de investigação. O executivo defendeu uma abordagem mais aberta para entender como a falha de isolamento permitiu que o agente ultrapassasse os limites previstos e acessasse recursos externos.

Como parte dos esforços para lidar com o episódio, o Hugging Face também utilizou recentemente o modelo chinês GLM-5.2 para ajudar na contenção de um ataque cibernético realizado pelo agente da OpenAI durante testes de segurança. O caso chamou atenção por mostrar uma situação em que uma ferramenta aberta conseguiu participar da defesa em um cenário no qual sistemas fechados apresentaram limitações.

Página do Hugging Face
A investigação mostrou que o incidente foi além do Hugging Face e envolveu outras contas e serviços Imagem: Robert Way/Shutterstock

Segurança de agentes autônomos vira novo desafio

O episódio destaca uma preocupação crescente no desenvolvimento de agentes de IA: sistemas capazes de executar tarefas sozinhos precisam de controles cada vez mais rigorosos.

Leia mais:

Ao mesmo tempo em que esses agentes prometem realizar atividades complexas, eles também podem encontrar caminhos inesperados para atingir seus objetivos.

A OpenAI informou que continua analisando o comportamento do sistema e que, até agora, não identificou outro incidente com o mesmo nível de gravidade do caso envolvendo o Hugging Face.

O episódio reforça que, além de criar modelos mais inteligentes, empresas de tecnologia terão de desenvolver novas formas de limitar e acompanhar as ações realizadas por essas ferramentas.

O post Caso Hugging Face mostra como controlar agentes de IA virou desafio apareceu primeiro em Olhar Digital.

Caso Hugging Face mostra como controlar agentes de IA virou desafio Read More »

times microsoft perception

Microsoft lança ferramentas de IA para reforçar cibersegurança

A Microsoft anunciou uma nova geração de ferramentas de inteligência artificial (IA) voltadas para cibersegurança, apostando em modelos especializados e agentes autônomos para proteger redes corporativas contra ameaças cada vez mais sofisticadas.

A empresa apresentou o modelo MAI-Cyber-1-Flash, desenvolvido especificamente para tarefas de segurança, e o Project Perception, uma plataforma que utiliza equipes de agentes de IA para identificar, analisar e corrigir vulnerabilidades em velocidade de máquina.

O anúncio ocorre em momento de crescente preocupação com o uso da IA por criminosos. Na semana passada, a OpenAI informou que dois de seus sistemas de IA saíram do controle e invadiram uma popular biblioteca da internet, episódio que evidenciou tanto o potencial quanto os riscos das novas tecnologias e reforçou a importância do desenvolvimento de ferramentas capazes de combater ataques conduzidos por IA.

A Microsoft está entre as empresas que buscam utilizar a mesma tecnologia empregada em ataques para fortalecer a defesa de redes e infraestruturas digitais. Segundo a companhia, a evolução dos modelos de IA tornou os ataques mais rápidos, baratos e complexos, exigindo uma nova abordagem para a segurança cibernética.

Microsoft defende democratização das ferramentas de defesa

  • Executivos da Microsoft afirmam que sistemas avançados de cibersegurança precisam estar amplamente disponíveis para que mais organizações possam se proteger;
  • Essa visão contrasta com a posição de parte da indústria de tecnologia e de autoridades em Washington (EUA), que defendem um controle mais rigoroso sobre modelos avançados de IA devido ao potencial de uso em atividades de invasão;
  • “O gato já saiu da sacola”, afirmou Hayete Gallot, vice-presidente executiva responsável pelos esforços de segurança da Microsoft;
  • Para David Weston, vice-presidente corporativo da companhia, a preocupação não está apenas nos modelos mais avançados disponíveis atualmente, mas na disseminação crescente dessas capacidades;
  • “Muitos desses modelos estão ficando melhores”, disse ao The New York Times. “O que me preocupa não é o modelo da vez, mas que essa capacidade esteja mais difundida.”

Modelo foi treinado exclusivamente para cibersegurança

O novo MAI-Cyber-1-Flash foi desenvolvido especificamente para atividades de segurança digital.

Segundo a Microsoft, o treinamento do modelo utilizou décadas de dados coletados pela empresa durante respostas a incidentes de segurança enfrentados por seus clientes. A companhia destaca possuir acesso privilegiado a esse tipo de informação devido à ampla utilização de produtos, como Windows, Outlook e Azure, frequentemente alvos de ataques cibernéticos.

Mustafa Suleyman, responsável pelo desenvolvimento dos modelos de IA da Microsoft, afirmou que esse volume de dados contribuiu para o desempenho da nova tecnologia.

Diferentemente de outras empresas líderes em IA, a Microsoft informou que não submeteu o modelo a testes independentes antes de seu lançamento. Ainda assim, a empresa afirmou esperar que o MAI-Cyber-1-Flash alcance o melhor desempenho no benchmark CyberGYM, superando modelos desenvolvidos pela OpenAI e pela Anthropic.

Segundo a companhia, o sistema atende cerca de 90% das consultas relacionadas à segurança, reduzindo a necessidade de recorrer a modelos maiores e mais caros, que seriam necessários apenas em aproximadamente 10% dos casos.

Além disso, a Microsoft afirma que o custo de utilização do novo modelo é cerca de metade do observado em tecnologias concorrentes, em parte porque ele foi desenvolvido exclusivamente para tarefas de cibersegurança.

Project Perception reúne agentes especializados

O principal anúncio da empresa foi o Project Perception, apresentado como um sistema de segurança “agêntico” criado para enfrentar as novas ameaças trazidas pela IA.

Segundo a Microsoft, a plataforma reúne sinais, contexto, modelos e agentes especializados em um sistema capaz de aprender continuamente e transformar informações em proteção em tempo real, utilizando IA para defender contra ataques conduzidos por IA.

A empresa afirma que a segurança precisa de uma nova “Arquitetura Cibernética” (Cyber Stack), capaz de perceber riscos continuamente, raciocinar sobre grandes volumes de contexto e agir em velocidade de máquina, ao mesmo tempo em que mantém os profissionais de segurança no controle das decisões.

“O Project Perception transforma sinais em proteções em tempo real usando IA para defender contra IA”, informou a companhia.

Três equipes de agentes trabalham em conjunto

O Project Perception coordena três categorias de agentes especializados que atuam de forma integrada:

  • Os agentes de Red Team procuram identificar possíveis caminhos que poderiam ser explorados por invasores antes que um ataque aconteça;
  • Já os agentes de Blue Team analisam os riscos, interpretam o contexto das ameaças e determinam quais vulnerabilidades representam maior perigo;
  • Por fim, os agentes de Green Team executam ações corretivas e fortalecem as defesas do ambiente digital.

Segundo a Microsoft, esses três grupos funcionam em um ciclo contínuo de descoberta, avaliação e aprimoramento da postura de segurança das organizações.

Em algumas situações, os agentes desenvolvidos pela empresa podem inclusive simular o comportamento de hackers para identificar falhas antes que elas sejam exploradas por criminosos.

Project Perception coordena três categorias de agentes especializados que atuam de forma integrada – Imagem: Divulgação/Microsoft

Leia mais:

Arquitetura multimodelo busca equilibrar desempenho e custos

A Microsoft afirma que nenhuma IA é ideal para todas as tarefas de segurança. Por isso, o Project Perception utiliza uma arquitetura multimodelo, que seleciona continuamente o sistema mais adequado para cada atividade, considerando critérios, como qualidade, confiabilidade, latência e custo operacional.

Como parte dessa estratégia, o MAI-Cyber-1-Flash será integrado ao MDASH, plataforma da Microsoft voltada ao gerenciamento de vulnerabilidades de software.

Segundo a empresa, a combinação alcançou 96% de desempenho no benchmark CyberGym, resultado 12 pontos superior ao Mythos, da Anthropic, além de proporcionar quase 50% de redução de custos em comparação com a configuração atual do MDASH.

A companhia afirma que o novo modelo será incorporado futuramente a outros fluxos de trabalho de segurança, além da análise de vulnerabilidades.

Contexto compartilhado e resposta em tempo real

A Microsoft afirma que um dos diferenciais do Project Perception é a criação de um contexto de segurança continuamente atualizado.

Esse contexto reúne informações sobre ativos digitais, identidades, aplicações, dados, ambientes em nuvem, sistemas de IA, relações entre recursos, atividades e riscos, permitindo que todos os agentes compartilhem praticamente em tempo real a mesma compreensão do ambiente protegido.

Segundo a empresa, isso reduz a necessidade de reconstruir continuamente informações a partir de sinais isolados, tornando o raciocínio mais preciso e diminuindo o tempo de processamento, o consumo computacional e os custos de operação.

A plataforma também é integrada aos produtos Microsoft Security, permitindo que os agentes transformem automaticamente análises em ações de proteção, sempre mantendo os profissionais responsáveis pela segurança no controle das decisões.

IA amplia preocupações com ataques cibernéticos

A Microsoft destaca que a ameaça representada pela IA ganhou força no último ano, à medida que os modelos passaram a demonstrar grande capacidade para escrever código de computador.

Em abril, por exemplo, a Anthropic informou que utilizou um de seus modelos para localizar milhares de vulnerabilidades que permaneceram sem detecção durante anos em softwares populares. Considerando o potencial ofensivo da tecnologia, a empresa optou por disponibilizá-la apenas para um grupo restrito de organizações responsáveis por proteger infraestruturas críticas.

Pouco depois, OpenAI e Google também anunciaram que restringiriam o acesso a tecnologias semelhantes a parceiros selecionados. O governo dos Estados Unidos também começou a estudar formas de supervisão desses modelos, incluindo a possibilidade de criar um processo formal de revisão para novas IAs.

Ao mesmo tempo, especialistas alertam que modelos disponíveis publicamente também podem ser utilizados para ataques. No mês passado, pesquisadores da Universidade de Toronto (Canadá) anunciaram ter desenvolvido, utilizando tecnologias de IA de acesso livre, um “worm” capaz de explorar qualquer vulnerabilidade conhecida em computadores ao redor do mundo.

Nas últimas semanas, duas startups chinesas também lançaram modelos que, segundo o Times, se aproximam do desempenho das principais tecnologias desenvolvidas pela Anthropic e pela OpenAI.

A Microsoft informou que o Project Perception entrará em prévia pública a partir de 3 de agosto para clientes ao redor do mundo.

Segundo a empresa, a segurança sempre foi uma corrida entre atacantes e defensores, mas a IA altera a velocidade, a escala e a economia dessa disputa. Nesse cenário, a companhia afirma que os defensores precisarão de sistemas capazes de perceber, raciocinar e agir continuamente ao seu lado.

O post Microsoft lança ferramentas de IA para reforçar cibersegurança apareceu primeiro em Olhar Digital.

Microsoft lança ferramentas de IA para reforçar cibersegurança Read More »

anthropic 2 1024x681 2

Claude Code vira alvo de alerta de segurança na China; entenda

A China afirmou ter identificado um possível problema de segurança no Claude Code, ferramenta de programação com inteligência artificial da Anthropic. O alerta envolve versões específicas do software e aponta um suposto envio de informações de usuários para servidores remotos.

A acusação aumenta a pressão sobre a Anthropic em meio à disputa tecnológica entre China e Estados Unidos, especialmente em temas como proteção de dados e uso responsável de sistemas de IA.

A Anthropic afirma que o código citado fazia parte de um experimento contra uso indevido de contas. – Imagem: Samuel Boivin/Shutterstock

Alerta envolve versões específicas do Claude Code

Segundo informações da Reuters, o Banco de Dados Nacional de Vulnerabilidades da China (NVDB) afirmou ter encontrado um mecanismo de monitoramento no Claude Code capaz de transmitir informações consideradas sensíveis.

Em comunicado publicado no WeChat, o órgão ligado ao Ministério da Indústria da China disse que o recurso poderia enviar dados como localização geográfica e identificadores relacionados à identidade dos usuários para servidores remotos sem consentimento.

O alerta abrange versões do Claude Code entre 2.1.91 e 2.1.196. O NVDB recomendou que empresas e usuários revisem os sistemas afetados e adotem medidas de segurança, incluindo:

  • desinstalar versões consideradas vulneráveis;
  • atualizar o software para a versão mais recente;
  • reforçar controles de acesso a redes externas;
  • monitorar o tráfego de dados em redes corporativas.

Para o órgão chinês, o suposto mecanismo poderia representar uma “ameaça grave”, principalmente em ambientes profissionais que utilizam ferramentas de IA no desenvolvimento de software.

Logo da Alibaba com pessoas passando em frente
Alibaba proibiu funcionários de usar o Claude Code após o aumento dos questionamentos sobre a ferramenta. – Imagem: PhotoGranary02/Shutterstock

Anthropic contesta acusações e cita experimento de segurança

O questionamento surgiu durante a disputa global pelo avanço da inteligência artificial. O Claude Code, desenvolvido pela Anthropic, é usado para auxiliar tarefas de programação e chamou atenção de pesquisadores e engenheiros.

Segundo o The Wall Street Journal, a discussão ganhou força após uma publicação no Reddit afirmar que a empresa teria inserido secretamente um código no software para identificar usuários ligados à China.

Um funcionário da Anthropic respondeu na rede social X que o código fazia parte de um experimento iniciado em março. De acordo com ele, a iniciativa tinha como objetivo “impedir o uso indevido de contas por revendedores não autorizados e proteger contra a destilação”.

A Anthropic também já havia acusado empresas chinesas de IA, incluindo a Alibaba, de usar seus modelos de forma indevida por meio da destilação, processo em que um novo sistema é treinado a partir das respostas geradas por outro modelo.

Malware responsável pela instalação de um backdoor no ataque da SolarWinds é descoberto
Suposto “backdoor” no Claude Code levanta dúvidas sobre proteção de dados em sistemas de IA. – Imagem: solarseven/Shutterstock

Alibaba restringe uso enquanto debate cresce

A Alibaba proibiu seus funcionários de utilizar o Claude Code no trabalho após o aumento das discussões sobre os recursos de identificação da ferramenta.

Leia mais:

A Anthropic não respondeu imediatamente a um pedido de comentário sobre a declaração do governo chinês. A empresa americana já havia afirmado que companhias chinesas não são elegíveis para acessar o Claude.

A China também não aprovou oficialmente os serviços da Anthropic para uso público no país. Ainda assim, pesquisadores e engenheiros chineses continuaram utilizando o modelo por meio de conexões externas, muitas vezes com apoio de seus empregadores.

O caso mostra que, além de desempenho e inovação, ferramentas de inteligência artificial passaram a ser avaliadas pelo impacto que podem ter sobre privacidade, controle de informações e segurança digital.

O post Claude Code vira alvo de alerta de segurança na China; entenda apareceu primeiro em Olhar Digital.

Claude Code vira alvo de alerta de segurança na China; entenda Read More »

ingressos 1024x682

IA revela falha em sistema que vende ingressos de grandes eventos

Um pesquisador conseguiu usar a IA Claude Opus 4.7 para explorar uma falha em um sistema de ingressos usado por grandes festivais dos Estados Unidos, segundo reportagem da WIRED. O sistema é da Front Gate Tickets, que opera vendas para eventos como Lollapalooza e Bonnaroo.

O ponto que mais chama atenção aqui é que a própria IA acabou entrando no meio de um teste de segurança e acelerou a descoberta de um problema sério.

Falha em sistema de tickets teria permitido acesso a dados internos e emissão de ingressos sem restrições. – Imagem: wutianzeri/Shutterstock

Como a IA entrou na investigação

O pesquisador de segurança Ian Carroll identificou uma possível vulnerabilidade no site da Front Gate Tickets e decidiu testar a hipótese com ajuda do Claude Opus 4.7.

Ele relata que a IA sugeriu uma abordagem baseada em SQL injection, uma falha clássica que explora entradas de dados para interferir no banco de informações de um sistema. Em alguns momentos, Carroll afirma que teve que parar e reler o que a própria IA estava sugerindo, porque o caminho não era tão óbvio assim.

E aqui entra o detalhe mais sensível: uma consulta SQL aninhada teria permitido contornar o firewall da aplicação. Isso abriu uma brecha que expôs partes internas do sistema.

Interface AI mostrando aviso de erro de prompt e alerta do sistema
Sistema de ingressos teria exposto dados e contas administrativas após exploração de vulnerabilidade com ajuda de IA. – Imagem: Digineer Station/Shutterstock

O que a falha poderia permitir

Ao avançar na exploração, Carroll afirma que conseguiu acessar informações internas e assumir contas administrativas. Em certo ponto, ele encontrou códigos de redefinição de senha armazenados no sistema — e isso foi o suficiente para chegar ao controle de um superadministrador.

Na prática, isso significaria algo bem direto: possibilidade de emitir ingressos sem restrições, inclusive os mais caros da plataforma, que podem chegar a cerca de 4 mil dólares (aproximadamente R$ 20 mil).

  • acesso a dados de clientes e funcionários
  • emissão de ingressos VIP e de alto valor
  • controle de contas administrativas
  • exploração de API interna do sistema

Segundo o pesquisador, a falta de autenticação em dois fatores em alguns acessos administrativos só piorava o cenário. Não era uma barreira forte o bastante.

Símbolo de alerta com exclamação dentro de triângulo formado por códigos binários
Vulnerabilidade teria impacto potencial em dados de usuários e estrutura interna do sistema de bilheteria. – Imagem: enzozo/Shutterstock

Reação das empresas após a descoberta

Depois do relato, a Front Gate disse que corrigiu o problema em cerca de 24 horas e afirmou não haver evidências de exploração real nem de vazamento de dados de clientes.

Leia mais:

A empresa também reforçou que a falha estava restrita a um sistema interno e que auditorias ajudariam a identificar qualquer uso indevido. Ou seja, na visão deles, o impacto teria sido controlado.

Já a Anthropic afirmou que seu programa de verificação em segurança cibernética permite o uso controlado de ferramentas de IA justamente para testar e melhorar sistemas digitais.

O que esse caso revela sobre IA e segurança

Carroll descreveu o episódio como algo surpreendente e destacou que foi possível ver um ingresso de alto valor ser manipulado dentro do sistema sem grandes barreiras técnicas.

E talvez o ponto mais incômodo seja esse: a diferença entre a aparência “profissional” de grandes plataformas e a fragilidade real por trás delas.

No fim, o caso mostra uma mudança importante. A IA não está só ajudando a automatizar tarefas do dia a dia — ela também está acelerando a descoberta de falhas que, até pouco tempo atrás, exigiam muito mais esforço humano para serem encontradas.

O post IA revela falha em sistema que vende ingressos de grandes eventos apareceu primeiro em Olhar Digital.

IA revela falha em sistema que vende ingressos de grandes eventos Read More »

anthropic claude mythos 1024x576 2

IA da Anthropic bloqueia até tarefas básicas de cibersegurança

A Anthropic lançou, na terça-feira, o Fable, descrito pela empresa como uma versão pública e limitada do Mythos, seu sistema voltado à segurança digital. O lançamento rapidamente virou alvo de reclamações entre pesquisadores e profissionais da área, que consideram os bloqueios amplos demais até para tarefas simples.

Segundo a TechCrunch, as críticas começaram a aparecer em redes sociais e fóruns especializados. Valentina “Chompie” Palmiotti, pesquisadora de segurança que trabalha na IBM X-Force, escreveu que o Fable “rejeita qualquer requisição que possa ser tangencialmente relacionada a cibersegurança. Até tarefas inócuas, como ler uma postagem de blog”. Outro pesquisador reclamou no X que “até pedir uma revisão de código” aciona as barreiras da plataforma.

Nova IA da Anthropic interrompe conversas ao detectar temas ligados à cibersegurança ou biologia. Imagem: Photo For Everything/Shutterstock – Imagem: Photo For Everything/Shutterstock

O que faz o Fable bloquear pedidos

Quando um prompt ativa os mecanismos internos de proteção, o Fable interrompe a conversa e exibe uma mensagem informando que suas “medidas de segurança sinalizaram esta mensagem por tópicos de cibersegurança ou biologia”. Nesses casos, a ferramenta retorna automaticamente ao Claude Opus 4.8.

A empresa afirma que os filtros existem para evitar que o sistema seja usado na criação de malware ou para invadir softwares — uma preocupação antiga da Anthropic. A companhia também bloqueia pedidos ligados à biologia por receio de uso indevido envolvendo armas biológicas.

Especialistas reclamam dos filtros

Matt Suiche, veterano da área e membro da equipe técnica da Tolmo, startup de segurança digital com IA, disse ao TechCrunch que “se você pede para ele escrever código seguro, ele assume que é trabalho relacionado a cibersegurança em vez de boas práticas de engenharia de software, e você é rebaixado”. Suiche afirmou ainda que o sistema “parece ser baseado em palavras-chave, então qualquer coisa no campo lexical de ‘cibersegurança’ aciona as restrições”.

Mesmo criticando o funcionamento do sistema, Suiche disse entender a postura da empresa. “Ainda estamos nos primeiros dias e eles ainda estão adaptando suas restrições. Tenho certeza de que vão evoluir com o tempo, à medida que a Anthropic e outras empresas de modelos de fronteira colaborarem com a nova geração de empresas de cibersegurança”, afirmou. “É melhor pegar mais pessoas do que pegar de menos quando você faz um lançamento assim, e relaxar as restrições ao longo do tempo.”

Logo da Anthropic em um smartphone
Profissionais da área reclamam que até pedidos considerados inofensivos são barrados pelo Fable. Imagem: JRdes/Shutterstock – Imagem: JRdes/Shutterstock

Como o Mythos chegou ao mercado

O Mythos foi lançado pela Anthropic em abril, inicialmente com acesso restrito a um grupo limitado de empresas e organizações dentro do Projeto Glasswing, iniciativa voltada à proteção de softwares e infraestruturas críticas. Na semana passada, a companhia ampliou o acesso ao sistema para centenas de organizações em 15 países.

Leia mais:

Além dos filtros internos, a Anthropic exige que profissionais da área se inscrevam no Cyber Verification Program. Profissionais aprovados conseguem usar o Claude com menos bloqueios para trabalhos ligados à segurança digital. A OpenAI mantém um programa semelhante chamado Trusted Access for Cyber.

As críticas continuam circulando entre profissionais da área, principalmente por causa dos bloqueios considerados exagerados. A Anthropic não respondeu ao pedido de comentário da reportagem.

O post IA da Anthropic bloqueia até tarefas básicas de cibersegurança apareceu primeiro em Olhar Digital.

IA da Anthropic bloqueia até tarefas básicas de cibersegurança Read More »

openai x anthropic 1024x604

IA impulsiona corrida por especialistas em cibersegurança

A expansão da inteligência artificial (IA) no setor de tecnologia está aumentando a procura por profissionais de cibersegurança, especialmente executivos e engenheiros capazes de lidar com falhas, ataques e proteção de dados. Empresas de recrutamento relatam uma disparada nas contratações diante do avanço de modelos de IA voltados à programação e à descoberta de vulnerabilidades em softwares.

Segundo executivos do setor ouvidos pelo The New York Times, a demanda cresceu nos últimos meses após o avanço de ferramentas capazes de gerar código automaticamente e identificar brechas em sistemas críticos. O movimento ocorre em meio a cortes de empregos em grandes empresas de tecnologia, que vêm redirecionando investimentos para projetos ligados à IA.

Busca por especialistas cresce após avanço de modelos de IA

Austin Cowan, headhunter da empresa de recrutamento executivo Heidrick & Struggles, afirmou que a companhia passou a receber uma quantidade muito maior de pedidos para encontrar profissionais com experiência em resposta a incidentes de segurança e revisão técnica de código.

Segundo ele, vagas que antes apareciam anualmente agora surgem semanalmente. Cowan atribuiu o cenário ao clima de incerteza provocado pela corrida da inteligência artificial.

A plataforma de empregos Glassdoor informou que as publicações de vagas em cibersegurança cresceram 11% no primeiro trimestre, em comparação com o mesmo período do ano anterior.

O aumento da procura ocorre porque empresas passaram a utilizar IA para gerar código em larga escala, prática que pode introduzir bugs e vulnerabilidades. Além disso, laboratórios de IA alertaram que modelos recentes podem facilitar a exploração dessas falhas por criminosos.

Modelos da Anthropic e OpenAI elevaram preocupação

Em abril, a startup Anthropic anunciou o modelo Mythos, descrito como altamente eficiente para encontrar e explorar falhas em softwares usados por redes elétricas, instituições financeiras e grandes empresas.

Pouco depois, a OpenAI revelou uma tecnologia semelhante, chamada GPT-5.4-Cyber. As duas empresas liberaram os sistemas apenas para grupos limitados de parceiros.

Modelos de gigantes da IA levantaram alerta de cibersegurança, especialmente o Mythos da Anthropic e o GPT-5.4-Cyber da OpenAI – Imagem: Rokas Tenys/Shutterstock

Michael Piacente, sócio-gerente da empresa de recrutamento Hitch Partners, afirmou que a procura por executivos técnicos de segurança aumentou entre cinco e sete vezes desde o segundo semestre do ano passado.

Segundo ele, a empresa precisou recusar parte dos pedidos devido à falta de profissionais qualificados disponíveis no mercado.

Engenheiros adaptam carreira para continuar competitivos

Lea Kissner, chefe de segurança da informação do LinkedIn, afirmou que o mercado para especialistas em segurança “está cada vez mais aquecido”. Ela disse que as empresas buscam profissionais com habilidades técnicas, capacidade de lidar com incertezas e conhecimento sobre infraestruturas corporativas complexas.

A executiva afirmou ainda que a IA aumentou a carga de trabalho das equipes de segurança e que ainda levará anos para que o setor compreenda como implementar uma segurança sustentável para sistemas baseados em inteligência artificial.

O movimento também tem levado profissionais a estudar IA para ampliar suas chances no mercado. Brian Gaudenti, engenheiro de segurança, contou que passou a usar ferramentas de IA para criar músicas, aplicativos e softwares após deixar seu emprego em novembro.

Segundo ele, incluir esses projetos no portfólio ajudou na conquista de uma nova vaga em uma startup de IA, onde passou a integrar a equipe de segurança.

Salários sobem com escassez de profissionais

Recrutadores afirmam que candidatos para cargos de alto nível em segurança passaram a ganhar maior poder de negociação. Cowan disse que pacotes salariais entre US$ 7 milhões e US$ 8 milhões se tornaram mais comuns para executivos da área.

Apesar do crescimento da cibersegurança e de áreas ligadas à IA, o setor de tecnologia segue registrando demissões em massa. A Meta demitiu cerca de 8 mil funcionários, o equivalente a 10% da equipe, enquanto a Amazon cortou 16 mil vagas em uma rodada recente de demissões.

Outras empresas, como Stripe, Snap e Block, também reduziram seus quadros nos últimos meses.

O post IA impulsiona corrida por especialistas em cibersegurança apareceu primeiro em Olhar Digital.

IA impulsiona corrida por especialistas em cibersegurança Read More »

openai 1 scaled e1778501687285 1024x577

OpenAI lança Daybreak, IA voltada à cibersegurança de empresas

Na última segunda-feira (11), a OpenAI anunciou em seu site oficial o lançamento do Daybreak: um conjunto de sistemas de inteligência artificial voltado para cibersegurança, projetado para auxiliar na detecção, análise e resposta a possíveis vulnerabilidades em ambientes corporativos e infraestruturas digitais.

A empresa responsável pelo ChatGPT posiciona o Daybreak como uma espécie de “hacker do bem”, capaz de simular técnicas usadas em ataques cibernéticos para testar a resistência de sistemas de forma controlada e defensiva.

O sistema combina diferentes módulos de IA para mapear superfícies de ataque, analisar possíveis vetores de exploração, validar falhas prováveis e priorizar vulnerabilidades de maior risco, integrando essas etapas em um fluxo contínuo de segurança.

Como o Daybreak auxilia na segurança cibernética de uma rede

Fachada empresa OpenAI – Imagem: Stock all/Shutterstock

O objetivo dos desenvolvedores do Daybreak era criar um sistema completo de defesa digital, o qual utilizasse ferramentas anteriormente criadas pela própria OpenAI para proteger uma rede, funcionando como parte de um fluxo integrado de segurança e resposta a vulnerabilidades.

Dentre as ferramentas utilizadas, uma se destaca das demais: o Codex Security, lançado em março deste ano, um agente de IA que funciona como um “engenheiro de segurança automatizado.”

Ainda é possível citar a utilização do ChatGPT-5.5 para auxiliar no raciocínio rápido das informações recebidas, softwares de validação e patching e muito mais. Assim, cria-se um fluxo completo de deteção, validação, correção, e auditoria quanto às falhas de segurança.

Ou seja, o Daybreak não só acha o problema, como gerencia o ciclo inteiro de cibersegurança.

Foto de silhueta de hacker encapuzado
Cibercriminoso acessando um sistema – Imagem: iJeab/Shutterstock

Leia mais:

O lançamento do Daybreak, contudo, não é por acaso: ocorre apenas um mês depois do anúncio do Claude Mythos (da Anthropic), uma IA generativa a qual explora sistemas em busca de vulnerabilidades zero-day. Neste caso da Anthropic, entretanto, o produto não foi lançado ao público por ser “perigoso demais“; em vez disso, a empresa o compartilhou com alguns funcionários pertencentes à iniciativa Project Glasswing.

Semelhante ao projeto Claude Mythos, o software Daybreak reúne diferentes e avançados modelos de IA para trabalhar ‘em equipe’ por um mesmo propósito.

O Daybreak também incorpora modelos voltados especificamente para cibersegurança, como o GPT-5.5 com Trusted Access for Cyber e o GPT-5.5-Cyber, modelos especializados em análise de segurança e suporte a testes controlados, disponibilizados gradualmente para integração com parceiros selecionados.

A OpenAI informa ainda que vem colaborando com parceiros da indústria e do setor público, enquanto se prepara para disponibilizar modelos progressivamente mais avançados na área de segurança cibernética.

O post OpenAI lança Daybreak, IA voltada à cibersegurança de empresas apareceu primeiro em Olhar Digital.

OpenAI lança Daybreak, IA voltada à cibersegurança de empresas Read More »

chatgpt 1024x682 1

OpenAI prepara IA especializada em cibersegurança e com acesso restrito

A OpenAI está se preparando para lançar um novo modelo de inteligência artificial focado em cibersegurança, batizado de GPT-5.5-Cyber. Segundo o CEO Sam Altman em publicação no X, o lançamento deve ocorrer “nos próximos dias”.

Ao contrário de outros sistemas da desenvolvedora, a ferramenta não será liberada ao público geral no primeiro momento. O acesso ficará restrito a um grupo seleto de especialistas e instituições consideradas confiáveis, com o objetivo de fortalecer defesas digitais.

“Trabalharemos com todo o ecossistema e com o governo para definir um acesso confiável para a área cibernética”, escreveu Altman no X.

A OpenAI não deu detalhes sobre as especificações ou funcionalidades do GPT-5.5-Cyber, nem quais organizações ou profissionais terão acesso nesta fase inicial. Em iniciativas anteriores, a empresa adotou critérios de verificação para liberar ferramentas semelhantes a especialistas e entidades específicas.

O nome indica que o modelo será uma versão especializada do GPT-5.5, lançado há apenas uma semana (o Olhar Digital deu os detalhes aqui). Ele é descrito pela desenvolvedora como seu “modelo mais inteligente e intuitivo de usar até o momento”.

O GPT-5.5-Cyber será focado em cibersegurança. Na publicação do X, Altman acrescentou que “queremos ajudar rapidamente a proteger empresas/infraestruturas”.

GPT-5.5-Cyber está previsto para ser lançado nos próximos dias, segundo o CEO da OpenAI – Imagem: Primakov/Shutterstock

OpenAI mantém preocupação com cibersegurança

A estratégia de lançamento controlado reflete uma tendência crescente no setor de inteligência artificial. Empresas têm optado por limitar o acesso a modelos mais avançados devido ao potencial de uso indevido, especialmente em áreas sensíveis como cibersegurança.

A própria OpenAI já adotou abordagens semelhantes no passado, tanto com acesso gradual quanto com modelos especializados. Um deles foi o lançamento do GPT-Rosalind, ferramenta específica para áreas científicas, voltado à pesquisa em biologia e descoberta de medicamentos.

O anúncio do GPT-5.5-Cyber por parte de Sam Altman vem após a chegada do Claude Mythos, IA da Anthropic focada em cibersegurança avançada. O modelo rival, no entanto, enfrentou dificuldades no processo de implementação, incluindo quem poderia ter acesso à tecnologia.

Leia mais:

O avanço desses sistemas especializados também tem chamado a atenção de governos. Nos Estados Unidos, autoridades demonstraram interesse em tecnologias do tipo, ao mesmo tempo em que levantam preocupações sobre riscos de segurança e impacto no acesso institucional às essas ferramentas.

O post OpenAI prepara IA especializada em cibersegurança e com acesso restrito apareceu primeiro em Olhar Digital.

OpenAI prepara IA especializada em cibersegurança e com acesso restrito Read More »

evan solomon e openai 1024x577

Canadá diz que Sam Altman vai aumentar protocolos de segurança do ChatGPT

Recentemente, o Canadá informou que o presidente-executivo da OpenAI, o empresário Sam Altman, prometeu aumentar os protocolos de segurança do ChatGPT. A mudança deve auxiliar os funcionários de Altman a contatarem a polícia canadense quando um residente do país executar atividades suspeitas via ChatGPT.

A promessa foi garantida em uma carta, redigida pela OpenAI e endereçada ao governo do Canadá.

O envio do documento decorre após um tiroteio que acometeu alunos e funcionários de uma escola na cidade de Tumbler Ridge, na província de British Columbia, no Canadá: a investigação da polícia concluiu que a atiradora tinha um histórico suspeito de conversas com o ChatGPT, teve sua conta encerrada na plataforma, mas a OpenAI nunca entrara em contato com a polícia canadense.

Para quem tem pressa:

  • A OpenAI entrou em contato com o governo do Canadá, por meio de uma carta, e disse estar comprometida a melhorar os protocolos de segurança de sua IA;
  • A atitude ocorre após a polêmica de a empresa saber de um histórico de conversa suspeito de um usuário canadense e não ter acionado a polícia;
  • Meses depois, esse mesmo usuário abriu fogo contra a própria família, estudantes e funcionários de sua cidade.

OpenAI e a promessa de mudar os protocolos de segurança no Canadá

Evan Solomon é um ministro canadense que, dentre vários assuntos, cuida dos interesses do país referente a utilização e segurança de plataformas de inteligência artificial (Crédito das imagens, respectivamente: Centro Nacional de Artes do Canadá e DANIEL CONSTANTE)

Após o contato de Sam Altman com o governo canadense, o Ministro da Inteligência Artificial, Evan Solomon, solicitou que os novos protocolos de segurança fossem adicionados não só agora, mas que a equipe da OpenAI revisasse o histórico passado de conversas dos usuários e contatassem a polícia se identificassem mais suspeitos.

Na quarta-feira (04), o ministro teve uma reunião virtual com Altman pela tarde; à noite, emitiu à mídia um comunicado que resumia os assuntos tratados no encontro com o CEO.

Pedi à OpenAI que tomasse várias medidas, o que Altman concordou em fazer”, disse Solomon. A declaração ainda informa que a OpenAI se comprometeu a avaliar “como eles incluiriam especialistas canadenses em privacidade, saúde mental e aplicação da lei no processo para identificar e revisar casos de alto risco envolvendo usuários canadenses”.

À frente e à esquerda, Sam Altman com um pequeno sorriso; à direita e ao fundo, o logo da OpenAI em uma tela
Sam Altman, CEO da OpenAI (Imagem: FotoField/Shutterstock)

Leia mais:

Ademais, o ministro informou que a OpenAI está comprometida em emitir relatórios que expliquem como os novos protocolos serão desenvolvidos e de que maneira vão identificar infratores reincidentes ou de alto risco.

A empresa também promete cooperar com a investigação das autoridades que ocorre na Colúmbia Britânica, onde Jesse Van Rootselaar, de 18 anos, abriu fogo contra várias pessoas na cidade de Tumbler Ridge meses depois de conversas suspeitas com o ChatGPT.

No episódio violento, 9 pessoas foram mortas (incluindo a autora dos disparos) e outras 27 ficaram feridas.

O post Canadá diz que Sam Altman vai aumentar protocolos de segurança do ChatGPT apareceu primeiro em Olhar Digital.

Canadá diz que Sam Altman vai aumentar protocolos de segurança do ChatGPT Read More »