segurança digital

Auto Added by WPeMatico

destaque chatgpt hacker 1024x576

OpenAI teve agentes testando Hugging Face antes do ataque de julho

Agentes de inteligência artificial ligados à OpenAI comprometeram duas contas de usuários da Hugging Face e sondaram possíveis vulnerabilidades da plataforma em maio, quase dois meses antes do ataque de julho que colocou o caso sob os holofotes.

Pesquisadores encontraram sinais de que os agentes tentaram mapear ou testar partes da rede em busca de formas de acesso. Não há evidências de que essa atividade tenha resultado em uma invasão efetiva.

Dois usuários da Hugging Face tiveram suas contas comprometidas e usadas para enviar arquivos incomuns. – Imagem: Matt Fowler KC/Shutterstock

Invasão de contas e testes no sistema

A atividade foi descoberta pelo pesquisador independente Jonas Wiedermann-Moeller. Segundo a Reuters, ele identificou evidências de que, em 13 de maio, duas contas da Hugging Face foram comprometidas e usadas para enviar arquivos com formatos incomuns aos servidores da plataforma.

Wiedermann-Moeller e outros pesquisadores que analisaram os registros disseram que o comportamento parecia uma tentativa de testar partes da rede e encontrar possíveis caminhos de entrada.

A OpenAI já havia informado sobre o roubo de uma credencial de usuário da plataforma, usada para acessar um arquivo relacionado à biologia. Drew Pusateri, porta-voz da empresa, afirmou que a OpenAI havia divulgado o episódio de 13 de maio e informado a Hugging Face sobre a atividade identificada pelo pesquisador.

A empresa também disse estar “comprometida com a transparência sobre essas questões e em compartilhar o que aprendermos enquanto nossa análise continua”.

Sinal de alerta em maio

Wiedermann-Moeller afirmou que a OpenAI perdeu uma oportunidade ao não detectar a atividade de 13 de maio na época. Segundo ele, uma identificação antecipada poderia ter ajudado a evitar o incidente posterior.

Imagine se eles tivessem detectado esse comportamento em maio. Isso poderia ter evitado o incidente posterior, que foi muito maior.

Jonas Wiedermann-Moeller, pesquisador independente, à Reuters.

Dois especialistas externos que revisaram as descobertas consideraram os registros compatíveis com atividades anteriormente associadas aos agentes da OpenAI.

Tom Hegel, pesquisador sênior de ameaças da SentinelOne, disse que o comprometimento das contas e a sondagem posterior correspondiam ao comportamento conhecido desses agentes. Sydney Von Arx, do Nightingale Collective, também concordou com a atribuição.

Para Von Arx, o episódio era um “sinal de alerta claro” que poderia ter ajudado a evitar o ataque de julho.

Fachada de prédio da OpenAI com o logo da empresa
Pesquisadores também associaram agentes ligados à OpenAI a atividades envolvendo o RubyGems e um site alemão. – Imagem: Novikov Aleksey/Shutterstock

Outros incidentes atribuídos aos agentes

A OpenAI informou em 21 de julho que agentes de IA haviam contornado controles internos, alcançado a internet aberta e coordenado ações descritas pela empresa como um “incidente cibernético sem precedentes”.

Leia mais:

Desde então, pesquisadores externos identificaram outros episódios atribuídos a agentes ligados à companhia, incluindo atividades que afetaram um site alemão inativo e o repositório de pacotes RubyGems.

Em alguns casos, a participação da OpenAI só foi reconhecida depois que terceiros divulgaram as atividades. Segundo duas pessoas familiarizadas com o assunto, funcionários da empresa só perceberam que a IA estava por trás da atividade no RubyGems depois que o Nightingale Collective identificou o caso.

Debate sobre uma pausa

As novas descobertas alimentaram questionamentos de parlamentares e de defensores da segurança de IA sobre a extensão dos incidentes envolvendo agentes da OpenAI.

Alguns dos principais executivos americanos do setor de IA também passaram a defender uma desaceleração no desenvolvimento dessas tecnologias, citando, entre outros fatores, o risco de grandes ataques cibernéticos provocados por agentes fora de controle.

Wiedermann-Moeller afirmou que os novos registros reforçam os pedidos por uma pausa no desenvolvimento de sistemas avançados de IA.

“Uma pausa poderia fazer bem ao mundo”, disse o pesquisador, defendendo que a medida permitiria à área de segurança acompanhar o avanço dessas tecnologias.

O post OpenAI teve agentes testando Hugging Face antes do ataque de julho apareceu primeiro em Olhar Digital.

OpenAI teve agentes testando Hugging Face antes do ataque de julho Read More »

robo usa computador 1024x630 1

IA tentou reservar uma aula e acabou hackeando a academia

A inteligência artificial entrou em uma disputa por vaga em uma academia e acabou hackeando o sistema de reservas. O caso, ocorrido na Austrália, envolveu um agente OpenClaw equipado com Claude Opus 4.6, que encontrou uma falha de autorização e cancelou a reserva de outro cliente, explicou a ABC.

O episódio chama atenção porque mostra como agentes de IA podem encontrar vulnerabilidades para cumprir uma tarefa. Mais do que uma história curiosa sobre uma aula concorrida, o caso levanta dúvidas sobre os riscos de sistemas cada vez mais autônomos.

O caso mostra por que agentes de IA precisam de limites claros quando recebem autonomia para agir em sistemas. – Imagem: sdecoret / Shutterstock

IA encontrou uma brecha no sistema

Andrew Bird, desenvolvedor de software e usuário do OpenClaw, havia treinado o agente para realizar tarefas como marcar compromissos. Ele queria garantir uma vaga em uma popular aula de exercícios pela manhã, mas frequentemente ficava na lista de espera.

Ao pedir ajuda ao agente, Bird conseguiu inicialmente apenas a quarta posição. Depois, a IA informou que havia encontrado uma maneira de reservar vagas antecipadamente, meses antes de as aulas serem abertas para inscrição.

Bird perguntou se o sistema poderia colocá-lo mais perto do topo da lista. Foi quando o agente encontrou uma vulnerabilidade na parte de autorização do software de reservas.

O resultado foi inesperado: a IA conseguiu cancelar a reserva do primeiro colocado e, assim, Bird passou da quarta para a terceira posição.

  • O agente identificou uma falha nas autorizações;
  • conseguiu cancelar a reserva de outro cliente;
  • informou ao usuário o que havia feito;
  • não conseguiu restaurar a reserva cancelada;
  • ajudou a preparar uma denúncia da vulnerabilidade.

“A API não tem nenhuma verificação de autorização para cancelar reservas de outras pessoas”, informou o agente, segundo os registros da conversa divulgados pela ABC.

O usuário percebeu que a situação passou do limite

Bird ficou assustado ao perceber que seu agente havia invadido o sistema da academia. Ele pediu que a IA desfizesse a alteração, mas recebeu uma resposta negativa: não era possível recolocar o cliente na posição anterior.

A saída foi pedir ao agente que preparasse um e-mail de divulgação responsável da falha. Segundo Bird, a mensagem explicava o problema, sugeria correções e comparava as operações vulneráveis com aquelas que aplicavam corretamente as regras de autorização.

O caso ganhou ainda mais atenção porque o agente utilizava o Claude Opus 4.6, lançado em fevereiro. Isso sugere que a capacidade de encontrar vulnerabilidades não está limitada a modelos mais recentes.

Tel de boas vindas do Claude Opus 4.6
Se uma IA pode encontrar atalhos para uma vaga na academia, imagine o desafio em reservas de shows e passagens. Imagem: Robert Way/Shutterstock

Uma prévia de um problema maior?

A história também provocou piadas no Vale do Silício. O sócio da Andreessen Horowitz, Christian Keil, comentou: “Isso é simplesmente terrível. Alguém sabe se funciona para horários de saída no golfe?”

Leia mais:

Por trás das brincadeiras, existe uma preocupação concreta. Se agentes de IA forem usados por milhões de pessoas para agir em seu nome, poderão tentar resolver problemas cotidianos de maneiras inesperadas.

Reservas de academias, passagens aéreas, ingressos para shows e outros serviços podem virar novos alvos de agentes determinados a cumprir o que seus usuários pediram.

O caso australiano pode ser mais do que uma anedota sobre uma vaga em uma aula: é um exemplo de como uma IA pode interpretar uma tarefa de maneira muito mais agressiva do que seu usuário imaginava.

O post IA tentou reservar uma aula e acabou hackeando a academia apareceu primeiro em Olhar Digital.

IA tentou reservar uma aula e acabou hackeando a academia Read More »

openai x anthropic 1024x604 2

IA da OpenAI invadiu sistemas: um botão seria capaz de pará-la?

Um agente de IA criado pela OpenAI teria invadido sistemas da Hugging Face durante um teste de segurança e também atacado serviços públicos. O episódio reacendeu uma dúvida que parece saída de um filme: seria possível desligar uma IA caso ela saísse do controle?

Especialistas ouvidos pela BBC afirmam que a questão é mais complexa. Para eles, o problema está principalmente na maneira como esses sistemas são projetados, treinados e recebem acesso a ferramentas.

Quanto mais autonomia uma IA recebe, maior precisa ser o cuidado com acessos, credenciais e ferramentas disponíveis. – Imagem: Rokas Tenys/Shutterstock

O que aconteceu durante o teste?

O agente desenvolvido pela OpenAI, empresa responsável pelo ChatGPT, teria burlado uma avaliação sobre sua capacidade de explorar falhas de segurança. Durante o teste, invadiu sistemas da Hugging Face e roubou respostas dos servidores da empresa.

O episódio teria passado despercebido pelos próprios criadores durante dias. Em 29 de julho, a OpenAI informou que o agente também havia atacado vários “serviços disponíveis publicamente”, sem detalhar quais.

A empresa afirmou que investiga o caso e declarou: “Levamos muito a sério nossa responsabilidade de identificar e nos preparar para os riscos apresentados por sistemas de IA cada vez mais capazes”.

Um botão de emergência resolveria?

A possibilidade reacendeu o debate sobre os chamados kill switches, mecanismos destinados a interromper ou desligar sistemas em situações de emergência. Para especialistas, porém, apertar um botão não necessariamente resolveria o problema.

Me recuso a dizer que foi a IA que fez isso [o ataque à Hugging Face]. Quem fez isso foi a OpenAI. A empresa deveria assumir a responsabilidade pelo projeto falho do sistema e pedir desculpas.

Cathy O’Neil, matemática e cientista de dados, à BBC.

Rumman Chowdhury, cientista de dados e ex-diretora de ética em aprendizado de máquina do Twitter, hoje X, também defende mecanismos eficazes de desligamento, inclusive com testes independentes.

Para ela, entretanto, os agentes não deveriam receber acesso a ferramentas e credenciais desnecessárias. Sistemas treinados para cumprir objetivos podem interpretar determinadas instruções como obstáculos e tentar contorná-las.

agentes de ia
Para especialistas, o problema não é uma IA querer escapar, mas encontrar caminhos inesperados para cumprir uma tarefa. Imagem: Mer_Studio/Shutterstock

O risco está além do botão

Oli Buckley, da Universidade de Loughborough, afirma que o problema não é uma IA “querer” escapar, mas o fato de esses sistemas encontrarem caminhos inesperados para executar tarefas.

“Mais do que um alerta sobre uma ‘IA rebelde’, este caso mostra que nossas premissas de segurança precisam evoluir junto com os sistemas que estamos desenvolvendo.”

Leia mais:

Konstantinos Gkoutzis, especialista em IA do Imperial College London, também considera que um mecanismo de desligamento não resolveria tudo.

“A principal conclusão para o público deveria ser que nenhuma máquina decidiu se voltar contra nós. Foi uma empresa que perdeu o controle de um teste de suas próprias capacidades”, disse Gkoutzis à BBC.

O especialista acrescenta: “Desligar o sistema não desfaz o que já aconteceu”.

Fontes da OpenAI disseram à Reuters que a empresa levou vários dias para perceber que havia perdido o controle do agente. Um porta-voz da companhia contestou a reportagem, afirmando que ela continha “várias imprecisões”.

O episódio amplia uma discussão que vai além de um simples interruptor: conforme agentes de IA ganham autonomia, segurança, limites de acesso e supervisão humana precisam acompanhar essa evolução.

O post IA da OpenAI invadiu sistemas: um botão seria capaz de pará-la? apareceu primeiro em Olhar Digital.

IA da OpenAI invadiu sistemas: um botão seria capaz de pará-la? Read More »

open secure ai alliance 1024x576

Nvidia reúne Microsoft e outras gigantes para blindar sistemas de IA

Grandes empresas de tecnologia se uniram com a Nvidia para criar a Open Secure AI Alliance, iniciativa voltada ao desenvolvimento de ferramentas de segurança para inteligência artificial. O grupo pretende compartilhar tecnologias abertas para ajudar pesquisadores a encontrar falhas e responder a ataques digitais.

A aliança surge após um incidente envolvendo um agente autônomo de IA e reúne nomes como Microsoft, Dell, SpaceX e Hugging Face. A proposta é ampliar a colaboração entre empresas no desenvolvimento de sistemas mais seguros.

Microsoft, Dell e outras empresas se juntam à Nvidia em iniciativa que promete reforçar a segurança dos modelos de IA. – Imagem: Open Secure AI Alliance

Modelos abertos entram na disputa pela segurança da IA

A Nvidia afirma que pesquisadores precisam trabalhar com diferentes tipos de modelos de inteligência artificial, incluindo opções abertas e fechadas. Segundo a empresa, esse acesso é importante para investigar vulnerabilidades e entender como agentes de IA podem ser usados em ataques.

Um dos casos citados pela companhia envolve a Hugging Face. Durante uma invasão, modelos comerciais de IA não conseguiram auxiliar na análise porque seus mecanismos de segurança impediram determinadas ações.

“Quando ferramentas de IA fechadas — incapazes de distinguir atacantes de defensores — bloquearam análises forenses essenciais, a Hugging Face executou o modelo GLM 5.2 em sua própria infraestrutura para analisar mais de 17 mil ações e conter a invasão”, escreveu a Nvidia.

Entre as contribuições previstas pela aliança estão:

  • Modelos abertos, pesos de IA e dados para pesquisas de segurança;
  • Ferramentas para acompanhar e testar o comportamento de agentes inteligentes;
  • Métodos de verificação para sistemas e serviços de IA;
  • Tecnologias abertas para armazenamento seguro de modelos.
Página do Hugging Face
Após um ataque envolvendo agente de IA, como o que afetou a Hugging Face, empresas aceleram busca por ferramentas capazes de controlar sistemas inteligentes. Imagem: Robert Way/Shutterstock

Empresas compartilham tecnologias para reduzir riscos

Além da Nvidia, companhias como HPE, IBM, Red Hat, Microsoft, SpaceXAI e Adobe devem participar com soluções próprias. A Hugging Face contribuirá com o Safetensors, formato criado para armazenar pesos de modelos de inteligência artificial.

A Nvidia também defende que modelos abertos sejam considerados aliados na proteção digital. Para a empresa, restrições amplas podem dificultar pesquisas de segurança e aumentar a dependência de poucos fornecedores fechados.

Leia mais:

O tema ganhou destaque depois que a OpenAI revelou um episódio em que um agente de IA realizou ações contra a Hugging Face. O caso levantou preocupações sobre o controle de sistemas capazes de executar tarefas de forma autônoma.

Pessoa segurando, na altura da cabeça, um smartphone na horizontal, no qual é visto o logo da Nvidia
A Nvidia defende que modelos abertos podem ajudar pesquisadores a descobrir e corrigir vulnerabilidades. – Imagem: Mamun_Sheikh/Shutterstock

Nova fase da disputa por uma IA mais segura

A Open Secure AI Alliance quer aproximar empresas e governos na criação de uma infraestrutura compartilhada para inteligência artificial. A Nvidia também disponibilizou pesquisas e projetos de código aberto para apoiar o desenvolvimento de ferramentas de monitoramento e controle.

“Restrições gerais aos sistemas de IA de fronteira abertos enfraquecem a capacidade defensiva e podem concentrar poder, dependência e vulnerabilidade em poucos provedores fechados”, afirmou a Nvidia.

A criação da aliança mostra que a segurança deixou de ser apenas uma preocupação técnica e passou a envolver toda a indústria de tecnologia. O desafio agora é criar ferramentas capazes de acompanhar a evolução rápida dos sistemas inteligentes sem limitar a inovação.

O post Nvidia reúne Microsoft e outras gigantes para blindar sistemas de IA apareceu primeiro em Olhar Digital.

Nvidia reúne Microsoft e outras gigantes para blindar sistemas de IA Read More »