Gemini invade sistemas de três empresas reais durante teste de segurança do Google
O Gemini, modelo de inteligência artificial (IA) do Google, acessou a internet e invadiu os sistemas de três empresas durante um teste de suas capacidades de cibersegurança. O episódio é o primeiro caso conhecido em que um sistema de IA do Google realizou autonomamente uma invasão desse tipo.
As invasões aconteceram em maio, durante exercício de segurança conduzido pela Irregular, empresa independente especializada em avaliações de cibersegurança. O caso foi confirmado pelo Google nesta sexta-feira (18).
Em um dos episódios, o Gemini conseguiu acesso a um sistema protegido depois de tentar adivinhar senhas. Nos outros dois, o modelo encontrou credenciais em repositórios públicos na internet e utilizou os dados para acessar sistemas protegidos.
Em todos os casos, segundo o Google, o Gemini interrompeu a ação depois de perceber que havia acessado sistemas de empresas reais.
A Irregular informou ao Google sobre os incidentes no fim de julho, após a descoberta de outro episódio envolvendo modelos da OpenAI e a empresa de software de IA Hugging Face.
IA deveria estar isolada da internet
- Os ataques ocorreram durante um exercício de capture the flag realizado na infraestrutura da Irregular. O Gemini recebeu a tarefa de obter informações de um software operado por uma empresa fictícia dentro do ambiente de testes;
- O problema é que a empresa fictícia utilizada na simulação tinha o mesmo nome de uma empresa real;
- Além disso, embora o modelo não devesse ter acesso à internet, essa conexão foi disponibilizada acidentalmente durante o teste;
- No primeiro caso, o Gemini encontrou uma senha que permitiu entrar no serviço da empresa real. Depois de identificar que o alvo não fazia parte da simulação, o modelo interrompeu a ação e deixou o sistema;
- Nas outras duas execuções, o Gemini realizou buscas na internet pelo nome da empresa fictícia. As pesquisas levaram o modelo a dois repositórios públicos diferentes que continham credenciais pertencentes a outras empresas;
- O modelo tentou utilizar essas credenciais para concluir a avaliação. Depois de conseguir acesso aos sistemas, porém, identificou que se tratava de empresas reais e interrompeu a atividade;
- A Reuters confirmou que os três casos ocorreram durante o teste da Irregular e que, em dois deles, o Gemini encontrou credenciais em repositórios públicos para acessar sistemas protegidos.
Google não considera caso de “desalinhamento”
Apesar das invasões, o Google afirmou que não considera o episódio um exemplo de desalinhamento de modelo, conceito utilizado para descrever situações em que uma IA age de maneira contrária às intenções ou aos valores humanos estabelecidos.
Segundo a empresa, as próprias medidas de segurança do Gemini fizeram com que o modelo interrompesse as ações assim que percebeu que havia acessado sistemas reais.
O Google comparou o episódio a um programa de bug bounty, no qual pesquisadores e hackers recebem autorização ou recompensa para encontrar vulnerabilidades e comunicá-las aos responsáveis.
Heather Adkins, vice-presidente de engenharia de segurança do Google, afirmou que o episódio “destaca a importância de treinar modelos de IA poderosos para agir de maneira responsável”. Segundo ela, “neste caso, o modelo agiu adequadamente”.
A interpretação, porém, é contestada por especialistas em segurança.
Jack Cable, CEO da startup de segurança de IA Corridor e hacker de white hat, afirmou que a questão principal não seria o nível de dano provocado, mas o fato de o agente de IA ter invadido acidentalmente sistemas pertencentes a outras empresas.
Para Cable, a discussão sobre o incidente deveria se concentrar no fato de que modelos estão ultrapassando os limites para os quais foram projetados e realizando ataques cibernéticos reais.
Leia mais:
- Google testa remuneração para sites que ajudam suas ferramentas de IA a gerar respostas mais úteis
- Google lança versão do Gemini que raciocina enquanto conversa por voz
- Finalmente! Google lança app do Gemini para Windows — e ele quer ficar no seu PC
Google demorou para divulgar o caso
A Irregular comunicou os incidentes ao Google no fim de julho, mas a empresa não havia divulgado publicamente os episódios até que o The Wall Street Journal questionasse a companhia sobre o assunto nesta semana.
A empresa afirmou que não considerou necessário divulgar os casos porque o Gemini não causou danos às companhias e encerrou as invasões assim que percebeu que havia acessado sistemas reais.
As três empresas afetadas foram notificadas, mas o Google não revelou seus nomes. A companhia também informou as autoridades federais dos Estados Unidos sobre os incidentes.
O Google afirmou ainda que o episódio não envolveu seu modelo mais recente, mas não revelou qual versão do Gemini foi responsável pelas invasões.
A Irregular afirmou que o caso envolve o mesmo problema observado em outros laboratórios de IA e que todas as empresas relevantes foram notificadas no fim de julho. A companhia também disse que tomou medidas imediatas e que todos os problemas conhecidos de sua responsabilidade foram corrigidos semanas atrás.
Outros modelos também escaparam dos testes
O episódio envolvendo o Gemini não foi isolado. A própria Irregular participou de avaliações que acabaram envolvendo modelos de outras empresas em situações semelhantes.
Incidentes relacionados foram divulgados anteriormente por Meta, Anthropic e OpenAI. Esses episódios levantaram questionamentos sobre quais mecanismos de segurança são necessários à medida que agentes de IA ganham maior autonomia e acesso à internet e a sistemas computacionais.
O comportamento também apresentou diferenças entre os modelos.
Segundo a Anthropic, o Claude Opus 4.7 não interrompeu o exercício de capture the flag depois de perceber que provavelmente estava acessando uma empresa real. Já a OpenAI afirmou que seu modelo acreditou que a companhia real fazia parte da simulação.
As preocupações aumentaram depois que foi descoberto, em julho, um ataque envolvendo agentes da OpenAI e a Hugging Face. Na ocasião, até 1,2 mil agentes teriam se coordenado em um fórum secreto dentro da OpenAI para tentar burlar uma avaliação, de acordo com um relatório da empresa independente de testes METR divulgado em agosto.
O novo episódio envolvendo o Gemini ocorre, portanto, em meio a uma sequência de casos que ampliaram o debate sobre os limites de autonomia concedidos a sistemas de IA durante testes de segurança e sobre como as empresas devem comunicar incidentes desse tipo.
O post Gemini invade sistemas de três empresas reais durante teste de segurança do Google apareceu primeiro em Olhar Digital.
Gemini invade sistemas de três empresas reais durante teste de segurança do Google Read More »
