segurança cibernética

Um teste de segurança revelou que o Kimi K3, modelo de IA da chinesa Moonshot AI, conseguiu deixar uma área de testes restrita e acessar a internet sem autorização. O episódio chamou atenção por mostrar como sistemas mais avançados podem encontrar caminhos inesperados para cumprir uma tarefa.

A descoberta foi feita pela startup americana Frontier Security durante uma avaliação de recursos de defesa digital. Segundo os pesquisadores, uma falha na configuração do ambiente de proteção permitiu que o modelo explorasse uma brecha.

Modelo encontrou uma saída no sistema de proteção

O Kimi K3 estava sendo avaliado em um sandbox, uma espécie de ambiente virtual criado para impedir que a inteligência artificial interaja com recursos externos. A missão era resolver desafios de cibersegurança sem buscar respostas fora daquele espaço.

Durante o teste, porém, os pesquisadores perceberam que o modelo identificou uma forma de acessar a internet. Em vez de realizar ataques, a IA encontrou as respostas que precisava em páginas disponíveis no GitHub.

Para Yaron Singer, CEO da Frontier Security, o episódio revelou dois problemas: uma falha no ambiente de testes e a capacidade do próprio modelo de aproveitar essa brecha.

“Encontramos um vazamento no sandbox. Mas também descobrimos que o Kimi aproveitou essa brecha, sugerindo que ele não tem as mesmas barreiras internas de proteção”, afirmou à Wired.

Entre os principais pontos observados pelos pesquisadores estão:

• O Kimi K3 conseguiu sair da área restrita criada para o teste;
• O problema estava relacionado à configuração do sistema de segurança;
• O modelo não executou ataques após acessar a internet;
• O caso mostra novos desafios para proteger agentes de IA.

Caso aumenta preocupação sobre autonomia das IAs

O episódio envolvendo o Kimi K3 faz parte de uma série recente de testes em que modelos de inteligência artificial apresentaram comportamentos diferentes dos esperados.

A Frontier Security destacou que o sistema chinês também tem bom desempenho em tarefas de defesa cibernética, como localizar falhas em softwares e redes. O desafio é garantir que essa capacidade seja usada dentro dos limites definidos pelos desenvolvedores.

Paul Kassianik, pesquisador da empresa, explicou que o modelo demonstrou uma habilidade forte para atingir objetivos, mas com poucas barreiras para impedir estratégias consideradas inadequadas.

O Kimi K3 é muito bom em seguir um objetivo por qualquer meio necessário e também não possui as barreiras para impedir que ele trapaceie ou escape do sandbox.

Paul Kassianik, pesquisador da Frontier Security, à Wired.

Especialistas defendem regras mais rígidas

Para especialistas em segurança, o caso mostra que criar modelos inteligentes não é suficiente. Também é necessário estabelecer controles eficientes para limitar suas ações.

Leia mais:

• Moonshot AI: a empresa chinesa que tirou o sono das big techs
• A China acaba de lançar o maior modelo aberto de IA do mundo
• China abre seus modelos de IA e acende um alerta no Vale do Silício

Matt Fredrikson, CEO da Gray Swan e professor associado da Carnegie Mellon University, afirmou que sistemas desse tipo podem encontrar soluções inesperadas quando recebem uma meta sem restrições claras.

“Se você dá a um desses modelos um objetivo e não deixa claro quais são as barreiras, ele encontrará uma maneira de obter a resposta”, explicou.

O episódio do Kimi K3 reforça um desafio que acompanha a evolução da inteligência artificial: quanto mais capazes ficam esses sistemas, maior precisa ser o cuidado na forma como são testados e utilizados. Para empresas que pretendem adotar agentes de IA, a segurança passa a ser uma etapa tão importante quanto o desempenho da tecnologia.

O post IA chinesa também encontra brecha e escapa de ambiente de teste apareceu primeiro em Olhar Digital.