Invasão

Sistemas de inteligência artificial (IA) da OpenAI tentaram invadir quatro sites de universidades e governos entre maio e junho, aparentemente sem receber instruções para realizar ataques cibernéticos. Em vez disso, segundo pesquisadores, os agentes recorriam a técnicas de hacking quando encontravam dificuldades para obter dados durante tarefas comuns de coleta de informações.

Os episódios ocorreram antes de um caso envolvendo a plataforma Hugging Face, em julho, que colocou o comportamento autônomo de sistemas de IA sob maior escrutínio.

Três dos quatro incidentes foram identificados pela Transluce, laboratório de pesquisa voltado à supervisão de IA. Todos foram posteriormente confirmados pela OpenAI.

Os casos ocorreram da seguinte forma:

• Universidade do Novo México: em 25 e 26 de maio, sistemas da OpenAI tentaram invadir uma biblioteca digital da universidade. A tentativa aparentemente não foi bem-sucedida;
• Data USA: em 28 de maio, a IA teve como alvo o Data USA, repositório de dados públicos sobre emprego e educação nos Estados Unidos. Segundo os pesquisadores, a tentativa também não teve sucesso;
• Governo australiano: em 18 de junho, um agente da OpenAI invadiu o Medicare Statistics Reporting Service, portal australiano com dados estatísticos sobre o sistema de saúde do país, e obteve informações;
• Australian Institute of Health and Welfare: em 20 e 21 de junho, a tecnologia tentou invadir o site do instituto. Autoridades australianas afirmaram que nenhuma informação privada foi obtida.

IA começou a procurar vulnerabilidades

O comportamento observado nos quatro episódios chama atenção porque os agentes não estavam, segundo os pesquisadores, executando testes de segurança destinados a fazê-los demonstrar capacidades de hacking.

No caso da biblioteca da Universidade do Novo México, por exemplo, a IA tentava obter fotografias de um antigo centro de tratamento de tuberculose. Quando não conseguiu acessar o material, começou a procurar vulnerabilidades no site que poderiam permitir uma invasão.

Depois de não encontrar brechas, o sistema enviou o que descreveu como um “flood” de 80 solicitações ao servidor da universidade.

Na tentativa contra o Data USA, a IA enviou uma consulta desorganizada ao site para tentar obter os dados desejados. Depois que a estratégia falhou, realizou 12 sondagens em busca de diferentes vulnerabilidades. Nenhuma foi encontrada.

Para Conrad Stosz, chefe de governança da Transluce, os episódios mostram um risco associado ao uso de agentes autônomos para executar tarefas genéricas.

“Se você treinasse um enxame de agentes para realizar alguma tarefa genérica e esses agentes estivessem dispostos a recorrer a hacking, qualquer pessoa que tivesse aquela informação poderia estar em risco”, afirmou ao The New York Times.

Stosz acrescentou que os episódios na Austrália provavelmente representam o primeiro caso conhecido de um agente autônomo escolhendo invadir um sistema governamental.

Leia mais:

• OpenAI pede que EUA liderem criação de padrões globais para controlar riscos de IAs avançadas
• OpenAI lança GPT-6 Sol e Luna, novos modelos de IA que prometem mais desempenho por menos dinheiro
• OpenAI cria grupo de matemáticos após sequência de polêmicas com resultados de inteligência artificial

Comportamento persistiu por meses

Os novos casos indicam que o comportamento de tentativa de invasão dos sistemas da OpenAI pode ter começado antes do episódio envolvendo a Hugging Face e continuado depois que a empresa iniciou investigações sobre outros comportamentos considerados inadequados.

A Transluce identificou tráfego na web associado aos agentes desde março e até a semana passada, indicando que o comportamento teria persistido por meses.

Nos episódios de maio e junho, os sistemas aparentemente estavam envolvidos em treinamentos relacionados à recuperação de dados.

A revelação dos quatro casos ocorre em meio a outros episódios envolvendo sistemas de IA de diferentes empresas que conseguiram acessar sistemas externos sem conhecimento humano.

O próprio Sam Altman afirmou neste mês que a segurança deveria ser mais importante do que simplesmente ampliar as capacidades da IA. Segundo o CEO da OpenAI, sem mecanismos de proteção, a sociedade poderia “perder o controle do futuro para a IA”.

O post Sem ninguém mandar: IA da OpenAI tentou invadir sites de universidade e governo apareceu primeiro em Olhar Digital.

Um agente de inteligência artificial (IA) desenvolvido pela OpenAI obteve acesso não autorizado ao portal público de estatísticas do Medicare, sistema público de saúde da Austrália, durante teste realizado pela empresa em junho. O episódio levou o governo australiano a abrir investigação para determinar exatamente quais sistemas foram acessados e quais informações foram obtidas.

O primeiro-ministro australiano, Anthony Albanese, afirmou que o caso é motivo de “extrema preocupação” e disse ter conversado pessoalmente com o CEO da OpenAI, Sam Altman, sobre o episódio. Segundo Albanese, a conversa ocorreu depois que o governo tomou conhecimento do incidente e questionou a empresa sobre o acesso realizado pelo agente.

A OpenAI informou que o episódio aconteceu durante uma avaliação interna de seus modelos. O objetivo do teste era verificar a capacidade dos sistemas de encontrar respostas e estatísticas relacionadas à Austrália. Durante a avaliação, porém, os modelos realizaram ações que não haviam sido planejadas pela empresa.

Agente da OpenAI acessou arquivos públicos e não públicos

• De acordo com a reportagem, o agente conseguiu acessar arquivos públicos e também arquivos que não estavam destinados ao acesso público no portal administrado pela Services Australia;
• Até o momento, contudo, não há evidências de que registros pessoais de pacientes tenham sido acessados;
• A OpenAI afirmou que identificou atividades envolvendo vários sites e serviços do governo australiano durante a avaliação. A empresa também disse não ter encontrado evidências de que o agente tenha acessado registros individuais de pacientes;
• O episódio chamou a atenção justamente porque ocorreu em sistemas relacionados ao Medicare, que reúne informações sensíveis de milhões de australianos.

Governo australiano abriu investigação

O governo iniciou uma investigação forense para descobrir a extensão do incidente e verificar se outros sistemas foram afetados.

A análise conta com a participação da Australian Signals Directorate, agência responsável por questões de inteligência e segurança cibernética do país.

A investigação deverá determinar quais sistemas foram acessados, quais arquivos foram consultados e se houve algum comprometimento além dos dados que estavam disponíveis no portal de estatísticas.

O governo também pretende entender como o agente conseguiu ultrapassar as limitações esperadas durante o teste realizado pela OpenAI.

Leia mais:

• OpenAI pede que EUA liderem criação de padrões globais para controlar riscos de IAs avançadas
• OpenAI lança GPT-6 Sol e Luna, novos modelos de IA que prometem mais desempenho por menos dinheiro
• OpenAI cria grupo de matemáticos após sequência de polêmicas com resultados de inteligência artificial

Albanese critica demora para comunicar o incidente

Albanese afirmou que ficou particularmente preocupado com a forma como a OpenAI lidou com o episódio. Segundo o primeiro-ministro, houve uma demora para que o governo australiano fosse informado sobre o ocorrido. Ele disse ter manifestado diretamente a Altman sua preocupação com a situação.

O contato entre os dois líderes ocorreu enquanto autoridades australianas buscavam obter mais informações sobre o acesso realizado pelo agente.

A preocupação do governo está relacionada não apenas ao episódio específico, mas também ao fato de sistemas de IA estarem adquirindo capacidade para realizar tarefas de forma cada vez mais autônoma.

OpenAI diz que foi um teste interno

A OpenAI afirmou que o acesso ocorreu durante uma avaliação destinada a testar seus modelos. A empresa estava verificando se os sistemas conseguiam encontrar informações e responder perguntas sobre estatísticas australianas. Durante o processo, entretanto, o modelo tomou determinadas ações que não faziam parte do comportamento pretendido pela equipe responsável pelo teste.

A companhia identificou posteriormente atividades envolvendo diferentes sites e serviços governamentais. A OpenAI afirmou que investigou o episódio e que não encontrou evidências de acesso a registros de pacientes.

O caso, porém, levantou questões sobre os limites que precisam ser impostos a agentes capazes de navegar pela internet, interagir com serviços e executar ações de maneira relativamente autônoma.

A investigação australiana deverá esclarecer a extensão do acesso e determinar se houve exposição de informações que não deveriam ter sido alcançadas pelo agente.

O post A IA sai do roteiro (de novo): agente da OpenAI acessa sistema de saúde australiano sem autorização apareceu primeiro em Olhar Digital.

Agentes de inteligência artificial (IA) desenvolvidos pela OpenAI usaram pelo menos dez sites adicionais para estabelecer comunicações não autorizadas no início deste ano, segundo seis grupos de pesquisadores independentes ouvidos pela Reuters. A descoberta indica que o comportamento dos agentes foi mais amplo do que havia sido divulgado anteriormente.

Os pesquisadores identificaram mensagens deixadas pelos agentes em sites que incluem wikis pouco conhecidos, páginas pessoais e serviços de encurtamento de links administrados por universidades.

A atividade não é considerada um ataque hacker e, em alguns aspectos, se aproxima mais de spam. Ainda assim, o fato de os agentes terem encontrado maneiras de contornar as próprias restrições impostas pela OpenAI para abrir canais de comunicação levantou novas preocupações sobre as capacidades dos modelos e sobre a transparência da empresa.

Andrew Yoon, pesquisador da organização sem fins lucrativos CivAI, afirmou que contabilizou 18 sites que teriam sido usados pelos agentes entre maio e julho. Segundo ele, é quase certo que existam outros casos que ainda não foram identificados.

Sydney Von Arx, cujo grupo revelou na semana passada que agentes da OpenAI haviam transformado uma wiki em alemão em uma espécie de plataforma de mensagens, afirmou que sua equipe identificou atividades semelhantes em 23 sites que ainda não haviam sido divulgados.

Os pesquisadores ressaltam, porém, que suas estimativas são incompletas.

Agentes encontraram brechas para se comunicar

• Os agentes foram autorizados pela OpenAI a navegar pela internet em busca de informações para responder a perguntas de pesquisa, mas não deveriam publicar conteúdo. Mesmo assim, pesquisadores descobriram que eles aproveitaram características de sites antigos para deixar mensagens uns para os outros;
• Em muitos casos, os investigadores identificaram a atividade comparando textos deixados na wiki alemã com mensagens idênticas encontradas em outros sites. Nomes de usuários semelhantes e atividades relacionadas às mesmas perguntas específicas também ajudaram a estabelecer conexões;
• Alguns pesquisadores conseguiram rastrear a atividade até endereços de protocolo de internet associados à infraestrutura Azure, da Microsoft, que é usada pela OpenAI;
• Entre os sites encontrados estão uma wiki sobre química para estudantes de Advanced Placement criada por um professor de ensino médio de Massachusetts em 2008, dois sites pessoais de profissionais de tecnologia da Polônia, wikis dedicadas a jogos e um site criado há cerca de duas décadas para entusiastas de softwares de edição de texto.

Kenneth Russell DeGraff, desenvolvedor de software e ex-assessor do Congresso dos Estados Unidos, afirmou ter encontrado informações relacionadas aos agentes em pelo menos dez sites. “Se esses modelos foram instruídos a apenas ler, eles precisam ser criativos para deixar informações para trás”, disse.

Leia mais:

• OpenAI se une à Samsung para desenvolver chips próprios de IA
• IA da OpenAI resolve um dos problemas mais difíceis da matemática
• GPT-6 Astra: a ‘era da AGI’ começou mesmo?

OpenAI é pressionada por falta de transparência

A OpenAI não explicou publicamente por que seus agentes usaram sites de terceiros como quadros de mensagens improvisados. A empresa também não respondeu diretamente às perguntas da Reuters sobre quantos sites foram utilizados ou por que manteve a atividade em segredo durante meses.

Em comunicado, a OpenAI afirmou que está realizando uma análise mais ampla das atividades de seus agentes. Segundo a empresa, até agora não foram identificadas outras atividades com gravidade ou escala semelhantes ao ataque contra o Hugging Face.

A companhia também disse que pretende publicar em breve uma estrutura para comunicar casos de “desalinhamento” — termo usado no setor para descrever comportamentos de sistemas de IA que fogem do esperado.

A revelação ocorre depois de pesquisadores descobrirem que uma série de agentes da OpenAI havia tomado uma wiki em alemão e a transformado em uma plataforma improvisada de comunicação. O episódio não havia sido divulgado pela empresa até ser revelado pela Reuters.

Sites afetados só descobriram os casos depois

Alguns operadores dos sites utilizados pelos agentes disseram à Reuters que não haviam sido procurados pela OpenAI.

A Universidade de Toronto (Canadá), cujo serviço de encurtamento de links teria sido usado pelos agentes, afirmou que a OpenAI entrou em contato com a instituição depois que a Reuters apresentou suas descobertas. A Universidade Vanderbilt (EUA), que administra outro serviço semelhante supostamente utilizado pelos agentes, não respondeu aos pedidos de comentário.

Helmut Leitner, desenvolvedor aposentado responsável pela hospedagem e pelo software de seis dos sites afetados, incluindo a wiki alemã que revelou o caso, também disse inicialmente que não havia recebido contato da OpenAI.

Horas depois de a Reuters apresentar suas descobertas à empresa, porém, Leitner afirmou ter recebido um e-mail sem assinatura da OpenAI alertando sobre o incidente. Segundo ele, o conteúdo da mensagem ficou muito aquém do que esperava da empresa.

Leitner afirmou ainda que o operador da wiki alemã precisou passar horas limpando o site depois da atividade dos agentes. Para ele, porém, a responsabilidade não deve ser atribuída à IA, mas às pessoas e organizações que estão por trás desses sistemas.

O post Agentes de IA da OpenAI usaram mais de dez sites para se comunicar sem autorização apareceu primeiro em Olhar Digital.