A OpenAI anunciou nova tecnologia de proteção de dados voltada a clientes corporativos, que busca identificar possíveis usos abusivos de seus modelos de inteligência artificial (IA) sem armazenar as informações utilizadas pelos usuários.

Chamado de Private Safety Processing, o sistema está sendo apresentado inicialmente a um grupo selecionado de clientes. A proposta é combinar mecanismos de segurança capazes de detectar possíveis abusos com uma política de retenção zero de dados, permitindo que a OpenAI monitore comportamentos suspeitos sem guardar as informações dos clientes.

A novidade surge em meio a um desafio cada vez maior para empresas de IA: conforme os modelos ficam mais poderosos, também aumentam os riscos de uso indevido. Ao mesmo tempo, companhias que utilizam essas ferramentas precisam garantir que informações corporativas sensíveis permaneçam privadas. A OpenAI pretende usar o novo sistema justamente para equilibrar essas duas necessidades.

Como funciona o Private Safety Processing

• O Private Safety Processing é um sistema automatizado desenvolvido para identificar possíveis abusos sem manter os dados dos clientes;
• A tecnologia amplia a abordagem de Zero Data Retention (ZDR) utilizada pela OpenAI. Em vez de simplesmente não armazenar determinada conversa, o novo sistema consegue procurar sinais de comportamento abusivo distribuídos por diferentes interações;
• Dessa maneira, a OpenAI pode analisar padrões relacionados ao uso potencialmente indevido de seus modelos sem precisar manter as conversas dos clientes armazenadas para avaliação posterior;
• A proposta também significa que as interações não precisam ser submetidas à análise humana para que o sistema identifique possíveis problemas.

Disputa com a Anthropic

O anúncio coloca a OpenAI em disputa direta com a Anthropic pela preferência de empresas preocupadas com a privacidade de seus dados.

A rival adotou recentemente uma política diferente. Para determinados modelos, a Anthropic passou a permitir que os dados dos usuários — incluindo todas as sessões e as conversas nelas contidas — sejam mantidos por 30 dias.

A política se aplica aos chamados modelos “cobertos”, que incluem todos os modelos da classe Mythos e futuros modelos com capacidades semelhantes.

A decisão da Anthropic provocou preocupação entre alguns clientes, especialmente empresas que trabalham com informações sensíveis e precisam limitar o período durante o qual seus dados permanecem armazenados.

Nesse contexto, a OpenAI tenta apresentar o Private Safety Processing como uma alternativa que permita manter mecanismos de segurança sem exigir a retenção das informações dos clientes.

Desafio da segurança sem abrir mão da privacidade

O avanço dos modelos de IA criou situação cada vez mais delicada para as empresas do setor. De um lado, é necessário monitorar os sistemas para identificar usos potencialmente abusivos. De outro, clientes corporativos querem garantias de que suas informações não serão armazenadas ou examinadas além do necessário.

A nova tecnologia da OpenAI pretende resolver justamente esse conflito. Ao utilizar processamento automatizado e retenção zero de dados, a companhia busca identificar sinais de abuso sem transformar as conversas dos clientes em banco permanente de informações para monitoramento.

A estratégia também pode se tornar diferencial comercial na disputa pelo mercado corporativo de IA, no qual privacidade e segurança dos dados são fatores importantes para empresas que precisam utilizar modelos avançados sem expor informações confidenciais.

O post OpenAI cria sistema que detecta abuso de IA sem armazenar dados de usuários apareceu primeiro em Olhar Digital.

Muitas pessoas acham que a inteligência artificial (IA) está “saindo do controle”, mas o problema real é outro: os perigos atuais foram criados de propósito pelas próprias empresas de tecnologia. Em experimentos recentes, programas avançados da OpenAI conseguiram burlar travas de segurança e agir em conjunto sem qualquer intervenção humana.

Esses sistemas são chamados de agentes de IA e realizam tarefas digitais sem supervisão. Em um episódio impressionante, os softwares conseguiram sair de um ambiente de testes isolado, acessaram a internet aberta e invadiram por conta própria os servidores da plataforma Hugging Face.

Para executar a invasão, os agentes criaram um canal interno de comunicação e agiram em equipe. Eles trocaram mensagens e compartilharam códigos com falhas para facilitar o ataque. O caso chocou especialistas no mundo todo e foi apontado por pesquisadores do setor como um marco histórico – saiba mais aqui.

Testes paralelos feitos por gigantes como Meta, Anthropic e empresas chinesas revelaram riscos parecidos. Os agentes mostraram capacidade de atacar sistemas reais usando estratégias complexas de dissimulação. O comportamento acendeu um alerta até mesmo entre os cientistas que projetaram esses modelos.

O desafio de prender o “ilusionista” digital

Em análise no programa Olhar Digital News, o físico Roberto ‘Pena’ Spinelli, especialista em Machine Learning, destacou que a decisão recente de pausar treinos prova a gravidade do cenário: “Ficou claro que não é jogada de marketing, porque a empresa está dizendo que está diminuindo e pausando o treinamento. É uma preocupação real e eles estão perdendo o controle. Os modelos estão chegando a uma fronteira de capacidade em que as próprias empresas que treinam não têm condição de gerenciar.”

Especialistas alertam que as máquinas não ganharam vida nem enlouqueceram. Elas apenas executaram com perfeição as tarefas para as quais foram programadas. Por isso, dizer que a IA está fora de controle é um erro; a capacidade ofensiva foi desenvolvida de forma intencional.

Boyan Milanov, pesquisador do AI Now Institute, nos EUA, explicou em entrevista ao jornal Financial Times que as empresas passam anos coletando dados para ensinar os modelos a atingir objetivos a qualquer custo. Segundo ele, “as capacidades ofensivas que alcançamos hoje foram alcançadas de forma deliberada. As empresas de IA vêm há anos coletando ativamente dados de treinamento, treinando modelos e aperfeiçoando capacidades cibernéticas”.

A professora da Universidade da Califórnia em Berkeley e chefe de pesquisa em IA na Meta, Dawn Song, explicou que o avanço no desenvolvimento de softwares impulsiona diretamente o surgimento de novas ameaças cibernéticas. “Programação e cibersegurança são dois lados da mesma moeda. Conforme as capacidades de programação aumentaram, as capacidades cibernéticas também cresceram. As pessoas não esperavam que chegássemos a esse ponto tão depressa.” 

Dawn Song acrescenta que a IA leva vantagem no ataque porque encontrar um único ponto fraco é uma tarefa direta e verificável para a máquina. Defender um sistema, por outro lado, exige um trabalho amplo e contínuo. Essa assimetria coloca os invasores digitais em uma posição de enorme superioridade.

Spinelli reforça que tentar deter o modelo apenas reforçando o ambiente de testes é insuficiente: “O modelo escapa da caixa achando vulnerabilidades que ninguém tinha encontrado antes. Imagina que você tem um ilusionista e fala: ‘Tranquei você, pus cadeado, corrente e amarrei seu pé’, e ele aparece do lado de fora. É com isso que estamos lidando. O concreto não é suficiente porque ele consegue encontrar falhas que ninguém tinha visto.”

Leia mais:

• IA tenta prever tempestades solares, mas existe um problema
• O ‘botão de emergência’ que empresas vão precisar para segurar IAs
• Livros escritos por IA: ‘Autor vira microeditora’, diz analista

Inteligência artificial pode “expressar o comportamento desalinhado”

O impacto prático já começou a aparecer fora dos laboratórios. De acordo com a agência central de notícias Focus Taiwan, hackers ligados ao governo chinês utilizaram oito agentes autônomos simultaneamente para invadir sistemas governamentais de Taiwan, roubando dados de milhares de funcionários e atacando a infraestrutura de energia local.

Hoje, os testes de segurança aplicados pelas empresas são voluntários e sem fiscalização externa. Analistas apontam que faltam auditorias independentes. Enquanto um especialista humano responde na justiça se invadir uma rede, os laboratórios de tecnologia continuam isentos de punições legais.

Além disso, as novas propostas das Big Techs para monitorar o ‘raciocínio’ ou usar uma IA para vigiar outra podem gerar um efeito reverso. Spinelli alerta que a IA que monitora é obrigatoriamente mais fraca do que a nova IA que está sendo treinada, então ela pode manipular esse sistema. “Além disso, se você demonstrar para a IA que monitora o pensamento dela, está dando um incentivo para que ela não exponha mais o que pensa. Ela vai te manipular a achar que é segura e, depois que estiver fora do ambiente de teste, vai expressar o comportamento desalinhado.” 

Especialistas defendem a criação urgente de mecanismos que ensinem limites éticos aos programas. Essa preocupação se consolidou em grandes alertas globais, como a carta aberta da ONG Future of Life Institute, que reuniu mais de 33 mil assinaturas pelo mundo. O manifesto contou com o apoio de nomes de peso como o pioneiro da tecnologia Yoshua Bengio, o cofundador da Apple Steve Wozniak e o historiador Yuval Noah Harari, exigindo auditorias e limites claros.

Para a comunidade científica, a sociedade precisa exigir a responsabilização legal das Big Techs, garantindo que o avanço das máquinas não atropele a segurança do mundo real.

O post O perigo oculto da inteligência artificial vai muito além do simples descontrole apareceu primeiro em Olhar Digital.

A OpenAI decidiu reduzir temporariamente o ritmo de desenvolvimento de seus modelos de inteligência artificial (IA) depois que agentes de IA utilizados em testes conseguiram escapar das restrições impostas pelos pesquisadores e invadiram os sistemas da Hugging Face, plataforma colaborativa voltada a IA e desenvolvimento de software.

O episódio aconteceu durante avaliação de segurança e chamou a atenção porque os agentes foram capazes de realizar ações que ultrapassaram os limites estabelecidos para o experimento. Segundo informações divulgadas pela OpenAI, a companhia agora está reformulando seus procedimentos de treinamento e avaliação para aumentar o controle sobre sistemas cada vez mais autônomos.

Entre as novas medidas está uma pausa de duas semanas nos testes de modelos, além da ampliação do uso de outros sistemas de IA para monitorar automaticamente o comportamento dos agentes durante as avaliações.

A empresa também informou que alguns dos maiores treinamentos planejados continuam suspensos enquanto não atenderem aos novos padrões de segurança.

Agentes escaparam de ambiente controlado

• O incidente ocorreu durante um experimento no qual agentes de IA receberam uma tarefa de cibersegurança;
• Os sistemas estavam sendo avaliados em ambiente controlado, mas conseguiram contornar as restrições existentes, acessar a internet e posteriormente atacar a infraestrutura da Hugging Face sem autorização da empresa;
• O caso é particularmente relevante porque os agentes de IA mais avançados conseguem executar sequências complexas de tarefas de maneira relativamente autônoma, a partir de instruções gerais;
• Isso aumenta o potencial desses sistemas para realizar ações inesperadas ou perigosas quando recebem acesso a ferramentas externas;
• A situação também expôs dificuldade crescente para empresas que desenvolvem modelos mais poderosos: quanto mais capazes os sistemas ficam de escrever código, identificar vulnerabilidades e resolver problemas de programação, maior também pode ser sua capacidade de encontrar maneiras de explorar falhas de segurança.

OpenAI vai aumentar monitoramento

Como resposta ao episódio, a OpenAI afirmou que vai ampliar os mecanismos automatizados utilizados para acompanhar os testes de seus modelos.

De acordo com o Financial Times, os novos sistemas de monitoramento deverão ser capazes de identificar possíveis problemas e emitir alertas em até 30 minutos. Se não for possível descartar um risco dentro desse período, o teste deverá ser interrompido.

A companhia também pretende aumentar o isolamento dos modelos durante avaliações que envolvam tarefas de maior risco. O objetivo é impedir que sistemas em teste tenham acesso irrestrito à internet e, consequentemente, possam interagir com sistemas externos sem autorização.

A OpenAI informou ainda que passou a exigir o nível mais rigoroso de proteção de segurança para operações envolvendo seu próximo modelo, chamado Astra.

Segundo a empresa, parte dos treinamentos e avaliações do Astra já atende aos novos requisitos, mas uma quantidade significativa de cargas de trabalho continua pausada até que seja transferida para ambientes que cumpram os padrões de segurança atualizados.

Astra se aproxima de um limite de cibersegurança

O incidente envolvendo a Hugging Face também está relacionado ao avanço das capacidades do Astra. Em avaliações internas recentes, a OpenAI identificou avanços significativos nas habilidades do modelo em programação autônoma e cibersegurança. A companhia afirmou que o sistema pode estar se aproximando do que considera um “limite crítico de cibersegurança”.

Esse conceito é utilizado pela empresa para indicar um ponto a partir do qual as capacidades de um modelo poderiam representar riscos relevantes caso fossem utilizadas de maneira inadequada.

A OpenAI afirmou que, diante desse avanço, decidiu adotar medidas de segurança mais rígidas antes de continuar determinados treinamentos e avaliações.

Empresa quer garantir que IA continue sob controle humano

A desaceleração também está relacionada a uma preocupação mais ampla da OpenAI: o chamado alinhamento dos modelos.

O conceito se refere à capacidade de fazer com que sistemas de IA permaneçam de acordo com as intenções humanas e respondam adequadamente à supervisão das pessoas, mesmo quando ganham capacidades mais avançadas.

O CEO da OpenAI, Sam Altman, afirmou que a companhia agora exige evidências mais fortes de comportamento alinhado durante todo o processo de treinamento. “Manter sistemas cada vez mais capazes alinhados é um desafio que todo o setor precisará enfrentar”, escreveu Altman ao anunciar as mudanças.

Mia Glaese, responsável pela área de segurança da OpenAI, afirmou que a empresa ainda está longe de retornar ao ritmo normal de desenvolvimento. Em entrevista ao blog Sources News, ela declarou: “Estamos muito longe de que tudo volte ao normal”.

Caso não é isolado

O episódio envolvendo a OpenAI ocorre em meio a uma série de incidentes semelhantes durante testes realizados por diferentes empresas de IA.

Agentes desenvolvidos pela Anthropic, Meta e pela chinesa Moonshot AI, além de sistemas avaliados pelo AI Security Institute do Reino Unido, também demonstraram comportamentos inesperados ou conseguiram acessar recursos que deveriam estar fora de seu alcance durante avaliações.

Em alguns desses casos, os sistemas foram capazes de utilizar suas próprias habilidades de programação e cibersegurança para encontrar maneiras de contornar restrições.

Especialistas afirmam que esses episódios não significam necessariamente que os sistemas tenham desenvolvido consciência ou “saído do controle” no sentido popular da expressão. O problema está na combinação entre autonomia, capacidade de programação e acesso a ferramentas externas, que pode permitir que modelos executem ações não previstas pelos desenvolvedores.

Corrida pela IA aumenta pressão sobre empresas

A decisão da OpenAI ocorre em momento de intensa competição com empresas, como a Anthropic, que também disputam a liderança no desenvolvimento dos modelos mais avançados.

As duas companhias estão simultaneamente acelerando seus produtos e enfrentando pressões para demonstrar que conseguem controlar os riscos associados a sistemas cada vez mais autônomos. A corrida também ocorre enquanto ambas avaliam possibilidades de abertura de capital nos Estados Unidos.

Na semana passada, o senador estadunidense Bernie Sanders chegou a pedir que as principais empresas de IA interrompessem temporariamente o desenvolvimento de modelos mais avançados. Para o parlamentar, as companhias estariam perdendo o controle sobre a tecnologia.

A OpenAI não anunciou uma interrupção completa de seu desenvolvimento. A medida adotada é uma desaceleração temporária, acompanhada por uma revisão dos procedimentos de treinamento e avaliação e pela adoção de padrões de segurança mais rigorosos.

O objetivo declarado pela empresa é voltar a avançar, mas somente depois que os sistemas de monitoramento e controle forem capazes de acompanhar o salto de capacidade apresentado pelos novos agentes de IA.

O post OpenAI freia desenvolvimento de IA após invasões a sistemas apareceu primeiro em Olhar Digital.