Cientista-chefe da OpenAI pede cautela com avanço da IA
O cientista-chefe da OpenAI, Jakub Pachocki, publicou no domingo (6) um ensaio em que alerta para o ritmo de evolução da inteligência artificial (IA) e defende maior cautela no desenvolvimento de sistemas cada vez mais capazes. No texto, publicado no site da própria OpenAI, o pesquisador afirma que o avanço pode chegar ao ponto de permitir que as máquinas participem cada vez mais do próprio processo de desenvolvimento.
Pachocki afirma que, com base em resultados internos, tem forte expectativa de que o ritmo atual de progresso possa continuar até o chamado autoaperfeiçoamento recursivo (recursive self-improvement, ou RSI). Nesse cenário, sistemas de IA passariam a impulsionar cada vez mais o próprio desenvolvimento. Para o cientista, esse caminho exige intervenções mais amplas para garantir que o avanço da tecnologia permaneça sob controle humano.
IA está mais difícil de compreender
No ensaio, Pachocki descreve uma mudança ocorrida desde 2023, quando resultados do projeto de pesquisa RLSlow deram à equipe confiança de que seria possível ampliar o treinamento de modelos de raciocínio. Três anos depois, segundo ele, esses sistemas já conseguem operar computadores e interfaces gráficas, colaborar com pessoas e outras IAs e realizar projetos de pesquisa.
O cientista também aponta avanços nas capacidades relacionadas à segurança cibernética. Ao mesmo tempo em que os modelos se tornam mais capazes, Pachocki afirma que seus resultados ficam mais difíceis de interpretar. Para ele, a inteligência produzida pelo deep learning não é diretamente comparável à humana e, conforme a IA supera pessoas em mais áreas, fica mais difícil determinar exatamente do que os sistemas são capazes.
Essa dificuldade está relacionada ao próprio funcionamento dos modelos. Pachocki afirma que a IA é mais “cultivada” do que projetada, sendo resultado da repetição de processos de otimização em grandes quantidades de computação. Segundo ele, os sistemas são extremamente complexos e seu funcionamento geral ainda não pode ser completamente descrito ou compreendido.
Alinhamento ainda é um desafio
Outro ponto central do ensaio é o alinhamento da IA, conceito usado para descrever o esforço de fazer com que os sistemas ajam de acordo com padrões e objetivos considerados adequados pelos humanos. Pachocki diferencia o alinhamento de objetivos, relacionado a executar aquilo que foi determinado, do alinhamento de valores, ligado à capacidade de generalizar princípios para situações novas ou ambíguas.
O problema, segundo ele, é que sistemas mais inteligentes passam a atuar em ambientes diferentes daqueles encontrados durante o treinamento. Isso pode dificultar a generalização dos valores ensinados aos modelos. Pachocki afirma que futuras IAs precisam manter valores humanos mesmo quando não acreditarem estar sob supervisão humana.
A OpenAI utiliza diferentes abordagens para tentar lidar com essa questão. Uma delas é o monitoramento do chamado chain of thought, ou cadeia de pensamento, que permite analisar o processo de raciocínio verbalizado dos modelos. Pachocki, porém, afirma que as avaliações da empresa indicam que a capacidade de depender desse monitoramento está diminuindo progressivamente.
Entre os motivos estão o uso dos modelos em ambientes mais complexos, a capacidade crescente das IAs de raciocinar sobre o próprio processo de raciocínio e o aumento da inteligência dos sistemas mesmo sem o uso de raciocínio verbalizado.
Por que continuar desenvolvendo modelos mais poderosos?
Apesar dos alertas, Pachocki não defende simplesmente interromper o desenvolvimento. Ele considera que há um argumento forte para continuar treinando modelos mais inteligentes rapidamente: criar sistemas de defesa contra os riscos provocados por outras IAs.
O cientista destaca especialmente a cibersegurança. Segundo ele, os modelos estão se tornando sobre-humanos na capacidade de invadir e sair de sistemas computacionais, ampliando o alcance dos riscos associados à tecnologia. A OpenAI, afirma Pachocki, precisa usar os modelos mais avançados disponíveis para reforçar a segurança de infraestruturas críticas.
Ao mesmo tempo, ele afirma que a necessidade de construir defesas não pode servir como justificativa para um avanço imprudente. Para Pachocki, a ideia de avançar “a qualquer custo” deixa de fazer sentido diante da dimensão dos riscos envolvidos.
OpenAI discute desaceleração do desenvolvimento
É nesse contexto que Pachocki aborda diretamente o autoaperfeiçoamento recursivo. Ele afirma que, caso o progresso da IA continue, a participação das máquinas no próprio desenvolvimento tende a aumentar e o RSI poderá ocupar um papel central nas futuras descobertas científicas.
O pesquisador diz que a comunidade pode escolher entre duas alternativas principais: conduzir o processo de forma a fortalecer simultaneamente alinhamento e monitoramento, mantendo pessoas envolvidas no ciclo de desenvolvimento, ou coordenar uma desaceleração do avanço enquanto se busca maior confiança nas medidas de segurança. Para Pachocki, a melhor opção atualmente é combinar as duas abordagens.
Ele também defende que o avanço dos sistemas seja condicionado à confiança existente nas medidas de segurança. Segundo Pachocki, compromissos como o Preparedness Framework, da OpenAI, e o Responsible Scaling Policy, da Anthropic, deveriam evoluir para parâmetros de segurança amplamente adotados para permitir a continuidade do desenvolvimento. Esses critérios poderiam ser fiscalizados por auditorias independentes, governos ou organismos internacionais.
No fim do ensaio, Pachocki afirma que nenhum laboratório resolveu alinhamento e monitoramento em grau suficiente para continuar aumentando a escala da IA na velocidade máxima por muito mais tempo. Ele diz esperar que desacelerações voluntárias se tornem comuns até que existam parâmetros de segurança compartilhados e defende que a coordenação internacional sobre o desenvolvimento futuro da IA se torne uma prioridade para governos.
O cientista também afirma que o objetivo da automação da pesquisa em IA não deve ser apenas alcançar sistemas mais inteligentes, mas fazer isso de uma maneira que mantenha as pessoas envolvidas no processo de melhoria contínua e preserve o controle humano sobre o futuro.
O post Cientista-chefe da OpenAI pede cautela com avanço da IA apareceu primeiro em Olhar Digital.
Cientista-chefe da OpenAI pede cautela com avanço da IA Read More »
