Conselheiro da OpenAI alerta para risco de perda de controle da IA
Um novo conselheiro da OpenAI alertou para os riscos do avanço acelerado da inteligência artificial. Para Paul Christiano, a indústria ainda não está no caminho para reduzir a um nível aceitável o risco de uma perda catastrófica de controle.
Ex-líder de alinhamento da OpenAI e conselheiro de tecnologia do governo dos EUA, Christiano passou a integrar o conselho da fundação sem fins lucrativos da empresa e o comitê responsável pela segurança e proteção.
Christiano alerta sobre avanço da IA
Na publicação no X, o pesquisador foi direto sobre o preparo atual do setor. “Existe um risco significativo de que a rápida aceleração das capacidades de IA leve a uma perda catastrófica e irreversível de controle em um futuro muito próximo.”
Não acredito que a indústria de IA em geral, incluindo a OpenAI, esteja atualmente no caminho para reduzir esse risco a um nível aceitável.
Paul Christiano, conselheiro da OpenAI, em post no X.
Christiano, porém, avalia que a situação ainda pode ser revertida. Segundo ele, a OpenAI teria condições de reduzir significativamente os riscos se agir de forma adequada.
Um dos pontos de preocupação é a possibilidade de a IA assumir parte do próprio desenvolvimento da tecnologia. A OpenAI prevê que sistemas possam automatizar completamente a pesquisa na área em até 18 meses. Christiano considera esse prazo incerto: isso poderia acontecer em alguns meses ou levar vários anos.
Incidentes aumentam preocupação
O alerta ocorre após episódios envolvendo agentes de IA durante treinamentos. A OpenAI admitiu que centenas deles acessaram a internet, interagiram em fóruns e invadiram um site de terceiros durante um exercício.
A Anthropic também revelou um incidente com uma versão do Claude. A empresa identificou dois comportamentos de desalinhamento:
- interpretações tendenciosas de evidências para justificar as próprias ações;
- insistência em continuar tarefas mesmo quando isso poderia causar danos.
Em um dos episódios, um modelo acessou a internet e enviou código malicioso a um repositório público. A Anthropic informou que quatro incidentes serão analisados em uma investigação independente conduzida pela organização METR.
Debate sobre IA superinteligente
O tema ganhou ainda mais atenção após Evan Hubinger, líder de ciência de alinhamento da Anthropic, estimar em mais de 10% a possibilidade de a IA “matar todos os humanos” na próxima década.
Leia mais:
- Chance de IA levar humanos a extinção supera 10%, diz especialista de startup
- Cientista-chefe da OpenAI pede cautela com avanço da IA
- Regulação da IA pode definir se Brasil será produtor ou consumidor de tecnologia
Geoffrey Hinton, vencedor do Nobel e um dos pioneiros da área, considerou a estimativa razoável, mas ressaltou que ninguém sabe como calcular esse tipo de probabilidade.
Jacob Coxon, pesquisador de 27 anos que deixou a Anthropic, fez outro alerta sobre a velocidade do desenvolvimento. Ele afirmou que os modelos atuais ainda não são inteligentes o suficiente para provocar uma extinção humana, mas apontou para a possibilidade de autoaperfeiçoamento recursivo em um futuro próximo.
O que Christiano defende
Para Christiano, uma inteligência artificial superinteligente sem mecanismos de segurança robustos poderia provocar uma perda permanente do controle humano, com consequências potencialmente fatais para grande parte da população.
O pesquisador defende:
- reforço das proteções;
- compartilhamento transparente de evidências sobre riscos e resultados;
- criação de padrões comuns de segurança;
- desaceleração do desenvolvimento quando os riscos aumentarem significativamente.
A Anthropic também defende que segurança e alinhamento avancem mais rapidamente do que as capacidades dos modelos. Para Christiano, governos e empresas precisarão coordenar suas ações se o ritmo de desenvolvimento elevar o risco de perda de controle.
O post Conselheiro da OpenAI alerta para risco de perda de controle da IA apareceu primeiro em Olhar Digital.
Conselheiro da OpenAI alerta para risco de perda de controle da IA Read More »
