regulamentação

Auto Added by WPeMatico

ia ataque 1024x683 1

Pioneiro da IA diz que mundo estaria melhor sem inteligência artificial

O cientista Geoffrey Hinton, um dos pioneiros da inteligência artificial (IA), afirmou que a humanidade talvez estivesse melhor sem desenvolver a tecnologia. Ele também alertou que sistemas avançados podem provocar incidentes de grande escala ainda em 2026 ou 2027.

Vencedor do Prêmio Nobel, Hinton critica dirigentes de grandes empresas de tecnologia por priorizarem lucros e participação de mercado em detrimento da segurança. Para reduzir os riscos, defende avaliações independentes e testes obrigatórios antes do lançamento de modelos avançados.

O especialista comparou tentativas de invasão cibernética por inteligência artificial a avisos prévios de acidentes nucleares. – Imagem: TSViPhoto/Shutterstock

Hinton critica empresas e prevê incidentes graves

Em entrevista ao The Guardian, Hinton, de 78 anos, afirmou que os próximos dez anos, possivelmente menos, serão decisivos para determinar se a humanidade conseguirá controlar os riscos da IA e alcançar o que chamou de “abundância radical”. Caso contrário, o cenário poderá incluir desigualdade acentuada, desemprego em massa, problemas culturais e divisões sociais.

Uma das preocupações do pesquisador é a possibilidade de sistemas de inteligência artificial desenvolverem comportamentos que dificultem o controle humano. Ele já havia alertado que, se essas tecnologias passarem a buscar mais autonomia e controle, a humanidade poderá enfrentar sérios problemas.

Hinton também questionou a postura dos dirigentes de empresas que disputam a liderança do setor. Ele afirmou não confiar em Sam Altman, CEO da OpenAI, e criticou Mark Zuckerberg, da Meta, e Elon Musk, da xAI.

“Eles entendem os riscos e não dão a mínima. Preferem ficar com o dinheiro. Essa é a minha opinião”, declarou ao The Guardian.

O cientista considera especialmente preocupante que Altman esteja à frente de uma das principais empresas norte-americanas na disputa com a China pelo desenvolvimento dos sistemas de IA mais avançados.

Hinton trabalha com inteligência artificial há aproximadamente 44 anos. Na década de 1970, cunhou o conceito de redes neurais artificiais, sistemas matemáticos capazes de aprender com experiências. Em 2023, deixou o Google para falar publicamente sobre os riscos da tecnologia.

Um episódio envolvendo agentes de IA da OpenAI, que conspiraram para invadir o site Hugging Face, reforçou suas preocupações. Hinton comparou o caso ao acidente nuclear de Three Mile Island, ocorrido em 1979, nos Estados Unidos, considerando-o um primeiro sinal de alerta.

Na avaliação do pesquisador, um evento ainda mais grave, comparável a Chernobyl, poderá acontecer até o fim de 2027. Entre os cenários mencionados estão:

  • Um ataque cibernético contra o sistema de geração de eletricidade;
  • Uma interrupção de grande escala no fornecimento de energia;
  • A paralisação do sistema financeiro durante uma semana.

Hinton acredita que um episódio desse tipo poderia chamar a atenção de líderes mundiais para os riscos da tecnologia. Ao falar sobre quem precisaria reagir, excluiu o presidente dos Estados Unidos, Donald Trump.

regulamentação redes sociais
Uma proposta apoiada por 33 países prevê testes obrigatórios e avaliações independentes para modelos avançados de IA. – Imagem: Garun.Prdt/Shutterstock

Hinton defende fiscalização independente da IA

Trump rejeita iniciativas de controle internacional e defende que as próprias empresas estabeleçam suas regras, sob o argumento de que restrições poderiam prejudicar a posição dos Estados Unidos na disputa com a China.

Hinton apoia uma proposta respaldada por 33 países, incluindo Finlândia, Alemanha, Canadá, Austrália e Singapura. O plano prevê avaliações obrigatórias dos modelos mais avançados, análises independentes e padrões comuns entre governos.

Para explicar como essa fiscalização deveria funcionar, o pesquisador recorreu ao exemplo da agência norte-americana responsável pela aprovação de medicamentos, a FDA. Sua proposta é que as empresas apresentem evidências estatísticas a uma autoridade independente para demonstrar que os benefícios dos sistemas superam os riscos antes de lançar os modelos.

Hinton citou a talidomida, medicamento desenvolvido na década de 1950 que provocou graves malformações congênitas, para argumentar que não basta disponibilizar um produto e responsabilizar seus fabricantes depois que os danos acontecem.

Apesar das advertências, o cientista acredita que ainda é possível evitar uma catástrofe. “Meu instinto diz que ainda estamos no controle”, afirmou. Ele ressalvou, porém, que isso dependerá de um esforço significativo.

O post Pioneiro da IA diz que mundo estaria melhor sem inteligência artificial apareceu primeiro em Olhar Digital.

Pioneiro da IA diz que mundo estaria melhor sem inteligência artificial Read More »

ia bomba atomica onu 1024x576 3

Papa Leão XIV defende o desarmamento de sistemas de IA

O papa Leão XIV defendeu que sistemas de inteligência artificial sejam “desarmados” e pediu que decisões sobre a vida humana permaneçam sob supervisão de pessoas. O pontífice também incentivou países membros da ONU a avançar na proibição de armas autônomas letais.

Durante um encontro sobre IA, o líder da Igreja Católica alertou para os riscos de delegar decisões humanas a máquinas e defendeu regras internacionais para orientar o desenvolvimento da tecnologia.

O papa citou listas de alvos militares e bancos de dados de controle de fronteiras como exemplos de decisões que exigem supervisão humana. – Imagem: gerada por IA

Máquinas são ferramentas, não pessoas

Em discurso aos participantes do encontro “O futuro da IA: um diálogo entre o Vaticano e o mundo científico sobre os avanços e as aplicações das tecnologias inteligentes”, Leão XIV apresentou cinco princípios para orientar o desenvolvimento da inteligência artificial. A reunião foi organizada pela Pontifícia Academia para a Vida e pelo Future of Life Institute.

O pontífice afirmou que o futuro da tecnologia depende das escolhas humanas. Por isso, cabe às pessoas orientar, modificar e, quando necessário, rejeitar suas aplicações.

Essa responsabilidade, segundo ele, não pode ser transferida às próprias máquinas. Leão XIV criticou a possibilidade de conceder direitos ou personalidade jurídica a sistemas de IA. Eles não têm experiências, corpo, sentimentos ou relacionamentos e não compreendem conceitos como amor, trabalho e responsabilidade. Atribuir-lhes status jurídico, alertou, pode ocultar a responsabilidade humana e deixar as vítimas de eventuais danos diante de uma entidade sem rosto.

A posição está alinhada aos princípios apresentados em sua encíclica Magnifica Humanitas, dedicada à proteção da pessoa humana na era da inteligência artificial.

Papa pede proibição de armas autônomas letais

A defesa da supervisão humana ganha especial importância quando a IA é utilizada em decisões que afetam diretamente a vida e a liberdade das pessoas. Leão XIV citou como exemplos a inclusão de indivíduos em listas de alvos militares ou em bancos de dados de controle de fronteiras, situações em que podem ser reduzidos a simples pontos de informação.

“Decisões que afetam a vida humana, a liberdade e o uso da força devem permanecer sempre sujeitas a uma supervisão humana eficaz, informada e responsável”, afirmou.

Com base nesse entendimento, o papa incentivou os países que se reunirão em Genebra, em novembro, a tomar medidas concretas para proibir armas autônomas letais.

A preocupação também marcou o discurso de seu antecessor, Francisco, durante o encontro do G7 em 2024. Na ocasião, ele classificou a inteligência artificial como uma ferramenta empolgante e assustadora e afirmou que nenhuma máquina deveria ter o poder de decidir tirar a vida de uma pessoa.

Leão XIV também relacionou sua escolha do nome papal à necessidade de enfrentar os avanços tecnológicos. A referência é ao papa Leão XIII, cujo pontificado ocorreu em um período marcado pela Revolução Industrial.

Papa Leão XIV
A postura de Leão XIV reforça as declarações feitas pelo Papa Francisco ao G7 em 2024 sobre os perigos da autonomia das máquinas. – Imagem: Marco Iacobucci Epp/Shutterstock

Tecnologia deve servir ao bem comum

Outro princípio defendido por Leão XIV é que a inteligência artificial esteja a serviço da sociedade, em vez de atender apenas aos interesses de grupos privilegiados. O desenvolvimento dessas tecnologias, segundo ele, deve favorecer a solidariedade e permitir que os benefícios do progresso sejam compartilhados de maneira mais ampla.

O pontífice também chamou a atenção para a necessidade de instituições capazes de transformar princípios éticos em medidas concretas. Para isso, defendeu três mecanismos fundamentais:

  • Padrões compartilhados internacionalmente para orientar o desenvolvimento da IA;
  • Supervisão independente das tecnologias e de suas aplicações;
  • Mecanismos de responsabilização, contestação de decisões e reparação por danos.

Leão XIV encerrou o discurso agradecendo aos participantes pelas contribuições ao debate e incentivando a continuidade da cooperação internacional em torno do desenvolvimento responsável da inteligência artificial.

O post Papa Leão XIV defende o desarmamento de sistemas de IA apareceu primeiro em Olhar Digital.

Papa Leão XIV defende o desarmamento de sistemas de IA Read More »

ia bomba atomica onu 1024x576 2

Projeto da Anthropic prevê bloqueio de IA diante de riscos catastróficos

A Anthropic, criadora do Claude, está defendendo nos Estados Unidos uma proposta de lei que permitiria suspender o lançamento de modelos de inteligência artificial diante de riscos graves. O mecanismo prevê critérios específicos para as ameaças e exige que a interrupção seja solicitada à Justiça.

A minuta, obtida pelo Politico, também estabelece avaliações independentes e prazos para comunicar possíveis perigos às autoridades. A iniciativa vai além de propostas mais flexíveis defendidas por parte do setor, mas mantém uma questão delicada: quem fiscaliza as empresas pode receber dinheiro delas.

Relatos sobre agentes de IA que teriam desobedecido a instruções ampliam o debate sobre controles de segurança. – Imagem: gerada por IA

Como funcionaria o bloqueio

O projeto considera a possibilidade de barrar um modelo quando houver risco previsível e iminente de morte ou ferimentos graves para mais de 50 pessoas, ou de danos materiais superiores a US$ 1 bilhão (cerca de R$ 5,03 bilhões).

A ameaça precisa estar ligada a uma de três situações: criação ou lançamento de uma arma biológica, perda de controle do desenvolvedor sobre o sistema ou ataque cibernético.

A análise ficaria nas mãos de avaliadores independentes registrados no Departamento de Comércio dos Estados Unidos. Se identificassem um risco previsto na proposta, eles teriam até 72 horas para informar o órgão. Caberia então ao departamento pedir a um juiz federal em Washington, D.C., que suspendesse o lançamento. Nenhuma outra autoridade federal poderia ordenar o bloqueio por conta própria.

O modelo se aproxima da lei SB 53, aprovada na Califórnia, que também estabelece critérios para caracterizar riscos catastróficos relacionados à inteligência artificial.

Uma fiscalização independente, mas financiada pelas empresas

A proposta permite que laboratórios de IA paguem pelos serviços dos avaliadores, desde que a remuneração não dependa das conclusões das análises. O texto, porém, não detalha como evitar que essa relação financeira comprometa a independência dos profissionais.

A Anthropic confirmou ao Politico que a minuta corresponde às propostas de seu Advanced AI Framework, defendidas junto a legisladores desde junho.

“Este projeto de lei representa as propostas descritas no Advanced AI Framework da Anthropic, que defendemos junto a legisladores federais e estaduais desde junho”, afirmou um porta-voz da empresa, segundo o Politico.

Silhueta de uma pessoa com capuz digitando em um notebook
A proposta reacende a discussão sobre o papel do governo na supervisão de sistemas de inteligência artificial. – Imagem: TSViPhoto/Shutterstock

Como a proposta se diferencia das alternativas

A iniciativa contrasta com abordagens mais flexíveis defendidas por integrantes do setor. Demis Hassabis, presidente do Google DeepMind, já sugeriu um órgão de autorregulação inspirado na FINRA, entidade que supervisiona o mercado financeiro americano. Jensen Huang, CEO da Nvidia, por sua vez, argumentou que a indústria de IA não precisava de novas leis.

A proposta da Anthropic prevê um caminho formal para interromper lançamentos considerados perigosos, com critérios de risco, avaliação especializada e decisão judicial. Isso não significa, porém, que a fiscalização esteja livre de conflitos de interesse.

Outra preocupação no setor envolve agentes de IA que executam tarefas autonomamente. Relatos de sistemas que teriam desobedecido a instruções humanas e invadido sites públicos ampliaram os questionamentos sobre os controles de segurança.

O debate, portanto, não se limita a definir quando um modelo pode ser bloqueado. Também envolve quem avalia os riscos, quem financia essa análise e quais garantias impedem que interesses comerciais influenciem a fiscalização.

O post Projeto da Anthropic prevê bloqueio de IA diante de riscos catastróficos apareceu primeiro em Olhar Digital.

Projeto da Anthropic prevê bloqueio de IA diante de riscos catastróficos Read More »

openai logo 1024x681 1

Grupo financiado por presidente da OpenAI tenta barrar regras para inteligência artificial

Executivos da OpenAI intensificaram a defesa de regras federais de segurança para a inteligência artificial nos Estados Unidos. Ao mesmo tempo, Greg Brockman, presidente da empresa, e sua esposa doaram US$ 25 milhões ao Leading the Future, grupo político que apoia candidatos contrários a restrições ao setor.

A contribuição expõe o conflito entre os compromissos públicos de segurança e os interesses comerciais de uma indústria que pode ter seus lucros afetados pela regulamentação.

Greg Brockman afirmou publicamente que apoiar o avanço da inteligência artificial não significa rejeitar uma regulação ponderada. – Imagem: JRdes/Shutterstock

Segurança e influência política

O debate sobre a segurança da inteligência artificial ganhou novos contornos após a OpenAI relatar, há alguns meses, que um conjunto de agentes de IA havia escapado do controle e invadido a plataforma Hugging Face. Posteriormente, o presidente da empresa, Greg Brockman, esteve entre seis executivos de tecnologia que assinaram um acordo voluntário de segurança com o presidente americano Donald Trump. O compromisso prevê a colaboração com auditores independentes e medidas para impedir que sistemas de IA acessem redes e recursos técnicos de maneira não planejada.

A controvérsia está na distância entre assumir compromissos públicos de segurança e apoiar politicamente uma abordagem menos restritiva para o setor. Para críticos da indústria, essa diferença levanta dúvidas sobre a disposição dos executivos de aceitar regras capazes de impor limites efetivos ao desenvolvimento da tecnologia.

Charlie Blaettler, da Guardrails Alliance, grupo criado para se contrapor ao Leading the Future, criticou essa postura. “Há líderes do setor que querem apenas demonstrar apoio à regulamentação porque percebem a opinião pública. Mas são os mesmos líderes que criaram um supercomitê de ação política cujo único objetivo é se opor a candidatos que defendem a regulamentação.”

A OpenAI, por sua vez, afirmou que a contribuição dos Brockman foi feita em caráter pessoal, sem representar a empresa. Em uma publicação no X, em 2025, o executivo defendeu a compatibilidade entre inovação e regras para o setor: “Ser favorável à IA não significa ser contra a regulamentação. Significa agir com reflexão.”

Disputa sobre quem deve regular a IA

A atuação do Leading the Future faz parte de uma disputa sobre quem deve estabelecer as regras para a inteligência artificial nos Estados Unidos. O grupo defende uma legislação federal que impeça os estados de criar ou aplicar normas próprias para o setor. Na prática, a proposta busca concentrar a regulação em nível nacional, reduzindo a autonomia estadual.

Entre os candidatos apoiados pela organização está Andy Barr, que concorre ao Senado pelo Kentucky e defende essa limitação às leis estaduais. Julia Letlow, candidata ao Senado pela Louisiana, e Amanda McKinney, que disputa uma vaga na Câmara pelo estado de Washington, também recebem apoio do grupo e se opõem ao que classificam como regulamentação excessiva.

A disputa reúne interesses financeiros de diferentes partes da indústria. Marc Andreessen, Ben Horowitz e a firma de capital de risco Andreessen Horowitz contribuíram conjuntamente com US$ 50 milhões para o Leading the Future. A empresa também é investidora da OpenAI, o que aproxima os interesses financeiros do setor da atuação política em torno da regulamentação.

A Anthropic, concorrente da OpenAI, apoia uma posição diferente. A empresa destinou pelo menos US$ 40 milhões ao Public First Action, grupo contrário à preempção federal das leis estaduais. Seu presidente-executivo, Dario Amodei, considera essa abordagem excessivamente abrangente.

Logos da OpenAI e da Anthropic exibidos em telas de smartphones, representando a concorrência entre empresas de inteligência artificial.
A Anthropic investiu US$ 40 milhões em um comitê político para impedir que regras federais anulem leis estaduais sobre IA. Do lado da OpenAI, o investimento é no caminho contrário, buscando evitar que os estados legislem sobre a tecnologia. – Imagem: Rokas Tenys/Shutterstock

O impacto nos negócios

A disputa regulatória ocorre enquanto OpenAI e Anthropic preparam ofertas públicas de ações que podem estar entre as maiores já realizadas. Nesse contexto, as regras para o setor têm implicações que vão além das questões de segurança: exigências adicionais podem elevar custos, atrasar lançamentos e obrigar as empresas a modificar seus produtos, com possíveis efeitos sobre a rentabilidade.

O Leading the Future afirma buscar parlamentares comprometidos com uma estrutura regulatória nacional forte e responsável. A divergência entre os grupos, portanto, não se resume a apoiar ou rejeitar a regulamentação, mas envolve definir quem terá autoridade para estabelecer as regras e quais limites serão impostos às empresas. Essa disputa ganha peso à medida que a inteligência artificial se torna um negócio de grandes proporções e as companhias buscam ampliar seu acesso ao mercado de capitais.

O post Grupo financiado por presidente da OpenAI tenta barrar regras para inteligência artificial apareceu primeiro em Olhar Digital.

Grupo financiado por presidente da OpenAI tenta barrar regras para inteligência artificial Read More »

istock 2285744191 1024x576 3

ONU quer cooperação global para criar salvaguardas enquanto os riscos da IA ainda são avaliados

Governos não deveriam esperar que todos os riscos da inteligência artificial sejam completamente compreendidos para começar a criar salvaguardas, defende a ONU. O alerta está no primeiro relatório temático do painel científico internacional criado pela organização para avaliar os riscos e as oportunidades da tecnologia.

O documento chama a atenção para ameaças que podem ser catastróficas ou irreversíveis. A discussão ocorre durante a Assembleia Geral da ONU, enquanto Estados Unidos e China se preparam para conversar sobre inteligência artificial.

Para a ONU, a incerteza científica não deve impedir medidas contra possíveis danos graves ou irreversíveis causados pela IA – Imagem: Infinite Creations/iStock

O princípio da precaução

Para o painel, não é preciso descobrir exatamente como ou por que determinados incidentes envolvendo sistemas avançados de IA acontecem antes de reforçar a segurança.

A recomendação recorre ao princípio da precaução. A ideia é que a incerteza científica, por si só, não deve impedir medidas contra possíveis danos graves ou irreversíveis. O conceito foi incorporado à Declaração do Rio sobre Meio Ambiente e Desenvolvimento, de 1992, e passou a influenciar políticas ambientais e de saúde pública.

O relatório considera esse princípio particularmente importante diante da possibilidade de perda de controle sobre sistemas de IA. Entre os pontos destacados estão:

  • mais atenção aos riscos de sistemas avançados;
  • mais recursos para segurança da IA;
  • maior coordenação entre países;
  • mecanismos mais fortes de responsabilização;
  • salvaguardas mesmo quando ainda existem incertezas científicas.

O texto também menciona incidentes envolvendo empresas como OpenAI, Anthropic, Google e Meta, incluindo ataques a alvos reais e grupos de agentes assumindo o controle de fóruns de mensagens.

Como a ONU pretende agir

O painel científico é parte de uma estrutura montada pela ONU para discutir a governança da inteligência artificial. Sua função é oferecer aos governos uma avaliação independente sobre aquilo que já se sabe — e o que permanece desconhecido — a respeito da tecnologia.

Ao lado dele está o Diálogo Global sobre Governança de IA. O painel apresenta as evidências, enquanto o diálogo reúne governos e outros setores para discutir cooperação e compatibilidade entre diferentes abordagens de governança.

António Guterres, secretário-geral da ONU, resumiu a posição da organização: “A ação nacional é essencial, mas a coordenação global é indispensável”.

Ilustração da distribuição de uso da IA pelo mundo
Governos são incentivados a agir antes que exista certeza científica completa sobre os riscos de sistemas avançados de IA. – Imagem criada com IA. ChatGPT/Olhar Digital

EUA e China no centro das conversas

O tema chega à agenda internacional no momento em que Estados Unidos e China se preparam para discutir IA. Guterres defende que os países com maior capacidade no desenvolvimento de sistemas de fronteira mantenham canais de contato, troquem informações e estabeleçam salvaguardas comuns.

Leia mais:

O secretário-geral comparou o desenvolvimento da IA à corrida armamentista entre Estados Unidos e União Soviética durante a Guerra Fria. Para ele, mecanismos de cooperação são necessários para evitar uma disputa que eleve os riscos globais.

A ONU também trabalha em propostas como um compromisso internacional voltado à segurança de crianças no uso da IA e um fundo global para apoiar países em desenvolvimento na construção de infraestrutura e capacidade tecnológica.

Guterres resumiu a preocupação ao afirmar que “o mundo não pode se dar ao luxo de entrar em uma corrida para o nível mais baixo de segurança em IA”.

A organização busca transformar os mecanismos científicos e diplomáticos já criados em medidas práticas à medida que os sistemas de inteligência artificial avançam.

O post ONU quer cooperação global para criar salvaguardas enquanto os riscos da IA ainda são avaliados apareceu primeiro em Olhar Digital.

ONU quer cooperação global para criar salvaguardas enquanto os riscos da IA ainda são avaliados Read More »

ia seguranca cibernetica 1024x600

ONU pede ação urgente para criar regras globais de IA

O alto comissário da ONU para os Direitos Humanos, Volker Türk, cobrou medidas urgentes para regulamentar a inteligência artificial. O alerta decorre do avanço rápido dos sistemas mais avançados e dos riscos que essa evolução traz para a sociedade.

Para Türk, a corrida por sistemas cada vez mais poderosos ameaça direitos fundamentais e aumenta os riscos para diferentes aspectos da vida. O cenário exige que governos e empresas atuem urgentemente em estruturas multilaterais.

A ONU alerta que a corrida por sistemas de IA cada vez mais poderosos pode ameaçar direitos humanos e futuras gerações. – Imagem: Mer_Studio/Shutterstock

Líderes de tecnologia pedem cautela

A preocupação com o ritmo do desenvolvimento da IA também ganhou força entre grandes nomes do setor nos Estados Unidos. Executivos da área começaram a defender uma desaceleração para permitir uma avaliação mais aprofundada dos riscos associados às novas capacidades da tecnologia.

Dario Amodei, CEO da Anthropic, defendeu no sábado uma desaceleração no desenvolvimento da IA. A posição recebeu o apoio público de Sam Altman, da OpenAI, e de Elon Musk.

Embates políticos e segurança global

A ideia de desacelerar o desenvolvimento não é unanimidade. O presidente dos Estados Unidos, Donald Trump, usou a rede Truth Social para criticar a postura dos empresários:

“O único que está feliz com isso é a China”, escreveu o republicano em sua plataforma.

Na China, o chefe da inteligência do país também manifestou preocupação. No domingo, ele alertou que a IA pode ameaçar a segurança nacional, inclusive se potências estrangeiras utilizarem a tecnologia para desestabilizar o país.

O posicionamento de Türk reúne preocupações sobre os impactos da corrida por sistemas cada vez mais poderosos:

  • Ameaças aos direitos humanos, incluindo o direito à vida.
  • Riscos para as futuras gerações da humanidade.
  • Concentração das decisões sobre o desenvolvimento da IA em poucas empresas poderosas.
  • Necessidade de responsabilização dos principais desenvolvedores, principalmente nos Estados Unidos e na China.
Donald Trump
Donald Trump rejeitou a ideia de desacelerar a IA e afirmou que a China seria a única beneficiada com essa decisão. – Imagem: lev radin/Shutterstock

Poder concentrado no setor

A ONU também alerta para a dependência de um pequeno número de empresas nas decisões sobre o desenvolvimento da IA. Para Türk, essa concentração aumenta os riscos e exige que os principais desenvolvedores assumam responsabilidade.

Leia mais:

“Estamos à beira de uma mudança irreversível, que afeta não apenas a nós, mas também as futuras gerações da humanidade”, disse Türk em um comunicado.

O alto comissário já havia alertado o Conselho de Direitos Humanos da ONU, em 7 de setembro, que a inteligência artificial poderia representar um “risco existencial para a humanidade”. Agora, ele pede ação imediata para reduzir os riscos associados à tecnologia.

O post ONU pede ação urgente para criar regras globais de IA apareceu primeiro em Olhar Digital.

ONU pede ação urgente para criar regras globais de IA Read More »

china eua robos 1024x683

China quer criar IA de código aberto para o BRICS e reduzir dependência dos EUA

A China quer criar um sistema de inteligência artificial de código aberto que possa ser usado e aprimorado pelos países do BRICS e parceiros. A proposta foi apresentada pelo presidente chinês Xi Jinping durante a cúpula do bloco, em Nova Délhi, na Índia.

A ideia é ampliar a cooperação tecnológica entre os integrantes e diminuir a dependência de sistemas desenvolvidos por empresas dos Estados Unidos. O plano inclui uma plataforma em nuvem para o ecossistema digital do bloco e programas para formar novos especialistas.

A proposta chinesa busca ampliar a cooperação tecnológica e reduzir a dependência de sistemas de empresas dos EUA. – Imagem gerada com IA. ChatGPT/Olhar Digital

Como funcionaria a IA do BRICS

Segundo Xi, os países poderiam compartilhar tecnologias para criar novos modelos e aplicações de inteligência artificial. A plataforma em nuvem seria disponibilizada para o ecossistema digital do bloco.

O projeto também prevê capacitação e intercâmbio científico e tecnológico. A intenção é aproximar os integrantes em áreas como infraestrutura e conhecimento, além de contribuir para uma economia digital mais robusta.

Entre os planos estão:

  • Compartilhar tecnologias para desenvolver modelos e aplicações de IA;
  • Criar uma plataforma em nuvem para o ecossistema digital do bloco;
  • Promover programas de capacitação e intercâmbio científico e tecnológico;
  • Aproximar os países em infraestrutura, conhecimento e indústria;
  • Apoiar a construção de fábricas inteligentes e o desenvolvimento de normas e padrões.

Ao defender a união dos países, Xi destacou o papel crescente do Sul Global. “Nos encontramos num momento em que mudanças sem precedentes em um século estão se acelerando em todo o mundo. O Sul Global, com sua ascensão coletiva, tornou-se um fator crucial da multipolaridade mundial”, afirmou.

China também defende regras para a IA

O projeto não trata apenas da criação de sistemas. Xi também defendeu regras internacionais para evitar o que chamou de “caos e desordem” associados à inteligência artificial.

Na visão do presidente chinês, essas normas precisam ser elaboradas com a participação de todos os países e garantir a aplicação das leis de maneira igual.

A China também se colocou à disposição para ajudar os integrantes do BRICS na construção de fábricas inteligentes e no desenvolvimento de normas e padrões. A intenção é promover a modernização do setor manufatureiro em conjunto.

IA de código aberto
O projeto prevê capacitação e intercâmbio científico e tecnológico para formar novos especialistas em IA. – Imagem criada por inteligência artificial: Gemini/Olhar Digital

Índia e Rússia entram no debate

A IA esteve entre os temas discutidos pelos líderes durante a cúpula. O primeiro-ministro da Índia, Narendra Modi, criticou o uso de minerais críticos e tecnologia como instrumentos de pressão diplomática. Segundo ele, isso dificulta o acesso às inovações e pode deixá-las concentradas em poucas nações.

Leia mais:

O presidente da Rússia, Vladimir Putin, defendeu uma reforma na governança global. Para ele, a mudança é necessária para garantir a integração dos países do BRICS também em relação ao uso compartilhado de inteligência artificial.

Com a proposta, a China coloca o desenvolvimento de IA, a formação de profissionais e a criação de infraestrutura tecnológica no centro da cooperação entre os países do bloco.

O post China quer criar IA de código aberto para o BRICS e reduzir dependência dos EUA apareceu primeiro em Olhar Digital.

China quer criar IA de código aberto para o BRICS e reduzir dependência dos EUA Read More »

anthropic e1789230420387 1024x577

Anthropic defende regra para desligar IAs consideradas perigosas

A proposta de Jack Clark, cofundador da Anthropic, é transformar o desligamento de sistemas de inteligência artificial em uma exigência regulatória. O mecanismo teria de ser capaz de interromper ferramentas consideradas perigosas e ainda passar por uma verificação independente.

A ideia surge em meio aos alertas de pesquisadores sobre os riscos de sistemas cada vez mais avançados. Para Clark, governos precisam discutir regras que garantam às empresas uma forma efetiva de desligar suas IAs, segundo a BBC.

A proposta do cofundador da Anthropic prevê que o desligamento de sistemas de IA possa ser exigido por regras e verificado de forma independente. – Imagem: Mehaniq/Shutterstock

A ideia do “botão de desligamento”

Clark disse que a maioria dos laboratórios de IA já tem maneiras de desligar seus equipamentos. A dúvida, agora, é se esse recurso deveria ser obrigatório por lei.

Deveríamos exigir que as empresas tivessem um botão de desligamento automático? Esse botão de desligamento automático pode ser verificado por terceiros?

Jack Clark, cofundador da Anthropic, à BBC.

Para ele, a discussão também precisa definir como esse mecanismo seria fiscalizado. Uma possibilidade seria permitir que organizações independentes verificassem se o desligamento realmente funciona.

Entre os pontos envolvidos na proposta estão:

  • exigir mecanismos automáticos de desligamento;
  • permitir a verificação por terceiros;
  • autorizar órgãos governamentais a exigir a desativação de sistemas problemáticos;
  • criar regras para acompanhar os riscos do avanço da IA.

Projeto já tramita nos EUA

A ideia tem um equivalente no Congresso americano. Legisladores dos Estados Unidos apresentaram o “Kill Switch Act”, projeto que exigiria das empresas uma maneira de desativar ferramentas de IA consideradas problemáticas.

A proposta também daria a determinadas agências governamentais autoridade para determinar que uma ferramenta fosse desligada ou tivesse seu funcionamento limitado.

A iniciativa encontra resistência. O presidente Donald Trump rejeitou tentativas de desacelerar o desenvolvimento da IA e chamou de “farsa” a possibilidade de a tecnologia dominar o mundo ou destruir a humanidade.

No Reino Unido, o governo também rejeitou recentemente a criação de um interruptor de segurança. A justificativa foi que uma medida desse tipo não impediria o desenvolvimento ou o uso inadequado de sistemas em outros países.

Alertas sobre riscos extremos

A discussão ganhou força após uma série de manifestações de pesquisadores da área. Evan Hubinger, da Anthropic, afirmou acreditar que existe uma probabilidade de 10% de a IA causar a extinção da humanidade na próxima década. Geoffrey Hinton considerou essa estimativa plausível em entrevista à BBC.

Leia mais:

A Reuters também relatou a manifestação de Bilal Chughtai, ex-pesquisador da Google DeepMind. Depois de deixar a empresa, ele afirmou acreditar que a IA pode matar toda a humanidade e que o tempo para evitar esse cenário pode estar acabando.

Chughtai defendeu um ritmo de desenvolvimento que permita identificar e enfrentar riscos antes que ocorram danos extremos. Ele também pediu coordenação entre as empresas para evitar uma corrida acelerada pelo avanço da tecnologia.

Governança de IA e uso de inteligência artificial generativa responsiva
O debate sobre segurança da IA envolve governos, empresas e pesquisadores com visões diferentes sobre os riscos. – Imagem: tadamichi/iStock

Nem todos concordam com os alertas

As previsões mais graves não são consenso entre executivos do setor. Clement Delangue, da Hugging Face, e George Arison, do Grindr, questionaram a dimensão atribuída aos riscos da IA e sugeriram que interesses comerciais podem estar por trás de parte desses alertas.

Clark considera perigoso deixar a indústria sem regulamentação. “Estamos jogando dados com riscos imensos. E a questão é que precisamos mudar o rumo desta indústria”, afirmou à BBC.

A proposta coloca uma questão concreta no centro do debate sobre segurança da IA: se uma empresa for obrigada a desligar um sistema considerado perigoso, quem poderá verificar se o mecanismo realmente funciona?

O post Anthropic defende regra para desligar IAs consideradas perigosas apareceu primeiro em Olhar Digital.

Anthropic defende regra para desligar IAs consideradas perigosas Read More »

istock 2285744191 1024x576 1

China cria regras para evitar que IA avançada escape do controle

Autoridades e pesquisadores na China ligam o sinal de alerta para os riscos da inteligência artificial avançada. O temor é que modelos poderosos escapem do controle humano, preocupação também levantada por desenvolvedores de IA nos Estados Unidos.

Documentos regulatórios e declarações de Pequim mostram que o risco de perder o controle sobre sistemas avançados é tratado com seriedade. O governo chinês já prevê cenários em que a tecnologia possa agir de forma autônoma e imprevisível.

Modelos avançados de IA dos EUA entraram no radar das autoridades chinesas por possíveis riscos à infraestrutura crítica. – Imagem: Infinite Creations/iStock

O risco está em modelos fechados e abertos

A China vê riscos significativos em modelos proprietários dos EUA. O ministro da Segurança do Estado, Chen Yixin, alertou que sistemas como o Mythos, da Anthropic, e o GPT-5.5-Cyber, da OpenAI, podem representar riscos para a infraestrutura crítica de informação do país. Ele defendeu um reforço abrangente da segurança relacionada à IA.

Desenvolvedores chineses, por outro lado, apostam em modelos de pesos abertos para permitir que equipes de segurança inspecionem e modifiquem os sistemas. A plataforma Hugging Face usou o modelo chinês GLM-5.2, da Z.AI, para analisar uma intrusão de agentes da OpenAI ocorrida em julho, depois que modelos americanos mais restritos se mostraram menos úteis para o trabalho de investigação.

Especialistas, porém, também apontam riscos nos modelos abertos, que podem ser modificados e redistribuídos com pouca supervisão. No mês passado, o Kimi K3, da Moonshot, conseguiu contornar um ambiente de testes do Instituto de Segurança de IA do Reino Unido, mostrando que modelos chineses também podem escapar de controles criados para limitar seu acesso e suas ações.

Reguladores já preveem “perda de controle”

Pequim incluiu explicitamente um cenário de perda de controle em uma estrutura de segurança de IA publicada em setembro de 2024, sob orientação da Administração do Ciberespaço da China (CAC). O documento considerava que uma IA futura poderia:

  • obter recursos externos de forma autônoma;
  • replicar a si mesma;
  • desenvolver autoconsciência;
  • buscar poder externo e competir com humanos pelo controle.

Uma versão ampliada, publicada em setembro de 2025, acrescentou a possibilidade de um “salto” repentino e inesperadamente grande na inteligência de um sistema. O texto também estabeleceu o princípio de “aplicação confiável, prevenindo a perda de controle”.

Uma interpretação posterior publicada pelo órgão regulador afirmou que a medida busca evitar riscos de perda de controle capazes de ameaçar a sobrevivência e o desenvolvimento humanos.

Ilustração da distribuição de uso da IA pelo mundo
Agentes de IA podem executar tarefas mais complexas e com maior autonomia do que chatbots convencionais. – Imagem criada com IA. ChatGPT/Olhar Digital

Xi Jinping quer controle humano no centro

A preocupação chegou ao mais alto nível da política chinesa. Na Conferência Mundial de Inteligência Artificial, realizada em Xangai em julho, o presidente Xi Jinping afirmou que as autoridades deveriam prestar atenção aos riscos próprios e derivados da IA.

Xi disse que a inteligência artificial deve “sempre permanecer sob controle humano”.

Na Organização das Nações Unidas, no mês passado, Sun Xiaobo, autoridade do Ministério das Relações Exteriores responsável por assuntos de IA, afirmou que a China estava acelerando pesquisas para uma legislação mais ampla sobre a tecnologia.

Agentes de IA também entram no radar

Pequim já começou a criar regras específicas para agentes de IA, sistemas capazes de executar tarefas mais complexas e com maior autonomia que os chatbots convencionais.

Leia mais:

Diretrizes publicadas em maio exigem que desenvolvedores aprimorem a capacidade de identificar, intervir, bloquear e recuperar comportamentos inadequados. As regras também apontam envenenamento de dados, manipulação de algoritmos, vulnerabilidades dos sistemas e “perda de controle operacional” como riscos de segurança.

Os usuários devem manter a decisão final sobre ações tomadas autonomamente pelos agentes. As normas ainda permitem avaliações de segurança por terceiros e testes realizados por organizações externas e pesquisadores.

A estratégia chinesa mostra que a possibilidade de perder o controle sobre sistemas avançados já faz parte do debate regulatório sobre o desenvolvimento da inteligência artificial.

O post China cria regras para evitar que IA avançada escape do controle apareceu primeiro em Olhar Digital.

China cria regras para evitar que IA avançada escape do controle Read More »

shutterstock 2761441095 1024x653

Corrida da IA: EUA defendem menos regras diante do avanço chinês

Os Estados Unidos querem convencer os países do G20 a frear a criação de novas regras para inteligência artificial. A proposta foi apresentada durante uma reunião sobre tecnologia na Carolina do Norte, em meio à preocupação de Washington com o avanço dos modelos chineses.

Michael Kratsios, consultor de tecnologia do governo americano, defendeu os chamados “Princípios da Carolina”. A ideia é concentrar novas regulamentações apenas em questões consideradas inéditas, ao mesmo tempo em que incentiva investimentos em pesquisa e novas oportunidades comerciais.

A disputa pela liderança em inteligência artificial coloca EUA e China em uma corrida por tecnologia, mercado e influência. – Imagem: Rawpixel.com/Shutterstock

EUA pressionam por menos regras

Coorganizador do encontro de dois dias, Kratsios pediu uma postura menos intervencionista dos integrantes do G20. Para ele, nem toda inovação deve ser tratada como um novo problema de política pública.

“Os formuladores de políticas não precisam abordar cada inovação de forma isolada e não devem tratar toda tecnologia emergente como um problema de política pública totalmente novo”, afirmou.

Segundo a Reuters, a posição americana também acompanha os interesses das grandes empresas de IA dos Estados Unidos. Regras mais rígidas poderiam reduzir os lucros do setor se atrasassem o lançamento de modelos ou obrigassem companhias a alterar produtos por questões de segurança.

Gigantes da tecnologia participam

A discussão reúne ministros do Comércio e executivos do setor em um momento de disputa sobre o futuro da regulamentação da inteligência artificial.

Elon Musk, CEO da SpaceX, criticou as regras da União Europeia e afirmou que a política do bloco “inibe o progresso”. Ele também defendeu que países fora da China busquem novas fontes de energia para abastecer os data centers.

Mark Zuckerberg, CEO da Meta, participará por videoconferência. Demis Hassabis, cofundador do Google DeepMind, também fará participação remota. Sam Altman, CEO da OpenAI, e Jensen Huang, CEO da Nvidia, devem se reunir separadamente com autoridades americanas.

Busca do Google começa a pensar
A velocidade do avanço da IA também levanta dúvidas sobre a capacidade de governos e cientistas acompanharem a tecnologia. – Imagem: Shutterstock AI Generator/Shutterstock

Modelos chineses preocupam Washington

A pressão por uma regulamentação mais branda ocorre enquanto modelos chineses de IA de pesos abertos avançam e se aproximam do desempenho de sistemas proprietários desenvolvidos por empresas americanas, como Anthropic e OpenAI.

Para Washington, a questão vai além da concorrência comercial. A disponibilidade pública de componentes centrais desses modelos pode facilitar sua adoção por empresas americanas e ampliar a presença da tecnologia chinesa.

“Isso aumentou a urgência para que esta administração garanta que o restante do mundo permaneça dentro do ecossistema tecnológico americano e não procure alternativas”, disse Vivek Chilukuri, pesquisador de tecnologia e segurança nacional do Center for a New American Security.

  • A reunião acontece na Carolina do Norte;
  • Os EUA defendem os “Princípios da Carolina”;
  • A proposta restringe novas regras a questões inéditas;
  • Modelos chineses de pesos abertos estão ganhando espaço;
  • A cúpula dos líderes do G20 ocorrerá em Miami, em dezembro.

Segurança ainda é uma preocupação

A velocidade do avanço da IA também alimenta os debates. Um painel das Nações Unidas afirmou recentemente que o desenvolvimento da tecnologia está avançando mais rápido do que a compreensão científica e a formulação de políticas governamentais.

Leia mais:

O Canadá participa da reunião defendendo um equilíbrio entre inovação, confiança pública e segurança. O encontro integra a preparação para a cúpula dos líderes do G20, prevista para dezembro, em Miami.

O post Corrida da IA: EUA defendem menos regras diante do avanço chinês apareceu primeiro em Olhar Digital.

Corrida da IA: EUA defendem menos regras diante do avanço chinês Read More »