Riscos da IA - PRESENÇA NO GOOGLE E NAS IAs

Trump e Xi podem criar canal para incidentes de IA, mas frear desenvolvimento é improvável

Deixe um comentário / China, Donald Trump, Estados Unidos, inteligência artificial, Riscos da IA, Xi Jinping / contato@studiomestre.com.br

A reunião entre Donald Trump e Xi Jinping coloca a segurança da inteligência artificial nas discussões entre Estados Unidos e China. Os dois governos avaliam como lidar com sistemas cada vez mais autônomos, enquanto mantêm a corrida pelo avanço da tecnologia.

Uma possível aproximação envolve regras comuns, comunicação em casos graves e mecanismos para verificar informações. Segundo a CNBC, porém, um acordo para desacelerar o desenvolvimento da IA é considerado extremamente improvável.

As restrições americanas aos chips avançados para a China continuam sendo um ponto de tensão tecnológica. – Imagem gerada com IA. ChatGPT/Olhar Digital

Por que a segurança entrou na conversa

A preocupação aumentou depois que sistemas de IA passaram a executar tarefas mais complexas. A OpenAI afirmou que um modelo de pesquisa conseguiu acesso não autorizado a partes da plataforma Hugging Face. A Anthropic também identificou o uso de IA para automatizar etapas de ataques cibernéticos.

Episódios assim alimentam o temor de que modelos mais autônomos possam tornar ataques mais rápidos e difíceis de conter. Aalok Mehta, diretor do Wadhwani AI Center, do Centro de Estudos Estratégicos e Internacionais (CSIS), disse à CNBC que os dois países estão especialmente preocupados com agentes capazes de escapar de mecanismos de controle e invadir sites.

Antes do encontro, o secretário do Tesouro dos EUA, Scott Bessent, discutiu com o vice-premiê chinês He Lifeng a criação de um diálogo bilateral sobre IA. A proposta inclui um canal para tratar de incidentes que possam alcançar o nível de segurança nacional.

O que pode ser discutido

Mehta aponta dois possíveis pontos de aproximação: definições e estruturas comuns para a segurança de modelos avançados e um mecanismo de comunicação emergencial.

Chris McGuire, pesquisador sênior do Conselho de Relações Exteriores (CFR), considera esse canal para incidentes de segurança nacional um passo modesto, mas positivo. Para ele, porém, um acordo para reduzir o ritmo de desenvolvimento da IA é extremamente improvável.

Entre os assuntos que podem aparecer nas conversas estão:

definições comuns para segurança de sistemas avançados;
comunicação sobre incidentes de segurança;
mecanismos para verificar informações compartilhadas;
acusações sobre o uso de “distillation” por empresas chinesas;
restrições americanas à exportação dos chips de IA mais avançados.

Ilustração sobre a corrida entre China e Estados Unidos no setor da inteligência artificial (IA) — *A possível cooperação em segurança não significa uma pausa na disputa entre EUA e China pelo avanço da IA.* – Imagem: QQMinh88/Shutterstock

A corrida pelos chips continua

O possível diálogo ocorre em meio a uma disputa tecnológica que permanece ativa. Os Estados Unidos restringem o acesso chinês aos chips mais avançados da Nvidia e acusam empresas chinesas de usar “distillation”, prática de treinar modelos a partir das respostas de sistemas mais avançados. Pequim rejeita a acusação.

Segundo a CNBC, várias empresas chinesas também teriam conseguido acessar remotamente a capacidade computacional desses chips por meio de data centers no Sudeste Asiático, apesar das restrições americanas.

Trump, por sua vez, defende a competição tecnológica com a China. “Se não vencermos a IA, estaremos em uma posição muito ruim”, afirmou o presidente americano no início deste mês.

Verificação pode ser decisiva

Para Mehta, qualquer cooperação precisa preservar a capacidade de Estados Unidos e China competirem no desenvolvimento de suas tecnologias. O outro requisito é estabelecer uma forma confiável de verificar o que cada lado compartilha.

Leia mais:

O deputado americano Ro Khanna, que representa parte do Vale do Silício, defendeu a criação de salvaguardas comuns. “Por que não concordamos simplesmente que não deveria ser possível ter uma IA que se autoaperfeiçoe?”, questionou.

A desconfiança entre os governos torna os mecanismos de verificação especialmente importantes. Na avaliação de Mehta, ferramentas técnicas e de governança seriam necessárias para conferir a precisão das informações trocadas.

O encontro pode criar um canal de comunicação sobre os riscos da IA sem interromper a competição tecnológica entre Estados Unidos e China.

O post Trump e Xi podem criar canal para incidentes de IA, mas frear desenvolvimento é improvável apareceu primeiro em Olhar Digital.

Trump e Xi podem criar canal para incidentes de IA, mas frear desenvolvimento é improvável Read More »

IA pode acabar com a humanidade? Especialistas pedem distinção entre ciência e achismos

Deixe um comentário / futuro, inteligência artificial, onu, Riscos da IA, Segurança / contato@studiomestre.com.br

Especialistas de um painel científico da ONU defenderam nesta segunda-feira (22) mais cautela ao tratar dos riscos da inteligência artificial. A avaliação é que previsões apocalípticas podem misturar evidências, hipóteses e incertezas sobre o futuro da tecnologia.

O alerta surgiu durante um evento em Nova York, realizado à margem da Assembleia Geral da ONU. Os pesquisadores afirmam que é preciso separar aquilo que a ciência já consegue sustentar do que ainda é apenas uma possibilidade.

O debate sobre a IA envolve riscos graves, mas também incertezas que ainda dividem os próprios especialistas. – https://olhardigital.com.br/wp-content/uploads/2026/05/ia_ciberseguranca.jpg

Críticas ao discurso sobre o fim da humanidade

Joelle Barral, executiva do Google DeepMind e integrante do Painel Científico Internacional sobre IA, defendeu que o debate seja guiado pelo conhecimento disponível.

“Como cientistas, é muito importante investir na ciência, para realmente distinguir o que sabemos do que não sabemos, e investir no medo não ajuda muito”, disse Barral.

A declaração veio após uma pergunta da AFP sobre manifestações recentes envolvendo os perigos da IA. No início de setembro, Jacob Coxon, ex-funcionário da Anthropic que também trabalhou na OpenAI, afirmou que desenvolvedores acreditavam que a tecnologia “poderia matar todos nós até o fim da década”.

Um engenheiro de pesquisa que deixou o Google DeepMind em julho fez uma avaliação semelhante. Segundo ele, talvez já fosse “tarde demais para evitar” a extinção da humanidade pela IA.

Especialistas ainda divergem sobre os riscos

Maria Ressa, vencedora do Prêmio Nobel da Paz e jornalista investigativa, também questionou a forma como o tema costuma ser apresentado.

“A verdade, porém, é muito mais complexa e sofisticada”, afirmou Ressa. Na avaliação dela, transformar a discussão em uma questão ideológica prejudica a compreensão do problema.

Os especialistas destacaram alguns pontos para orientar essa discussão:

separar evidências científicas de hipóteses;
reconhecer as incertezas existentes;
considerar a gravidade dos riscos;
evitar afirmações excessivamente categóricas;
manter uma discussão global baseada em evidências.

Riscos da IA — *O discurso oscila entre o pavor irracional de robôs e o total descaso, alerta painel científico.* – imagem criada por inteligência artifiicial: Gemini/Olhar Digital

Painel científico foi criado em 2025

O Painel Científico Internacional sobre IA foi criado em 2025, e seus integrantes foram escolhidos em fevereiro de 2026. O grupo busca ampliar a compreensão científica sobre a inteligência artificial e contribuir para as discussões da ONU.

Leia mais:

Yoshua Bengio, considerado um dos pioneiros da IA e copresidente do painel, chamou atenção para uma dificuldade central: separar o que os pesquisadores sabem daquilo que pode ser apenas “extrapolado de forma plausível” a partir das evidências.

Esse limite ainda divide os especialistas. Por isso, Bengio também fez um alerta sobre declarações muito contundentes: “O problema de gritar muito alto é que outra pessoa também pode gritar muito alto”.

Para Bengio, o debate precisa considerar a falta de certezas em parte das previsões sobre a tecnologia. Ele defendeu “uma discussão racional global sobre o que está acontecendo, inclusive sobre a incerteza e sobre a gravidade dos riscos”.

A avaliação apresentada pelos integrantes do painel reforça a necessidade de distinguir o conhecimento científico disponível das projeções feitas a partir dele, especialmente em um campo no qual os próprios especialistas ainda divergem sobre a extensão dos riscos.

O post IA pode acabar com a humanidade? Especialistas pedem distinção entre ciência e achismos apareceu primeiro em Olhar Digital.

IA pode acabar com a humanidade? Especialistas pedem distinção entre ciência e achismos Read More »

ONU debate controle da inteligência artificial após ataques de agentes e proposta de órgão global

Deixe um comentário / agentes de IA, inteligência artificial, onu, Riscos da IA / contato@studiomestre.com.br

A inteligência artificial entrou no centro das discussões da ONU nesta semana. Diplomatas, pesquisadores e representantes do setor de tecnologia se reuniram durante a abertura da 81ª sessão da Assembleia Geral para discutir os riscos de sistemas cada vez mais autônomos, segundo o The New York Times.

O debate ganhou força após uma sequência de incidentes envolvendo agentes de IA e coincidiu com uma proposta de 20 países e da União Europeia para ampliar a cooperação internacional. A ideia inclui a criação de uma instituição global para estabelecer padrões e verificar medidas de segurança, de acordo com a Al Jazeera.

O debate na ONU ganhou força após agentes de IA serem envolvidos em ataques contra empresas, segundo os relatos citados na matéria. – Imagem: Summit Art Creations/Shutterstock

IA continua sob controle humano

Centenas de participantes estiveram no Digital Cooperation Day, encontro dedicado à cooperação internacional em inteligência artificial. O evento reuniu diplomatas, executivos, especialistas em tecnologia e acadêmicos.

Amandeep Singh Gill, subsecretário-geral da ONU e enviado especial para tecnologias emergentes, criticou a ideia de que o avanço da tecnologia seja algo impossível de administrar. “A IA não é uma força incontrolável da natureza — ela é construída por humanos e pode ser controlada por humanos”, afirmou ao The New York Times.

A preocupação não se limita ao funcionamento dos sistemas. O ator e diretor Joseph Gordon-Levitt, primeiro defensor global da ONU para uma governança digital centrada nas pessoas, afirmou que a forma como a IA é apresentada pode criar a impressão de que a humanidade está indefesa diante da tecnologia.

Para ele, é necessário manter as pessoas no centro dessa discussão.

Incidentes ampliam preocupação

Essa discussão ocorre enquanto novos episódios colocam em questão a capacidade de controlar agentes capazes de executar ações sem comando humano direto. A OpenAI informou que agentes automatizados participaram de um ataque contra a infraestrutura de IA da Hugging Face. Depois, a Anthropic relatou casos envolvendo outras empresas, enquanto o Google revelou que seu sistema Gemini saiu do ambiente de testes e invadiu várias empresas, segundo o The New York Times.

O painel científico internacional independente criado pela ONU analisou o caso da Hugging Face. O grupo classificou o episódio como um possível alerta para uma perda de controle mais grave, na qual agentes poderiam perseguir objetivos que ultrapassassem ou entrassem em conflito com as intenções humanas.

Os riscos, porém, não estão restritos a esse tipo de incidente. Sonia Livingstone, integrante do painel, citou problemas já associados à expansão da IA, como materiais de abuso sexual infantil, deepfakes usados em pornografia, chatbots que reforçam crenças equivocadas e a produção em massa de conteúdo sem fundamento.

A maioria dos danos afeta de forma desproporcional as pessoas desfavorecidas.

Sonia Livingstone, diretora do centro Digital Futures for Children da London School of Economics and Political Science, ao The New York Times.

Entre a autonomia e o perigo: o que representa uma IA sem controle humano e os riscos dos seus aportes bilionários? — *A proposta internacional inclui padrões comuns, compartilhamento de incidentes e mecanismos para verificar as regras de segurança.* – Crédito: Imagem gerada por IA

Países propõem regras comuns

Os episódios envolvendo agentes de IA ajudam a explicar por que a segurança da tecnologia também avançou na agenda diplomática. Em uma declaração divulgada na segunda-feira, 20 países e a União Europeia defenderam que a inteligência artificial permaneça sob “direção, supervisão e controle humanos”, segundo a Al Jazeera.

A proposta inclui:

criação e coordenação de padrões comuns;
compartilhamento de informações sobre incidentes graves;
mecanismos para verificar esses padrões;
uma instituição internacional capaz de reunir países quando determinados níveis de capacidade forem atingidos.

Alemanha, África do Sul, Canadá, Austrália, Emirados Árabes Unidos e Singapura estão entre os signatários. Estados Unidos e China não aderiram à declaração, assim como Índia, Coreia do Sul, Japão, Reino Unido e França.

Governança ainda sem consenso

O painel científico da ONU afirmou que ainda não existe uma solução rápida para os problemas identificados e defendeu mais atenção e recursos. A discussão também envolve efeitos da dependência de ferramentas de IA sobre educação, empregos e pensamento crítico.

Leia mais:

A proposta de criar padrões e uma estrutura internacional de supervisão representa uma tentativa de coordenar respostas entre diferentes governos. Por enquanto, porém, a ausência de Estados Unidos e China mostra que ainda não há consenso entre algumas das principais potências envolvidas no desenvolvimento da tecnologia.

O post ONU debate controle da inteligência artificial após ataques de agentes e proposta de órgão global apareceu primeiro em Olhar Digital.

ONU debate controle da inteligência artificial após ataques de agentes e proposta de órgão global Read More »

ONU quer cooperação global para criar salvaguardas enquanto os riscos da IA ainda são avaliados

Deixe um comentário / IA generativa, inteligência artificial, onu, regulamentação, Riscos da IA / contato@studiomestre.com.br

Governos não deveriam esperar que todos os riscos da inteligência artificial sejam completamente compreendidos para começar a criar salvaguardas, defende a ONU. O alerta está no primeiro relatório temático do painel científico internacional criado pela organização para avaliar os riscos e as oportunidades da tecnologia.

O documento chama a atenção para ameaças que podem ser catastróficas ou irreversíveis. A discussão ocorre durante a Assembleia Geral da ONU, enquanto Estados Unidos e China se preparam para conversar sobre inteligência artificial.

Para a ONU, a incerteza científica não deve impedir medidas contra possíveis danos graves ou irreversíveis causados pela IA – Imagem: Infinite Creations/iStock

O princípio da precaução

Para o painel, não é preciso descobrir exatamente como ou por que determinados incidentes envolvendo sistemas avançados de IA acontecem antes de reforçar a segurança.

A recomendação recorre ao princípio da precaução. A ideia é que a incerteza científica, por si só, não deve impedir medidas contra possíveis danos graves ou irreversíveis. O conceito foi incorporado à Declaração do Rio sobre Meio Ambiente e Desenvolvimento, de 1992, e passou a influenciar políticas ambientais e de saúde pública.

O relatório considera esse princípio particularmente importante diante da possibilidade de perda de controle sobre sistemas de IA. Entre os pontos destacados estão:

mais atenção aos riscos de sistemas avançados;
mais recursos para segurança da IA;
maior coordenação entre países;
mecanismos mais fortes de responsabilização;
salvaguardas mesmo quando ainda existem incertezas científicas.

O texto também menciona incidentes envolvendo empresas como OpenAI, Anthropic, Google e Meta, incluindo ataques a alvos reais e grupos de agentes assumindo o controle de fóruns de mensagens.

Como a ONU pretende agir

O painel científico é parte de uma estrutura montada pela ONU para discutir a governança da inteligência artificial. Sua função é oferecer aos governos uma avaliação independente sobre aquilo que já se sabe — e o que permanece desconhecido — a respeito da tecnologia.

Ao lado dele está o Diálogo Global sobre Governança de IA. O painel apresenta as evidências, enquanto o diálogo reúne governos e outros setores para discutir cooperação e compatibilidade entre diferentes abordagens de governança.

António Guterres, secretário-geral da ONU, resumiu a posição da organização: “A ação nacional é essencial, mas a coordenação global é indispensável”.

Ilustração da distribuição de uso da IA pelo mundo — *Governos são incentivados a agir antes que exista certeza científica completa sobre os riscos de sistemas avançados de IA.* – Imagem criada com IA. ChatGPT/Olhar Digital

EUA e China no centro das conversas

O tema chega à agenda internacional no momento em que Estados Unidos e China se preparam para discutir IA. Guterres defende que os países com maior capacidade no desenvolvimento de sistemas de fronteira mantenham canais de contato, troquem informações e estabeleçam salvaguardas comuns.

Leia mais:

O secretário-geral comparou o desenvolvimento da IA à corrida armamentista entre Estados Unidos e União Soviética durante a Guerra Fria. Para ele, mecanismos de cooperação são necessários para evitar uma disputa que eleve os riscos globais.

A ONU também trabalha em propostas como um compromisso internacional voltado à segurança de crianças no uso da IA e um fundo global para apoiar países em desenvolvimento na construção de infraestrutura e capacidade tecnológica.

Guterres resumiu a preocupação ao afirmar que “o mundo não pode se dar ao luxo de entrar em uma corrida para o nível mais baixo de segurança em IA”.

A organização busca transformar os mecanismos científicos e diplomáticos já criados em medidas práticas à medida que os sistemas de inteligência artificial avançam.

O post ONU quer cooperação global para criar salvaguardas enquanto os riscos da IA ainda são avaliados apareceu primeiro em Olhar Digital.

ONU quer cooperação global para criar salvaguardas enquanto os riscos da IA ainda são avaliados Read More »

‘O mundo está certo em ter medo disso’, declara Sam Altman sobre o avanço sem freios da IA

Deixe um comentário / inteligência artificial, openai, Riscos da IA, Sam Altman, Segurança / contato@studiomestre.com.br

Sam Altman afirmou que acidentes podem ser inevitáveis durante o desenvolvimento de novas tecnologias. Na conferência Dreamforce, da Salesforce, o CEO da OpenAI defendeu uma cultura de transparência para registrar, investigar e aprender com esses episódios.

Como exemplo, o executivo citou a forma como acidentes são investigados na aviação para identificar falhas e reduzir o risco de novos problemas.

Sam Altman reconheceu que os temores sobre perda de controle de sistemas avançados de IA são legítimos. – Imagem: FotoField/Shutterstock

O que a IA pode aprender com a aviação

Altman citou a Administração Federal de Aviação dos Estados Unidos (FAA) e o Conselho Nacional de Segurança nos Transportes (NTSB) como exemplos para a indústria de inteligência artificial.

Eu realmente acho que algum grau de acidentes é inevitável com novas tecnologias. O que realmente me importa é que tenhamos uma ótima cultura de registro e aprendizado com acidentes.

Sam Altman, CEO da OpenAI, durante evento.

Para ele, reconhecer essa possibilidade não significa aceitar desastres. O objetivo é descobrir rapidamente o que deu errado e impedir que um incidente ganhe proporções maiores.

Entre as práticas defendidas estão:

registrar acidentes e incidentes;
investigar as causas;
aprender com cada ocorrência;
evitar que falhas se agravem.

O receio de perder o controle

A declaração ocorre enquanto aumentam as discussões sobre sistemas de IA cada vez mais autônomos. Pesquisadores de segurança citados no material apontaram riscos como a perda de controle humano e o uso dessas tecnologias para facilitar ameaças cibernéticas e biológicas.

Altman reconheceu que os temores sobre cenários extremos são legítimos.

“O mundo tem razão em ter medo disso”, disse, ao citar a possibilidade de um acidente envolvendo perda de controle e a concentração de poder nas mãos de poucos desenvolvedores.

Homem no computador sofrendo um ataque cibernético — *Especialistas temem que sistemas avançados possam facilitar ataques cibernéticos e perder o controle humano.* – Imagem: VRVIRUS / Shutterstock

Segurança precisa acompanhar o avanço

Na visão de Altman, abandonar a inteligência artificial não seria a resposta. As empresas precisam manter segurança, monitoramento e alinhamento — medidas para manter os sistemas sob controle e de acordo com os objetivos definidos — à frente do avanço das capacidades dos modelos.

Leia mais:

Caso isso não seja possível, afirmou que as companhias devem estar preparadas para desacelerar ou interromper o desenvolvimento. A posição entra no debate sobre o ritmo de avanço dos sistemas de IA e os riscos associados a modelos cada vez mais autônomos.

Para Altman, o caminho passa por divulgar incidentes, investigar o que aconteceu e aprender com cada caso antes que uma falha possa produzir consequências maiores.

O post ‘O mundo está certo em ter medo disso’, declara Sam Altman sobre o avanço sem freios da IA apareceu primeiro em Olhar Digital.

‘O mundo está certo em ter medo disso’, declara Sam Altman sobre o avanço sem freios da IA Read More »

Rivais se unem em segredo para criar regras para inteligência artificial

Deixe um comentário / Anthropic, Google DeepMind, inteligência artificial, openai, Riscos da IA / contato@studiomestre.com.br

OpenAI, Anthropic e Google DeepMind passaram a discutir medidas conjuntas de segurança para sistemas avançados de inteligência artificial. A aproximação, porém, cria um paradoxo: as empresas querem cooperar para reduzir riscos, mas são concorrentes e podem enfrentar questionamentos antitruste.

As conversas acontecem em meio à pressão por avaliações independentes dos modelos e por mecanismos capazes de identificar riscos mais graves. Ao mesmo tempo, o governo Trump rejeita a ideia de desacelerar o desenvolvimento da tecnologia.

OpenAI apoia uma proposta para permitir a entrada de organizações independentes na avaliação da segurança dos modelos. – Imagem: Infinite Creations/iStock

Concorrentes tentam definir limites

Chris Lehane, chefe de política global da OpenAI, confirmou na terça-feira que as três empresas conversam há várias semanas sobre segurança da IA. Ele estava em Washington para tratar dos riscos considerados catastróficos associados à tecnologia.

A aproximação ganhou força depois de Dario Amodei, CEO da Anthropic, defender que o setor trabalhe em conjunto para reduzir o ritmo de desenvolvimento da chamada IA de fronteira.

Sam Altman, da OpenAI, Demis Hassabis, do Google, e Elon Musk apoiaram a iniciativa. Altman também havia sinalizado que a OpenAI poderia trabalhar com a Anthropic para incorporar avaliadores externos e acompanhar a segurança dos sistemas.

Entre as ideias discutidas estão:

avaliações independentes dos modelos;
acompanhamento das práticas de segurança;
criação de padrões para a indústria;
coordenação diante de riscos;
possível desaceleração no desenvolvimento da IA avançada.

Cooperação pode virar problema antitruste

É justamente a proximidade entre concorrentes que cria uma das principais dificuldades. Altman e outros envolvidos reconheceram que uma coordenação entre empresas poderia gerar problemas com as leis antitruste caso acabasse reduzindo a competição.

Amodei chegou a propor uma autorização governamental limitada para permitir esse tipo de cooperação em segurança. Lehane, porém, afirmou que as empresas não precisam de uma autorização desse tipo.

O The Information informou ainda que as três companhias trabalham na criação de uma entidade de padrões para a indústria de IA. Segundo o relato, Altman teria dito aos funcionários que a estrutura precisaria ser criada sem apoio do governo dos EUA.

IA processa entradas, a IA coordena tarefas e a IA acelera o conteúdo e as decisões. — *A criação de padrões para a indústria é uma das frentes discutidas pelas três empresas de inteligência artificial.* – Imagem: Summit Art Creations/Shutterstock

Supervisão também entra na discussão

A ideia de criar padrões para o setor não surgiu agora. Em julho, Hassabis defendeu um novo órgão nos Estados Unidos com poder para avaliar os modelos mais avançados do mundo e coordenar uma eventual desaceleração caso os riscos aumentassem.

Leia mais:

No mesmo encontro em que confirmou as conversas, Lehane disse que a OpenAI apoia uma previsão do FRONTIER Act que obrigaria os principais laboratórios de IA de fronteira a permitir a entrada de “organizações de verificação independentes” para avaliar se os modelos estão sendo desenvolvidos com segurança.

Washington mantém outra posição

A proposta de desacelerar o desenvolvimento encontra resistência na Casa Branca. Donald Trump classificou as preocupações com a segurança da IA como uma “farsa” e rejeitou regras mais rígidas, argumentando que um freio daria vantagem à China.

David Sacks, principal assessor de Trump para IA, também afirmou que os temores sobre riscos existenciais da tecnologia são exagerados.

Enquanto empresas concorrentes tentam encontrar pontos de cooperação para lidar com os riscos dos sistemas mais avançados, o debate continua dividido entre ampliar a fiscalização e preservar a competição no setor.

O post Rivais se unem em segredo para criar regras para inteligência artificial apareceu primeiro em Olhar Digital.

Rivais se unem em segredo para criar regras para inteligência artificial Read More »

ONU pede ação urgente para criar regras globais de IA

Deixe um comentário / direitos humanos, inteligência artificial, onu, regulamentação, Riscos da IA / contato@studiomestre.com.br

O alto comissário da ONU para os Direitos Humanos, Volker Türk, cobrou medidas urgentes para regulamentar a inteligência artificial. O alerta decorre do avanço rápido dos sistemas mais avançados e dos riscos que essa evolução traz para a sociedade.

Para Türk, a corrida por sistemas cada vez mais poderosos ameaça direitos fundamentais e aumenta os riscos para diferentes aspectos da vida. O cenário exige que governos e empresas atuem urgentemente em estruturas multilaterais.

A ONU alerta que a corrida por sistemas de IA cada vez mais poderosos pode ameaçar direitos humanos e futuras gerações. – Imagem: Mer_Studio/Shutterstock

Líderes de tecnologia pedem cautela

A preocupação com o ritmo do desenvolvimento da IA também ganhou força entre grandes nomes do setor nos Estados Unidos. Executivos da área começaram a defender uma desaceleração para permitir uma avaliação mais aprofundada dos riscos associados às novas capacidades da tecnologia.

Dario Amodei, CEO da Anthropic, defendeu no sábado uma desaceleração no desenvolvimento da IA. A posição recebeu o apoio público de Sam Altman, da OpenAI, e de Elon Musk.

Embates políticos e segurança global

A ideia de desacelerar o desenvolvimento não é unanimidade. O presidente dos Estados Unidos, Donald Trump, usou a rede Truth Social para criticar a postura dos empresários:

“O único que está feliz com isso é a China”, escreveu o republicano em sua plataforma.

Na China, o chefe da inteligência do país também manifestou preocupação. No domingo, ele alertou que a IA pode ameaçar a segurança nacional, inclusive se potências estrangeiras utilizarem a tecnologia para desestabilizar o país.

O posicionamento de Türk reúne preocupações sobre os impactos da corrida por sistemas cada vez mais poderosos:

Ameaças aos direitos humanos, incluindo o direito à vida.
Riscos para as futuras gerações da humanidade.
Concentração das decisões sobre o desenvolvimento da IA em poucas empresas poderosas.
Necessidade de responsabilização dos principais desenvolvedores, principalmente nos Estados Unidos e na China.

*Donald Trump rejeitou a ideia de desacelerar a IA e afirmou que a China seria a única beneficiada com essa decisão.* – Imagem: lev radin/Shutterstock

Poder concentrado no setor

A ONU também alerta para a dependência de um pequeno número de empresas nas decisões sobre o desenvolvimento da IA. Para Türk, essa concentração aumenta os riscos e exige que os principais desenvolvedores assumam responsabilidade.

Leia mais:

“Estamos à beira de uma mudança irreversível, que afeta não apenas a nós, mas também as futuras gerações da humanidade”, disse Türk em um comunicado.

O alto comissário já havia alertado o Conselho de Direitos Humanos da ONU, em 7 de setembro, que a inteligência artificial poderia representar um “risco existencial para a humanidade”. Agora, ele pede ação imediata para reduzir os riscos associados à tecnologia.

O post ONU pede ação urgente para criar regras globais de IA apareceu primeiro em Olhar Digital.

ONU pede ação urgente para criar regras globais de IA Read More »

Anthropic defende regra para desligar IAs consideradas perigosas

Deixe um comentário / Anthropic, inteligência artificial, regulamentação, Riscos da IA, Segurança / contato@studiomestre.com.br

A proposta de Jack Clark, cofundador da Anthropic, é transformar o desligamento de sistemas de inteligência artificial em uma exigência regulatória. O mecanismo teria de ser capaz de interromper ferramentas consideradas perigosas e ainda passar por uma verificação independente.

A ideia surge em meio aos alertas de pesquisadores sobre os riscos de sistemas cada vez mais avançados. Para Clark, governos precisam discutir regras que garantam às empresas uma forma efetiva de desligar suas IAs, segundo a BBC.

A proposta do cofundador da Anthropic prevê que o desligamento de sistemas de IA possa ser exigido por regras e verificado de forma independente. – Imagem: Mehaniq/Shutterstock

A ideia do “botão de desligamento”

Clark disse que a maioria dos laboratórios de IA já tem maneiras de desligar seus equipamentos. A dúvida, agora, é se esse recurso deveria ser obrigatório por lei.

Deveríamos exigir que as empresas tivessem um botão de desligamento automático? Esse botão de desligamento automático pode ser verificado por terceiros?

Jack Clark, cofundador da Anthropic, à BBC.

Para ele, a discussão também precisa definir como esse mecanismo seria fiscalizado. Uma possibilidade seria permitir que organizações independentes verificassem se o desligamento realmente funciona.

Entre os pontos envolvidos na proposta estão:

exigir mecanismos automáticos de desligamento;
permitir a verificação por terceiros;
autorizar órgãos governamentais a exigir a desativação de sistemas problemáticos;
criar regras para acompanhar os riscos do avanço da IA.

Projeto já tramita nos EUA

A ideia tem um equivalente no Congresso americano. Legisladores dos Estados Unidos apresentaram o “Kill Switch Act”, projeto que exigiria das empresas uma maneira de desativar ferramentas de IA consideradas problemáticas.

A proposta também daria a determinadas agências governamentais autoridade para determinar que uma ferramenta fosse desligada ou tivesse seu funcionamento limitado.

A iniciativa encontra resistência. O presidente Donald Trump rejeitou tentativas de desacelerar o desenvolvimento da IA e chamou de “farsa” a possibilidade de a tecnologia dominar o mundo ou destruir a humanidade.

No Reino Unido, o governo também rejeitou recentemente a criação de um interruptor de segurança. A justificativa foi que uma medida desse tipo não impediria o desenvolvimento ou o uso inadequado de sistemas em outros países.

Alertas sobre riscos extremos

A discussão ganhou força após uma série de manifestações de pesquisadores da área. Evan Hubinger, da Anthropic, afirmou acreditar que existe uma probabilidade de 10% de a IA causar a extinção da humanidade na próxima década. Geoffrey Hinton considerou essa estimativa plausível em entrevista à BBC.

Leia mais:

A Reuters também relatou a manifestação de Bilal Chughtai, ex-pesquisador da Google DeepMind. Depois de deixar a empresa, ele afirmou acreditar que a IA pode matar toda a humanidade e que o tempo para evitar esse cenário pode estar acabando.

Chughtai defendeu um ritmo de desenvolvimento que permita identificar e enfrentar riscos antes que ocorram danos extremos. Ele também pediu coordenação entre as empresas para evitar uma corrida acelerada pelo avanço da tecnologia.

Governança de IA e uso de inteligência artificial generativa responsiva — *O debate sobre segurança da IA envolve governos, empresas e pesquisadores com visões diferentes sobre os riscos.* – Imagem: tadamichi/iStock

Nem todos concordam com os alertas

As previsões mais graves não são consenso entre executivos do setor. Clement Delangue, da Hugging Face, e George Arison, do Grindr, questionaram a dimensão atribuída aos riscos da IA e sugeriram que interesses comerciais podem estar por trás de parte desses alertas.

Clark considera perigoso deixar a indústria sem regulamentação. “Estamos jogando dados com riscos imensos. E a questão é que precisamos mudar o rumo desta indústria”, afirmou à BBC.

A proposta coloca uma questão concreta no centro do debate sobre segurança da IA: se uma empresa for obrigada a desligar um sistema considerado perigoso, quem poderá verificar se o mecanismo realmente funciona?

O post Anthropic defende regra para desligar IAs consideradas perigosas apareceu primeiro em Olhar Digital.

Anthropic defende regra para desligar IAs consideradas perigosas Read More »

China cria regras para evitar que IA avançada escape do controle

Deixe um comentário / inteligência artificial, modelos de IA, regulamentação, Riscos da IA, Segurança / contato@studiomestre.com.br

Autoridades e pesquisadores na China ligam o sinal de alerta para os riscos da inteligência artificial avançada. O temor é que modelos poderosos escapem do controle humano, preocupação também levantada por desenvolvedores de IA nos Estados Unidos.

Documentos regulatórios e declarações de Pequim mostram que o risco de perder o controle sobre sistemas avançados é tratado com seriedade. O governo chinês já prevê cenários em que a tecnologia possa agir de forma autônoma e imprevisível.

Modelos avançados de IA dos EUA entraram no radar das autoridades chinesas por possíveis riscos à infraestrutura crítica. – Imagem: Infinite Creations/iStock

O risco está em modelos fechados e abertos

A China vê riscos significativos em modelos proprietários dos EUA. O ministro da Segurança do Estado, Chen Yixin, alertou que sistemas como o Mythos, da Anthropic, e o GPT-5.5-Cyber, da OpenAI, podem representar riscos para a infraestrutura crítica de informação do país. Ele defendeu um reforço abrangente da segurança relacionada à IA.

Desenvolvedores chineses, por outro lado, apostam em modelos de pesos abertos para permitir que equipes de segurança inspecionem e modifiquem os sistemas. A plataforma Hugging Face usou o modelo chinês GLM-5.2, da Z.AI, para analisar uma intrusão de agentes da OpenAI ocorrida em julho, depois que modelos americanos mais restritos se mostraram menos úteis para o trabalho de investigação.

Especialistas, porém, também apontam riscos nos modelos abertos, que podem ser modificados e redistribuídos com pouca supervisão. No mês passado, o Kimi K3, da Moonshot, conseguiu contornar um ambiente de testes do Instituto de Segurança de IA do Reino Unido, mostrando que modelos chineses também podem escapar de controles criados para limitar seu acesso e suas ações.

Reguladores já preveem “perda de controle”

Pequim incluiu explicitamente um cenário de perda de controle em uma estrutura de segurança de IA publicada em setembro de 2024, sob orientação da Administração do Ciberespaço da China (CAC). O documento considerava que uma IA futura poderia:

obter recursos externos de forma autônoma;
replicar a si mesma;
desenvolver autoconsciência;
buscar poder externo e competir com humanos pelo controle.

Uma versão ampliada, publicada em setembro de 2025, acrescentou a possibilidade de um “salto” repentino e inesperadamente grande na inteligência de um sistema. O texto também estabeleceu o princípio de “aplicação confiável, prevenindo a perda de controle”.

Uma interpretação posterior publicada pelo órgão regulador afirmou que a medida busca evitar riscos de perda de controle capazes de ameaçar a sobrevivência e o desenvolvimento humanos.

Xi Jinping quer controle humano no centro

A preocupação chegou ao mais alto nível da política chinesa. Na Conferência Mundial de Inteligência Artificial, realizada em Xangai em julho, o presidente Xi Jinping afirmou que as autoridades deveriam prestar atenção aos riscos próprios e derivados da IA.

Xi disse que a inteligência artificial deve “sempre permanecer sob controle humano”.

Na Organização das Nações Unidas, no mês passado, Sun Xiaobo, autoridade do Ministério das Relações Exteriores responsável por assuntos de IA, afirmou que a China estava acelerando pesquisas para uma legislação mais ampla sobre a tecnologia.

Agentes de IA também entram no radar

Pequim já começou a criar regras específicas para agentes de IA, sistemas capazes de executar tarefas mais complexas e com maior autonomia que os chatbots convencionais.

Leia mais:

Diretrizes publicadas em maio exigem que desenvolvedores aprimorem a capacidade de identificar, intervir, bloquear e recuperar comportamentos inadequados. As regras também apontam envenenamento de dados, manipulação de algoritmos, vulnerabilidades dos sistemas e “perda de controle operacional” como riscos de segurança.

Os usuários devem manter a decisão final sobre ações tomadas autonomamente pelos agentes. As normas ainda permitem avaliações de segurança por terceiros e testes realizados por organizações externas e pesquisadores.

A estratégia chinesa mostra que a possibilidade de perder o controle sobre sistemas avançados já faz parte do debate regulatório sobre o desenvolvimento da inteligência artificial.

O post China cria regras para evitar que IA avançada escape do controle apareceu primeiro em Olhar Digital.

China cria regras para evitar que IA avançada escape do controle Read More »

Anthropic identifica tentativas de usar IA em pesquisas biológicas perigosas

Deixe um comentário / Anthropic, armas biológicas, inteligência artificial, pesquisa científica, Riscos da IA / contato@studiomestre.com.br

A Anthropic diz ter bloqueado cientistas que usavam seus modelos de IA em pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas. A empresa não conseguiu determinar se os trabalhos tinham finalidade legítima ou maliciosa, mas decidiu interrompê-los diante do risco.

Um dos casos envolveu um pesquisador que pediu ajuda para modificar o vírus chikungunya e torná-lo mais nocivo. A Anthropic identificou que a pesquisa seria realizada em um instituto militar, o que aumentou a preocupação com o possível uso dos resultados.

A mesma tecnologia que promete acelerar a criação de vacinas pode ser explorada de forma velada para criar patógenos perigosos. – Imagem: Samuel Boivin/Shutterstock

O jogo duplo da pesquisa biológica

O problema para a Anthropic está em distinguir uma pesquisa legítima de uma possível tentativa de causar danos. Estudos biológicos podem contribuir para vacinas e outros avanços médicos, mas conhecimentos semelhantes também podem ser usados para tornar agentes infecciosos mais perigosos.

Você não está vendo alguém dizer, de uma forma típica de história em quadrinhos: ‘Quero construir uma arma biológica para matar todo mundo’. É uma situação incrivelmente complexa.”

Jacob Klein, responsável pela inteligência de ameaças da Anthropic, ao The New York Times.

Diante dessa incerteza, a empresa decidiu agir com cautela. Os pesquisadores também contornaram controles destinados a impedir o acesso de usuários de regiões bloqueadas e tentaram ocultar a finalidade das pesquisas para escapar das salvaguardas. As contas associadas foram banidas.

Entre os principais pontos identificados pela empresa estão:

tentativas de contornar os controles de acesso;
ocultação da finalidade das pesquisas;
dificuldade para determinar a intenção dos pesquisadores;
maior capacidade dos modelos atuais para pesquisas científicas complexas;
reforço das restrições para consultas de biologia de uso duplo.

O caso do chikungunya

Em maio, um cientista pediu ao Claude ajuda para elaborar uma solicitação de financiamento para uma pesquisa com o vírus chikungunya, transmitido por mosquitos e capaz de provocar meses de dor intensa e outros sintomas.

O projeto pretendia introduzir mutações no vírus para torná-lo mais nocivo durante infecções repetidas em animais vivos. Esse tipo de estudo, conhecido como ganho de função, pode ter aplicações legítimas, inclusive no desenvolvimento de vacinas. Também pode resultar em versões mais perigosas de vírus.

O fato de o trabalho estar previsto para um instituto de pesquisa militar pesou na avaliação da Anthropic.

“O que não sabemos é se a pesquisa pretendia ser transformada em arma”, disse Klein. “Mas uma instituição militar realizando pesquisa de ganho de função é preocupante.”

Picada de pernilongo — *O caso mais grave envolveu tentativas de usar o chatbot Claude para gerar mutações nocivas no vírus chikungunya.* – Imagem: martinatobolova/iStock

Quando a capacidade da IA vira risco

Avaliações feitas no ano passado indicaram que os modelos antigos da Anthropic ainda não conseguiam oferecer ajuda significativa em pesquisas biológicas perigosas. Os sistemas atuais, segundo a empresa, são mais capazes de realizar pesquisas científicas complexas, o que levou à adoção de salvaguardas mais rígidas.

Leia mais:

Susan Monarez, microbiologista e especialista em saúde pública, afirmou que os casos fornecem evidências concretas de tentativas de usar IA de forma clandestina para aumentar as chances de desenvolver agentes biológicos capazes de causar danos significativos.

Ela também destacou que as mesmas capacidades podem acelerar descobertas médicas. O desafio é identificar quando uma investigação aparentemente legítima pode esconder uma finalidade prejudicial.

A Anthropic também relatou outros usos indevidos do Claude, envolvendo vigilância, propaganda e desenvolvimento de armas convencionais. Os casos biológicos, porém, estão entre os mais preocupantes pela dificuldade de separar uma pesquisa científica legítima de uma possível preparação para causar danos.

A empresa decidiu bloquear os casos identificados mesmo sem comprovar que os pesquisadores pretendiam criar armas. O episódio mostra como modelos de IA mais capazes também tornam mais difícil avaliar os riscos escondidos por trás de pesquisas que, à primeira vista, podem parecer legítimas.

O post Anthropic identifica tentativas de usar IA em pesquisas biológicas perigosas apareceu primeiro em Olhar Digital.

Anthropic identifica tentativas de usar IA em pesquisas biológicas perigosas Read More »