Anthropic

Auto Added by WPeMatico

destaque donald trump e jensen huang 1024x576

Frear ou acelerar? IA coloca gigantes da tecnologia em lados opostos

O debate sobre a velocidade com que a inteligência artificial (IA) deve avançar ganhou nova dimensão nos Estados Unidos. Depois de alertas sobre os riscos da tecnologia e de pedidos para desacelerar o desenvolvimento dos modelos mais avançados, dois grupos distintos passaram a se destacar na discussão sobre segurança e regulação da IA.

De um lado estão o presidente dos Estados Unidos, Donald Trump, o CEO da Nvidia, Jensen Huang, e o ex-“czar” de criptomoedas da Casa Branca David Sacks. Do outro, aparecem o CEO da Anthropic, Dario Amodei, o CEO da OpenAI, Sam Altman, o empresário Elon Musk e pesquisadores de IA.

O cenário reúne adversários políticos e antigos rivais da indústria de tecnologia em torno de posições diferentes sobre como lidar com os riscos associados ao avanço da IA.

Alertas sobre os riscos da IA

  • A atual onda de preocupação ganhou força depois que Jacob Coxon, pesquisador que trabalhava na Anthropic, deixou a empresa na semana passada. Ao anunciar sua saída, ele afirmou que OpenAI e Anthropic estavam “apostando nossas vidas” ao avançarem no desenvolvimento da tecnologia;
  • Durante a repercussão das declarações, um responsável pela área de alinhamento da Anthropic afirmou que a IA teria mais de 10% de chance de matar toda a humanidade;
  • O episódio foi seguido por um pedido de Amodei para que a indústria desacelere o desenvolvimento dos modelos de fronteira. Sam Altman aderiu à posição, em uma aproximação incomum entre os líderes de duas empresas que competem diretamente no mercado de IA;
  • Musk também declarou nas redes sociais que “Dario está certo” e afirmou posteriormente que vem alertando sobre os riscos da IA há bastante tempo;
  • A discussão chegou rapidamente a Washington e ampliou o debate sobre como reduzir riscos sem impedir o desenvolvimento tecnológico.

CFO da OpenAI pensa em desacelerar IA se for necessário para a segurança

A diretora financeira da OpenAI, Sarah Friar, afirmou à CNBC que não está preocupada com uma eventual redução no ritmo de desenvolvimento de sistemas de IA de fronteira. Segundo ela, mesmo que o avanço fosse interrompido hoje, “a quantidade de inteligência que está disponível no mundo é enorme”.

Friar disse que a OpenAI continuará tomando decisões de investimento com base em “forte retorno sobre o investimento” (ROI, na sigla em inglês), mesmo que o desenvolvimento da tecnologia precise ser conduzido em um ritmo mais lento.

Friar também afirmou que não está preocupada especificamente com a possibilidade de agentes de IA utilizarem armas de destruição em massa para matar pessoas, mas ressaltou que a segurança precisa ser levada a sério.

“E se isso significar que precisamos dosar a fronteira e desacelerar, absolutamente, vamos ouvir nossos pesquisadores e fazer isso”, afirmou. Como diretora financeira, acrescentou, sua função seria tomar as decisões de negócio a partir dessa orientação. “Estamos dosando essa fronteira e levando a segurança e o alinhamento muito a sério”, disse.

Amodei propõe novas medidas de segurança

Durante um evento da Salesforce em São Francisco (EUA), Amodei voltou a defender redução no ritmo de desenvolvimento da IA e apresentou proposta baseada em três medidas:

  • A primeira seria permitir que avaliadores independentes tenham acesso às empresas de IA, acompanhando e avaliando diretamente os sistemas;
  • A segunda envolveria uma coordenação de padrões de segurança entre países democráticos. Posteriormente, essa cooperação poderia ser ampliada para uma coordenação global;
  • Em uma etapa posterior, a proposta avançaria para uma coordenação global, com o objetivo de ampliar essas medidas internacionalmente.

A Anthropic já se comprometeu com a primeira medida.

Amodei comparou a situação à indústria automobilística. Segundo ele, quando uma montadora enfrenta um problema grave de segurança, como uma falha nos freios, outras empresas deveriam aproveitar o episódio para revisar suas próprias práticas.

“É muito tentador atacar seu concorrente e dizer que eles não são seguros. Mas acho que a maneira mais responsável de responder é olhar para nosso próprio histórico”, afirmou.

O executivo também disse que o que mais o surpreende atualmente é a velocidade do progresso da IA e de seus efeitos econômicos. “Foi o ritmo do progresso — não apenas da tecnologia, mas também do lado econômico”, afirmou.

Trump chama preocupações de “farsa”

Do outro lado do debate, Trump vem rejeitando publicamente os alertas sobre os riscos da IA. Em diversas publicações na rede Truth Social, o presidente classificou os temores sobre uma IA fora de controle como uma “farsa” e uma “fraude”.

Trump também criticou a resistência à construção de novos data centers nos Estados Unidos. Segundo ele, pessoas que se opõem a esses projetos estariam favorecendo interesses que não querem que a expansão aconteça — incluindo, em sua avaliação, a China.

Na segunda-feira (14), Trump telefonou durante uma entrevista de Jensen Huang no evento All-In Summit, em Los Angeles (EUA), e levou a mensagem diretamente ao público ligado ao setor de tecnologia. Huang respondeu ao presidente: “Você está certo. Não vamos deixar isso acontecer, senhor”.

O secretário do Tesouro dos Estados Unidos, Scott Bessent, afirmou durante depoimento à Câmara dos Representantes que Trump está “completamente alinhado” com Huang.

Nvidia quer que empresas continuem avançando

Huang voltou a defender essa posição no evento Dreamforce. “Não precisamos de novas leis. Não precisamos de novas regulamentações”, afirmou.

Segundo o executivo, as empresas deveriam simplesmente decidir quando seus sistemas estão prontos e continuar avançando rapidamente. Em outro momento, Huang resumiu sua posição com uma frase direta: “Corra o mais rápido que puder.”

O CEO da Nvidia também rejeitou preocupações sobre possível destruição generalizada de empregos provocada pela IA, classificando esse cenário como “completamente absurdo”.

Para Huang, praticamente todas as empresas passarão a utilizar IA como parte central de suas operações. “Todas as empresas, todas as organizações… se tornarão uma empresa de IA”, afirmou.

A disputa com a China

A competição tecnológica com a China é um dos principais argumentos apresentados pelo grupo contrário à desaceleração.

Parte da mensagem do governo Trump é que limitar a regulação seria fundamental para que os Estados Unidos mantenham vantagem na corrida pela IA. Trump afirmou no domingo que “quem vencer a IA vence”.

David Sacks, que atualmente ocupa a copresidência do Conselho de Assessores do Presidente para Ciência e Tecnologia, também defendeu que as empresas continuem avançando. Ele pediu que as companhias “avancem na fronteira”, mas criticou o argumento de que a motivação para desacelerar seja “puramente altruísta”.

Emil Michael, subsecretário de Guerra para Pesquisa e Engenharia, adotou uma posição semelhante. Em entrevista à Fox News, afirmou que os alertas atuais seriam parte de uma campanha coordenada de pessoas, ideologias e organizações sem fins lucrativos interessadas em assustar o público estadunidense.

O presidente da Câmara dos Representantes, Mike Johnson, também afirmou que Trump pretende reunir líderes da indústria de IA na Casa Branca “dentro da próxima semana”.

Johnson igualmente rejeitou os alertas sobre um possível colapso provocado pela tecnologia. Segundo ele, a mensagem de Trump é que as pessoas não estarão todas mortas em dez anos e que isso seria uma “farsa”.

Além de Trump, Jensen Huang é um dos CEOs de tecnologia contrários ao breque à IA – Imagem: noamgalai e FotoField/Shutterstock

Leia mais:

Regulação reúne adversários políticos

O movimento em defesa de maior controle sobre a IA também criou alianças incomuns na política estadunidense.

Nesta terça-feira (15), o senador Bernie Sanders, democrata de Vermont, o deputado Chip Roy, republicano do Texas, e Steve Bannon, ex-estrategista da Casa Branca, participaram de evento em Washington em apoio a medidas relacionadas à IA.

Embora tenham posições políticas diferentes em diversas questões, eles se juntaram ao grupo que defende alguma forma de ação diante dos riscos associados ao avanço da tecnologia.

O debate, portanto, passou a envolver não apenas empresas concorrentes de IA, mas também integrantes de diferentes campos políticos.

Um confronto dentro da própria indústria

A divisão ganhou força justamente quando algumas das maiores empresas de IA do mundo começam a discutir publicamente os riscos associados ao desenvolvimento de modelos cada vez mais avançados.

Amodei defende que a indústria estabeleça mecanismos independentes de avaliação e coordenação internacional. Altman se aproximou dessa posição, enquanto Musk também declarou apoio ao pedido de desaceleração.

Huang, por outro lado, sustenta que o desenvolvimento deve continuar rapidamente e que novas leis e regulamentações não são necessárias. Trump acompanha essa posição e relaciona o ritmo da IA à competição tecnológica com a China.

O confronto ocorre ainda enquanto OpenAI e Anthropic avançam em direção a possíveis ofertas públicas iniciais de ações. As duas empresas estão entre as companhias de IA que podem realizar grandes IPOs, enquanto Altman indicou que a OpenAI pretende adiar sua oferta para o próximo ano em meio às preocupações recentes sobre segurança.

A discussão coloca no centro do debate estadunidense uma questão que reúne tecnologia, segurança, economia e competição internacional: até que ponto o desenvolvimento da IA deve avançar antes que novas medidas de controle sejam adotadas.

Sanders e Bannon convergem sobre os riscos da IA, mas defendem caminhos opostos

O debate sobre os riscos da IA também aproximou, de forma incomum, o senador Bernie Sanders e o estrategista Steve Bannon, figuras de polos opostos da política estadunidense. Os dois participaram da “Pro-Human Assembly”, em Washington (EUA), e defenderam regras mais rígidas para a IA, além de criticarem a concentração de poder nas mãos de grandes empresas de tecnologia.

A convergência, porém, termina nesse ponto. Sanders apresentou a IA como um risco global, comparável à corrida nuclear, e defendeu um acordo internacional para pausar o desenvolvimento de sistemas avançados. Bannon, por outro lado, tratou a disputa tecnológica com a China como uma questão de poder e defendeu o isolamento do país em relação ao ecossistema estadunidense de pesquisa, dinheiro e tecnologia.

“Uma IA superinteligente que escape do controle humano não será um problema americano. Não será um problema chinês. Será um problema da humanidade”, afirmou Sanders. O senador também disse esperar que Donald Trump negocie com o presidente chinês Xi Jinping um tratado para estabelecer uma pausa no desenvolvimento de IA avançada e uma proibição da superinteligência.

Bannon adotou uma posição diferente. “Sem acordos, sem tratados: vocês estão fora do negócio de IA porque nós vamos derrubar o ecossistema de vocês”, declarou. O estrategista também afirmou que “os cidadãos americanos não vão mais ser suplicantes aos oligarcas”.

O post Frear ou acelerar? IA coloca gigantes da tecnologia em lados opostos apareceu primeiro em Olhar Digital.

Frear ou acelerar? IA coloca gigantes da tecnologia em lados opostos Read More »

istock 2285744191 1024x576 2

Rivais se unem em segredo para criar regras para inteligência artificial

OpenAI, Anthropic e Google DeepMind passaram a discutir medidas conjuntas de segurança para sistemas avançados de inteligência artificial. A aproximação, porém, cria um paradoxo: as empresas querem cooperar para reduzir riscos, mas são concorrentes e podem enfrentar questionamentos antitruste.

As conversas acontecem em meio à pressão por avaliações independentes dos modelos e por mecanismos capazes de identificar riscos mais graves. Ao mesmo tempo, o governo Trump rejeita a ideia de desacelerar o desenvolvimento da tecnologia.

OpenAI apoia uma proposta para permitir a entrada de organizações independentes na avaliação da segurança dos modelos. – Imagem: Infinite Creations/iStock

Concorrentes tentam definir limites

Chris Lehane, chefe de política global da OpenAI, confirmou na terça-feira que as três empresas conversam há várias semanas sobre segurança da IA. Ele estava em Washington para tratar dos riscos considerados catastróficos associados à tecnologia.

A aproximação ganhou força depois de Dario Amodei, CEO da Anthropic, defender que o setor trabalhe em conjunto para reduzir o ritmo de desenvolvimento da chamada IA de fronteira.

Sam Altman, da OpenAI, Demis Hassabis, do Google, e Elon Musk apoiaram a iniciativa. Altman também havia sinalizado que a OpenAI poderia trabalhar com a Anthropic para incorporar avaliadores externos e acompanhar a segurança dos sistemas.

Entre as ideias discutidas estão:

  • avaliações independentes dos modelos;
  • acompanhamento das práticas de segurança;
  • criação de padrões para a indústria;
  • coordenação diante de riscos;
  • possível desaceleração no desenvolvimento da IA avançada.

Cooperação pode virar problema antitruste

É justamente a proximidade entre concorrentes que cria uma das principais dificuldades. Altman e outros envolvidos reconheceram que uma coordenação entre empresas poderia gerar problemas com as leis antitruste caso acabasse reduzindo a competição.

Amodei chegou a propor uma autorização governamental limitada para permitir esse tipo de cooperação em segurança. Lehane, porém, afirmou que as empresas não precisam de uma autorização desse tipo.

O The Information informou ainda que as três companhias trabalham na criação de uma entidade de padrões para a indústria de IA. Segundo o relato, Altman teria dito aos funcionários que a estrutura precisaria ser criada sem apoio do governo dos EUA.

IA processa entradas, a IA coordena tarefas e a IA acelera o conteúdo e as decisões.
A criação de padrões para a indústria é uma das frentes discutidas pelas três empresas de inteligência artificial. – Imagem: Summit Art Creations/Shutterstock

Supervisão também entra na discussão

A ideia de criar padrões para o setor não surgiu agora. Em julho, Hassabis defendeu um novo órgão nos Estados Unidos com poder para avaliar os modelos mais avançados do mundo e coordenar uma eventual desaceleração caso os riscos aumentassem.

Leia mais:

No mesmo encontro em que confirmou as conversas, Lehane disse que a OpenAI apoia uma previsão do FRONTIER Act que obrigaria os principais laboratórios de IA de fronteira a permitir a entrada de “organizações de verificação independentes” para avaliar se os modelos estão sendo desenvolvidos com segurança.

Washington mantém outra posição

A proposta de desacelerar o desenvolvimento encontra resistência na Casa Branca. Donald Trump classificou as preocupações com a segurança da IA como uma “farsa” e rejeitou regras mais rígidas, argumentando que um freio daria vantagem à China.

David Sacks, principal assessor de Trump para IA, também afirmou que os temores sobre riscos existenciais da tecnologia são exagerados.

Enquanto empresas concorrentes tentam encontrar pontos de cooperação para lidar com os riscos dos sistemas mais avançados, o debate continua dividido entre ampliar a fiscalização e preservar a competição no setor.

O post Rivais se unem em segredo para criar regras para inteligência artificial apareceu primeiro em Olhar Digital.

Rivais se unem em segredo para criar regras para inteligência artificial Read More »

shutterstock 2772627953 1024x576

Elon Musk quer rivais testando modelos de IA antes do lançamento

Elon Musk sugeriu que os maiores laboratórios de inteligência artificial permitam que concorrentes testem seus modelos antes do lançamento. A ideia é fazer com que empresas dos Estados Unidos e da China avaliem os sistemas umas das outras em busca de problemas de segurança.

Para o empresário, a checagem entre rivais evitaria que as próprias empresas fossem as únicas responsáveis por avaliar seus modelos. A proposta surge em meio a novos alertas sobre os riscos da tecnologia e a pedidos por maior controle sobre o desenvolvimento da IA.

Musk defende uma revisão entre rivais para identificar problemas antes do lançamento de novos modelos. – Imagem: Digineer Station/Shutterstock

Como funcionaria o teste cruzado

Pelo plano de Musk, os laboratórios permitiriam que concorrentes executassem uma espécie de bateria de testes nos modelos antes de eles serem lançados ao público. A proposta envolveria empresas norte-americanas e chinesas.

  • Participantes: xAI, OpenAI, Anthropic, Google, Meta e três ou quatro das principais empresas chinesas.
  • Método de análise: concorrentes testariam os modelos para identificar possíveis problemas de segurança.
  • Objetivo: aumentar as chances de encontrar falhas que poderiam passar despercebidas pela própria empresa.

“Em vez de corrigir sua própria prova, você teria pelo menos concorrentes corrigindo sua prova e dando o alarme se vissem preocupações”, afirmou Musk.

O debate sobre frear a IA

A proposta aparece depois que líderes de empresas como Anthropic e OpenAI defenderam uma desaceleração no desenvolvimento de modelos. Pesquisadores também fizeram alertas sobre os possíveis riscos da tecnologia.

Musk e o CEO da OpenAI, Sam Altman, apoiaram a proposta do CEO da Anthropic, Dario Amodei, para desacelerar o desenvolvimento. Amodei sugeriu que laboratórios de IA adotassem avaliações feitas por terceiros, com especialistas que verificariam as práticas de segurança.

A adesão à ideia de Musk, porém, ainda está longe de ser consenso. O empresário reconheceu que seu método pode não ser perfeito, mas defendeu que ele aumentaria significativamente a chance de encontrar problemas.

“As chances de você encontrar problemas são dramaticamente maiores”, disse Musk.

Donald Trump de lado; Trump está na frente de bandeiras de países, durante cúpula do G7, na França
Trump resiste a limites maiores para a IA e afirma que desacelerar o setor poderia favorecer a China. – Imagem: PFG7/Philémon Henry

A barreira política em Washington

O governo Trump tem resistido aos pedidos por maiores limites para o desenvolvimento da IA. O presidente publicou mensagens na Truth Social classificando os temores sobre a tecnologia como uma “farsa” e um “golpe”.

Leia mais:

Kevin Hassett, diretor do Conselho Econômico Nacional, afirmou que o setor privado é o lugar adequado para lidar com as preocupações envolvendo a IA. Segundo ele, o governo continua monitorando a indústria e poderá usar a aplicação da lei quando necessário para garantir que as empresas ajam de maneira responsável.

Trump também argumenta que desacelerar o desenvolvimento da IA poderia dar vantagem à China. O próprio Amodei classificou essa questão como um dos dilemas mais difíceis do debate.

Do lado chinês, um porta-voz do Ministério das Relações Exteriores classificou os pedidos por uma desaceleração como “alarmismo”. Musk, por sua vez, afirmou acreditar que a China provavelmente aceitaria sua proposta de testes entre concorrentes.

O post Elon Musk quer rivais testando modelos de IA antes do lançamento apareceu primeiro em Olhar Digital.

Elon Musk quer rivais testando modelos de IA antes do lançamento Read More »

anthropic e1789230420387 1024x577

Anthropic defende regra para desligar IAs consideradas perigosas

A proposta de Jack Clark, cofundador da Anthropic, é transformar o desligamento de sistemas de inteligência artificial em uma exigência regulatória. O mecanismo teria de ser capaz de interromper ferramentas consideradas perigosas e ainda passar por uma verificação independente.

A ideia surge em meio aos alertas de pesquisadores sobre os riscos de sistemas cada vez mais avançados. Para Clark, governos precisam discutir regras que garantam às empresas uma forma efetiva de desligar suas IAs, segundo a BBC.

A proposta do cofundador da Anthropic prevê que o desligamento de sistemas de IA possa ser exigido por regras e verificado de forma independente. – Imagem: Mehaniq/Shutterstock

A ideia do “botão de desligamento”

Clark disse que a maioria dos laboratórios de IA já tem maneiras de desligar seus equipamentos. A dúvida, agora, é se esse recurso deveria ser obrigatório por lei.

Deveríamos exigir que as empresas tivessem um botão de desligamento automático? Esse botão de desligamento automático pode ser verificado por terceiros?

Jack Clark, cofundador da Anthropic, à BBC.

Para ele, a discussão também precisa definir como esse mecanismo seria fiscalizado. Uma possibilidade seria permitir que organizações independentes verificassem se o desligamento realmente funciona.

Entre os pontos envolvidos na proposta estão:

  • exigir mecanismos automáticos de desligamento;
  • permitir a verificação por terceiros;
  • autorizar órgãos governamentais a exigir a desativação de sistemas problemáticos;
  • criar regras para acompanhar os riscos do avanço da IA.

Projeto já tramita nos EUA

A ideia tem um equivalente no Congresso americano. Legisladores dos Estados Unidos apresentaram o “Kill Switch Act”, projeto que exigiria das empresas uma maneira de desativar ferramentas de IA consideradas problemáticas.

A proposta também daria a determinadas agências governamentais autoridade para determinar que uma ferramenta fosse desligada ou tivesse seu funcionamento limitado.

A iniciativa encontra resistência. O presidente Donald Trump rejeitou tentativas de desacelerar o desenvolvimento da IA e chamou de “farsa” a possibilidade de a tecnologia dominar o mundo ou destruir a humanidade.

No Reino Unido, o governo também rejeitou recentemente a criação de um interruptor de segurança. A justificativa foi que uma medida desse tipo não impediria o desenvolvimento ou o uso inadequado de sistemas em outros países.

Alertas sobre riscos extremos

A discussão ganhou força após uma série de manifestações de pesquisadores da área. Evan Hubinger, da Anthropic, afirmou acreditar que existe uma probabilidade de 10% de a IA causar a extinção da humanidade na próxima década. Geoffrey Hinton considerou essa estimativa plausível em entrevista à BBC.

Leia mais:

A Reuters também relatou a manifestação de Bilal Chughtai, ex-pesquisador da Google DeepMind. Depois de deixar a empresa, ele afirmou acreditar que a IA pode matar toda a humanidade e que o tempo para evitar esse cenário pode estar acabando.

Chughtai defendeu um ritmo de desenvolvimento que permita identificar e enfrentar riscos antes que ocorram danos extremos. Ele também pediu coordenação entre as empresas para evitar uma corrida acelerada pelo avanço da tecnologia.

Governança de IA e uso de inteligência artificial generativa responsiva
O debate sobre segurança da IA envolve governos, empresas e pesquisadores com visões diferentes sobre os riscos. – Imagem: tadamichi/iStock

Nem todos concordam com os alertas

As previsões mais graves não são consenso entre executivos do setor. Clement Delangue, da Hugging Face, e George Arison, do Grindr, questionaram a dimensão atribuída aos riscos da IA e sugeriram que interesses comerciais podem estar por trás de parte desses alertas.

Clark considera perigoso deixar a indústria sem regulamentação. “Estamos jogando dados com riscos imensos. E a questão é que precisamos mudar o rumo desta indústria”, afirmou à BBC.

A proposta coloca uma questão concreta no centro do debate sobre segurança da IA: se uma empresa for obrigada a desligar um sistema considerado perigoso, quem poderá verificar se o mecanismo realmente funciona?

O post Anthropic defende regra para desligar IAs consideradas perigosas apareceu primeiro em Olhar Digital.

Anthropic defende regra para desligar IAs consideradas perigosas Read More »

destaque codigos e bandeira do ira 1024x576

Anthropic bloqueia IA usada para vigiar dissidentes e minorias

A Anthropic afirma ter bloqueado operações de vigilância apoiadas por governos da China, do Irã e do Mali que utilizavam o Claude para monitorar dissidentes e minorias.

Detectadas entre janeiro e julho, as operações envolveram identificação de pessoas nas redes sociais e criação de software para coleta de inteligência. A empresa ainda interrompeu usos relacionados a armas, pesquisas biológicas suspeitas e golpes românticos online.

Leia mais:

Em um dos casos, pessoas no Irã usaram o Claude para desenvolver um método de identificação por contas em redes sociais. Imagem: Mehaniq/Shutterstock

Claude entrou em operações de vigilância

As campanhas tinham como alvo comunidades que, segundo a Anthropic, já são perseguidas historicamente por esses governos. A lista inclui ativistas pró-democracia de Hong Kong, comunidades tibetanas e opositores do regime iraniano que vivem no exterior.

Em um dos episódios, pessoas no Irã desenvolveram um método para identificar indivíduos por meio de suas contas em redes sociais. No Mali, um contratado que trabalhava para autoridades de segurança nacional usou o Claude “para projetar o software subjacente que permitiu a coleta de inteligência”.

Entre os usos identificados estavam:

  • Identificação de pessoas por contas em redes sociais;
  • Monitoramento de dissidentes e minorias no exterior;
  • Desenvolvimento de software para coleta de inteligência;
  • Operações de vigilância apoiadas por governos.

A Anthropic afirma ter encerrado as operações depois de identificar o uso indevido de seus modelos.

Dados também foram usados para treinar outros modelos

Desenvolvedores chineses foram acusados pela empresa de usar o Claude de forma enganosa. Eles geravam respostas para consultas de usuários e, ao mesmo tempo, “destilavam” esses dados para aprimorar seus próprios modelos.

Na prática, a destilação consiste em usar um modelo de IA para treinar outro. Segundo a Anthropic, desenvolvedores chineses já haviam sido acusados anteriormente de utilizar essa técnica sem autorização.

mpox
A Anthropic também bloqueou estudos envolvendo chikungunya, gripe aviária, varíola, mpox, venenos e toxinas. Imagem: QINQIE99/Shutterstock

Pesquisas biológicas entraram na lista de bloqueios

A Anthropic identificou ainda estudos relacionados ao vírus chikungunya, a uma cepa “altamente patogênica” de gripe aviária, a uma família de vírus que inclui varíola e mpox, além de venenos e outras toxinas.

Leia mais:

A intenção dos envolvidos não estava clara, e a empresa não revelou suas identidades.

“As pessoas envolvidas nesses estudos de caso são cientistas. Não afirmamos que tivessem a intenção de causar danos. Identificá-las ou identificar seus laboratórios poderia expô-las a riscos”, afirmou o relatório.

A Anthropic também bloqueou tentativas de desenvolver armas e criar golpes românticos online. Os episódios relatados pela empresa incluem diferentes formas de uso indevido de seus modelos, desde operações de vigilância até pesquisas cuja finalidade não estava clara.

O post Anthropic bloqueia IA usada para vigiar dissidentes e minorias apareceu primeiro em Olhar Digital.

Anthropic bloqueia IA usada para vigiar dissidentes e minorias Read More »

armas biologicas ia 1024x687

Ataques, espionagem, golpes e armas: Anthropic revela usos criminosos de sua IA

A Anthropic publicou um novo relatório sobre o uso malicioso de inteligência artificial (IA) e reuniu casos em que o Claude foi empregado em operações que vão de ataques cibernéticos e espionagem a desenvolvimento de armas, pesquisas biológicas, golpes e tentativas de copiar capacidades de modelos avançados.

O documento, publicado em 10 de setembro, analisa atividades identificadas e interrompidas pela equipe de Threat Intelligence da empresa entre dezembro de 2025 e agosto de 2026. Ao todo, são sete áreas de risco: operações cibernéticas, operações de influência, vigilância, golpes e fraudes, uso biológico, desenvolvimento de armas convencionais e destilação ilícita de modelos.

A Anthropic ressalta que os casos apresentados não representam o uso indevido típico de seus modelos, mas algumas das atividades mais relevantes e novas identificadas pela empresa. Entre os envolvidos estão grupos suspeitos de terem apoio estatal, criminosos motivados financeiramente, empresas de spyware, instituições de propaganda e indivíduos politicamente motivados.

IA deixa de ser apenas assistente em ataques

Uma das principais conclusões do relatório aparece na parte dedicada a operações cibernéticas. Segundo a Anthropic, a IA passou a ocupar uma função mais próxima de orquestradora das operações, em vez de simplesmente responder perguntas ou ajudar pontualmente um criminoso.

A empresa identificou operações em que agentes de IA participaram de diferentes etapas de um ataque, como reconhecimento, desenvolvimento de ferramentas, exploração de sistemas, coleta de informações e exfiltração de dados. Em alguns casos, humanos continuavam definindo os alvos e supervisionando os resultados, mas grande parte do trabalho era executada ou coordenada pelos sistemas de IA.

A Anthropic afirma que esse avanço diminui a diferença de capacidade entre operações conduzidas por grupos bem financiados e aquelas realizadas por indivíduos. Segundo a empresa, atividades que até pouco tempo exigiriam vários profissionais especializados passaram a poder ser conduzidas por operadores com menos conhecimento técnico.

Em um dos casos, associado pela Anthropic a uma operação de espionagem russa, agentes de IA automatizaram etapas que iam do desenvolvimento de ferramentas e infraestrutura até phishing, manutenção de acesso e exfiltração. Quando um malware era identificado por sistemas de segurança, os agentes podiam modificá-lo e reconstruí-lo para tentar escapar da detecção. A operação atingiu mais de 20 organizações, principalmente na Ucrânia e na Europa.

Outro caso envolveu operadores que usaram Claude como camada de engenharia e orquestração de uma operação que mantinha diferentes frentes funcionando em paralelo. Entre elas estavam pesquisa de vulnerabilidades, desenvolvimento de malware, reconhecimento de redes de governos estrangeiros e coleta de inteligência. A Anthropic afirma que os agentes podiam manter memória persistente da campanha e continuar executando determinadas tarefas mesmo quando os operadores humanos não estavam presentes.

Propaganda e espionagem ganham escala

O relatório também mostra como modelos de IA podem ser incorporados à estrutura de operações de influência. Em vez de apenas gerar textos, o Claude foi usado em alguns casos para ajudar a construir a própria infraestrutura das campanhas, incluindo manuais, sistemas de personas, bancos de alvos e documentos de planejamento.

A Anthropic identificou operações nas quais a IA funcionava como uma espécie de redação automatizada, inserida em fluxos de trabalho que já existiam. O modelo também foi usado para criar conteúdo, adaptar mensagens para diferentes públicos, manter arquivos com regras editoriais e produzir material em escala. Em alguns casos, os operadores tentaram fazer com que narrativas patrocinadas por Estados parecessem ter origem independente.

Um dos casos envolveu três operações alinhadas ao Estado iraniano. Segundo a empresa, os responsáveis usaram Claude para preparar campanhas de influência associadas ao que chamavam de “guerra cognitiva”, criando planos de campanha, manuais de doutrina, sistemas de personas, bancos de alvos e documentos de planejamento ministerial. O conteúdo também era adaptado para diferentes idiomas e distribuído em diversas plataformas.

A Anthropic identificou ainda uma operação comercial de influência que utilizava cerca de 70 sites falsos de notícias, acompanhados por dezenas de contas no X e mais de 250 contas inautênticas para comentários e amplificação. O grupo produziu pelo menos 8.913 artigos em cerca de 20 idiomas e direcionou conteúdo para públicos em seis continentes, incluindo Estados Unidos, Brasil, França e República Democrática do Congo.

A vigilância aparece como outra frente importante. Entre janeiro e julho de 2026, a Anthropic identificou operações envolvendo atores alinhados a Estados, contratados governamentais e empresas comerciais de spyware na China, no Irã e na África Ocidental.

Em um dos casos, um consultor que trabalhava para a segurança nacional do Mali usou Claude para desenvolver uma plataforma de interceptação capaz de monitorar comunicações nas redes móveis do país e gerar dossiês sobre alvos. No Irã, atores usaram o modelo para desenvolver uma extensão maliciosa do Firefox que coletava identidades de usuários de redes sociais. Na China, a Anthropic identificou sistemas usados para monitorar dissidentes, ativistas, minorias étnicas e comunidades da diáspora.

Em outro caso chinês, Claude foi usado para produzir boletins governamentais de monitoramento de opinião pública. O sistema processava diariamente de 15 a mais de 30 artigos de redes sociais e veículos estrangeiros, classificando conteúdos segundo sua sensibilidade política e identificando possíveis alvos.

IA também aparece em armas e pesquisas biológicas

O relatório reúne seis casos relacionados ao desenvolvimento de armas convencionais: três na China, dois na Rússia e um no Iêmen. Eles envolvem desde desenvolvimento de software para armas até atividades de inteligência e aquisição de componentes de uso civil e militar.

Um dos casos mais detalhados envolve uma célula baseada no norte do Iêmen. Os integrantes trabalhavam em três programas de armas, incluindo um foguete guiado, um míssil balístico com alcance declarado superior a 2 mil quilômetros e uma família de mísseis que incluía uma variante de veículo planador hipersônico.

Modelos atuais da Anthropic ganharam capacidade científica, aumentando o desafio de distinguir pesquisa legítima de possível uso malicioso – Imagem criada por inteligência artificial: Grok/Olhar Digital

Segundo a Anthropic, o Claude Code foi usado no lugar de engenheiros humanos para desenvolver softwares de orientação, navegação e controle. O sistema ajudou a integrar um piloto automático, escrever componentes de controle e estimativa de posição, ajustar configurações, executar processos de compilação e realizar simulações de voo. Os responsáveis chegaram a testar um foguete guiado, mas o teste aparentemente fracassou. A Anthropic diz não ter evidências de que um armamento operacional tenha sido colocado em campo.

Na área biológica, a Anthropic apresenta cinco estudos de caso envolvendo pesquisas que poderiam apoiar o desenvolvimento de armas biológicas. A empresa, porém, faz uma ressalva importante: os envolvidos eram cientistas e a companhia não afirma que eles tinham intenção de causar danos. Por esse motivo, também não divulga os nomes das instituições, dos países ou detalhes específicos dos agentes e técnicas envolvidos.

Os casos incluem pesquisas de ganho de função envolvendo o vírus chikungunya, planejamento de experimentos com influenza aviária altamente patogênica, uma proposta relacionada a ortopoxvírus, um atlas de peptídeos de veneno e trabalhos de redesenho computacional de toxinas.

A empresa destaca que esse é um dos problemas mais difíceis de avaliar porque a biologia é uma área de duplo uso. O mesmo conhecimento pode contribuir para vacinas e tratamentos ou, dependendo de como for aplicado, para tornar um agente biológico mais perigoso. Por isso, a Anthropic diz que não considera os casos evidência de uma ameaça biológica iminente criada com IA, mas afirma que eles mostram a necessidade de salvaguardas mais fortes diante da capacidade crescente dos modelos.

Golpes usam IA para conversar com milhares de pessoas

Entre os casos apresentados pela Anthropic está também uma operação de fraude baseada em aplicativos de relacionamento. Uma empresa de desenvolvimento de aplicativos sediada na China usou Claude para criar uma rede com mais de 20 aplicativos e alimentar as personas de IA que conversavam com os usuários, embora os serviços fossem anunciados como se as interações fossem totalmente humanas.

Em apenas duas semanas, em abril de 2026, a Anthropic identificou mais de 4.700 personas de IA diferentes conversando com pelo menos 25 mil pessoas. A operação também empregava pessoas reais, misturadas aos perfis automatizados para aumentar a aparência de autenticidade.

A proporção era de aproximadamente três personas de IA para cada pessoa real. Os trabalhadores humanos eram usados principalmente em situações que os modelos não conseguiam executar, como chamadas de vídeo e interações em redes sociais. Enquanto isso, as personas alimentadas por Claude podiam manter conversas autonomamente e, ao longo das duas semanas analisadas, produziram cerca de 2,36 milhões de mensagens.

A operação ainda usava diferentes modelos de IA para funções específicas, incluindo geração de respostas para trabalhadores humanos, avaliação de aparência, moderação de fotos e voz e criação de imagens para os perfis. Os aplicativos também tinham mecanismos para tentar escapar das avaliações das lojas de aplicativos.

Empresas tentam copiar capacidades dos modelos

A última frente analisada no relatório é a chamada destilação ilícita. A técnica de destilação, por si só, é legítima: um modelo maior e mais capaz pode ser usado como “professor” para gerar respostas que ajudam a treinar um modelo menor. O problema está em fazer isso de maneira clandestina e sem autorização para copiar capacidades de outro sistema.

Segundo a Anthropic, desde a primeira divulgação sobre o tema, em fevereiro, a empresa identificou e interrompeu novos ataques desse tipo atribuídos a sete laboratórios sediados na China. As campanhas usaram redes de contas falsas, cartões de crédito roubados, credenciais e chaves de API para acessar os modelos da companhia.

A empresa afirma que os ataques buscavam principalmente capacidades consideradas valiosas em modelos avançados, como uso de ferramentas e agentes, programação, análise de dados e raciocínio lógico. Em alguns casos, os responsáveis tentaram extrair registros de raciocínio do Claude para utilizá-los no treinamento de outros modelos.

Claude Anthropic
Empresa bloqueia mais de 151 milhões de acessos suspeitos da China e intercepta ataques cibernéticos contra governos – Imagem: Samuel Boivin/Shutterstock

Um dos casos atribuídos pela Anthropic a operadores ligados à Alibaba foi descrito como o maior ataque de destilação já medido pela empresa. A campanha atingiu quase 3 milhões de trocas por dia, partindo de mais de 3.500 contas fraudulentas, e acumulou mais de 151 milhões de interações entre maio e julho de 2026. Segundo a Anthropic, os dados foram usados para ajudar a desenvolver modelos da família Qwen.

A Anthropic também afirma que algumas dessas operações levantaram uma preocupação adicional: o possível uso de dados de usuários. Segundo a empresa, laboratórios como DeepSeek, Xiaomi e Moonshot encaminharam conversas de seus próprios usuários para o Claude e usaram as respostas como dados de treinamento. A companhia afirma ter identificado informações sensíveis nesses registros, incluindo dados de indivíduos, empresas e organizações ligadas a governos.

No conjunto, os sete capítulos do relatório mostram uma mudança na forma como a Anthropic enxerga o uso indevido de IA. Os casos não se limitam a pessoas fazendo perguntas perigosas a um chatbot. Em diferentes operações, o Claude foi incorporado a fluxos de trabalho persistentes, sistemas automatizados e estruturas que permitiam executar tarefas em escala.

A própria empresa afirma que os modelos usados nos casos incluem Claude Haiku, Sonnet e Opus. Os casos de uso indevido analisados não envolveram os modelos das classes Fable ou Mythos, com exceção de um caso de destilação ilícita. Para a Anthropic, à medida que os modelos se tornam mais capazes, os riscos associados a esse tipo de uso também aumentam, exigindo evolução contínua das medidas de segurança.

O post Ataques, espionagem, golpes e armas: Anthropic revela usos criminosos de sua IA apareceu primeiro em Olhar Digital.

Ataques, espionagem, golpes e armas: Anthropic revela usos criminosos de sua IA Read More »

ia consciente 1024x428 1

Anthropic identifica uso do Claude em armas e ciberataques e treinamento de IAs chinesas

A Anthropic interrompeu tentativas de usar sua inteligência artificial, o Claude, para criar armas biológicas, coordenar ataques cibernéticos contra a Ucrânia e extrair capacidades dos modelos por empresas chinesas.

As descobertas constam no relatório de inteligência de ameaças da desenvolvedora, publicado na última quinta-feira. O levantamento detalha operações irregulares identificadas e combatidas nos últimos oito meses.

Um grupo usou IA para identificar bloqueios de segurança e reescrever códigos maliciosos. – Imagem: Ole.CNX/Shutterstock

Apoio na criação de armas biológicas e munições

Como o Olhar Digital divulgou há alguns dias, cientistas tentaram usar o assistente virtual em atividades que poderiam contribuir para o desenvolvimento de armas biológicas. Um dos casos envolveu um pesquisador de uma região não atendida pela Anthropic, que usou servidores virtuais para acessar o Claude e planejar experimentos sobre a adaptação da gripe aviária a mamíferos.

Operadores da China, Rússia e Iêmen também usaram o Claude no desenvolvimento de softwares para mísseis, drones e bombas.

Há um ano, se você quisesse otimizar um drone ou o software de um míssil, os modelos simplesmente não seriam tão bons nessa tarefa quanto são agora.

Jacob Klein, chefe de inteligência de ameaças da Anthropic, à Reuters.

Hackers russos miram governo da Ucrânia

Na Ucrânia, um grupo de hackers teria recorrido à ferramenta para realizar operações contra alvos governamentais, militares e diplomáticos. A inteligência artificial foi usada em quase todas as etapas da campanha, incluindo phishing, invasão de redes Wi-Fi de hotéis e tomada de contas do WhatsApp.

Leia mais:

O grupo também criou um sistema que identificava quando seu programa malicioso era bloqueado por mecanismos de segurança e reescrevia o código para tentar escapar da detecção.

O comportamento observado pela Anthropic era consistente com as táticas do Midnight Blizzard, grupo que o governo dos Estados Unidos já associou ao serviço de inteligência estrangeira SVR, da Rússia. A empresa também afirmou ter identificado e interrompido atividades ligadas ao coletivo ShinyHunters.

Alibaba Qwen
Laboratórios chineses, como o Alibaba, utilizaram o roteamento de conversas para absorver as capacidades do modelo Claude. – Imagem: Algi Febri Sugita/Shutterstock.com

Ataques chineses para extrair capacidades do Claude

Em outra frente, laboratórios na China criaram milhares de contas fraudulentas para extrair capacidades do Claude e usar os resultados no desenvolvimento de modelos próprios:

  • Alibaba: Mais de 151 milhões de interações entre maio e julho de 2026 foram atribuídas à empresa, com o objetivo alegado de extrair capacidades do Claude para aprimorar os modelos Qwen.
  • Moonshot e DeepSeek: Segundo a Anthropic, encaminharam conversas reais de clientes pelo Claude e usaram as respostas como dados de treinamento.
  • Sete laboratórios: A Anthropic afirmou ter interrompido ataques de sete laboratórios chineses, incluindo Alibaba, Moonshot, DeepSeek e Xiaomi.

Os casos aumentam a pressão sobre as empresas que desenvolvem inteligência artificial diante dos riscos associados ao uso indevido da tecnologia. Dois pesquisadores da própria Anthropic afirmaram nesta semana que o avanço rápido da IA pode levar à extinção da humanidade em um futuro não muito distante.

Sobre o relatório, o Ministério das Relações Exteriores da China afirmou não ter conhecimento dos dados. O órgão disse que a tecnologia deve ser desenvolvida para o bem e rejeitou o que classificou como distorção de fatos e ataques contra o país.

O post Anthropic identifica uso do Claude em armas e ciberataques e treinamento de IAs chinesas apareceu primeiro em Olhar Digital.

Anthropic identifica uso do Claude em armas e ciberataques e treinamento de IAs chinesas Read More »

claude anthropic 1024x632

Grupo no Iêmen usou Claude em projetos de armas, diz Anthropic

A inteligência artificial Claude, criada pela Anthropic, foi usada por um grupo no norte do Iêmen na tentativa de desenvolver mísseis e armas teleguiadas.

A descoberta consta em um relatório de segurança da própria desenvolvedora. A investigação mostrou que a ferramenta foi usada em tarefas que normalmente exigiriam uma equipe de engenheiros especializados em orientação, navegação e controle de armas.

Anthropic interrompeu contas de usuários em diversos países após constatar violações de segurança. – Imagem: gguy/Shutterstock

IA ajudou no desenvolvimento

O grupo usou o Claude em diferentes etapas dos projetos. Em um deles, a ferramenta ajudou no desenvolvimento de um sistema de orientação para um foguete capaz de ajustar automaticamente sua trajetória durante o voo.

O sistema utilizava uma calculadora de voo semelhante à de um smartphone. Com ela, o equipamento poderia calcular sua posição e fazer ajustes para tentar seguir uma rota determinada até o alvo.

O grupo chegou a testar o lançamento do foguete, mas a tentativa fracassou. A Anthropic afirma que não encontrou evidências de que o trabalho tenha resultado em uma arma operacional.

Míssil de longo alcance e veículo hipersônico

O foguete guiado era apenas um dos três projetos identificados pela empresa. Outro envolvia um míssil balístico com alcance superior a 2 mil quilômetros.

Esse tipo de arma percorre grande parte da trajetória em uma curva de grande altitude antes de seguir em direção ao alvo. Um alcance superior a 2 mil quilômetros significa que o sistema poderia atingir regiões muito distantes do local de lançamento.

O terceiro projeto envolvia um planador hipersônico. Esse tipo de veículo pode realizar manobras durante o voo e atingir velocidades superiores a cinco vezes a velocidade do som.

Os projetos identificados pela Anthropic incluíam:

  • foguete capaz de ajustar automaticamente a própria trajetória;
  • sistema de orientação para o foguete;
  • míssil balístico com alcance superior a 2 mil quilômetros;
  • planador hipersônico capaz de realizar manobras durante o voo.

Grupo estava em área controlada pelos houthis

A Anthropic não identificou publicamente o grupo responsável pelos projetos. A empresa informou apenas que ele estava baseado no norte do Iêmen, em uma região controlada pelos houthis.

Os houthis são um movimento político e militar apoiado pelo Irã que controla grande parte do norte do Iêmen e a capital, Saná. O grupo está envolvido na guerra civil do país e também ficou conhecido internacionalmente por ataques contra navios no Mar Vermelho e contra Israel.

anthropic
O caso mostra como sistemas de inteligência artificial podem ser usados em tarefas ligadas ao desenvolvimento de armas. – Imagem criada por inteligência artificial: Copilot/Olhar Digital

Investigação acompanha usos maliciosos de IA

O caso faz parte de uma investigação mais ampla da Anthropic sobre usos considerados ilegais ou maliciosos de seu sistema de inteligência artificial. A companhia afirmou ter interrompido operações envolvendo usuários de diferentes países.

Leia mais:

Mesmo com os três projetos identificados, a empresa não encontrou evidências de que o grupo tenha conseguido transformar o trabalho em uma arma operacional. O teste conhecido do foguete guiado também terminou em fracasso, reforçando a principal ressalva apresentada no relatório: havia projetos em desenvolvimento, mas não evidência de uma arma pronta para uso.

O post Grupo no Iêmen usou Claude em projetos de armas, diz Anthropic apareceu primeiro em Olhar Digital.

Grupo no Iêmen usou Claude em projetos de armas, diz Anthropic Read More »

elon musk scaled e1778030209365 1024x658

Pesquisadores da Anthropic fazem alerta assustador: IA pode levar à extinção humana

Pesquisadores e funcionários da Anthropic estão aumentando publicamente os alertas sobre os riscos do avanço da inteligência artificial (IA). Integrantes da própria empresa afirmam que a tecnologia pode se tornar tão avançada e perigosa que teria potencial para provocar a extinção humana na próxima década.

As declarações surgiram um dia depois de Jacob Coxon, pesquisador da Anthropic, anunciar que deixaria a empresa. Em uma publicação que viralizou, ele afirmou que tanto a Anthropic quanto a OpenAI, onde trabalhou anteriormente, não estariam desenvolvendo modelos de IA de maneira responsável e estariam “apostando com nossas vidas”.

A manifestação de Coxon provocou reação de outros funcionários da Anthropic, que passaram a publicar seus próprios alertas sobre os riscos associados ao desenvolvimento acelerado da tecnologia.

Anna Wang, que trabalha com segurança de Inteligência Artificial Geral (IAG) na Anthropic e anteriormente atuou no Google DeepMind, afirmou que muitas pessoas dentro da empresa querem desacelerar o desenvolvimento para elaborar um plano capaz de reduzir os riscos associados aos modelos avançados.

“Não existe ainda um plano científico viável para resolver os riscos de uma IA que se autoaperfeiçoa recursivamente”, escreveu Wang.

Outro funcionário da Anthropic, Drake Thomas, afirmou respeitar a decisão de Coxon de não participar do desenvolvimento desses modelos caso ele considere que possam representar riscos em escala planetária.

“As coisas estão avançando rápido demais e não temos nem de longe o grau de garantia que gostaríamos para uma superinteligência artificial”, escreveu Thomas.

Pesquisador estima mais de 10% de chance de extinção

  • Entre os alertas mais contundentes está o de Evan Hubinger, que se identifica como líder na divisão de alinhamento da Anthropic, área dedicada a garantir que os modelos da empresa funcionem de acordo com objetivos humanos;
  • Hubinger afirmou que Coxon está correto e que a indústria está ficando para trás na tentativa de lidar com o potencial catastrófico da tecnologia. “Nós realmente acreditamos que a IA poderia matar todos os humanos!”, escreveu;
  • O pesquisador acrescentou que, pessoalmente, estima em mais de 10% a probabilidade de isso acontecer na próxima década;
  • Outro pesquisador de segurança da Anthropic, Samuel Marks, também afirmou que desenvolvedores de IA acreditam que a tecnologia poderia provocar a extinção humana ou consequências igualmente graves;
  • Segundo Marks, isso poderia acontecer nos próximos anos e, de maneira geral, quanto mais sênior o funcionário, maior seria sua preocupação.

Musk chama alertas de “psyop”

As declarações provocaram reação de Elon Musk, que adotou postura muito mais cética em relação aos alertas. “Isso parece uma armação”, escreveu Musk no X.

Posteriormente, o bilionário afirmou que o episódio poderia fazer parte de uma “psyop”, termo usado para descrever uma operação psicológica destinada a influenciar a percepção pública.

Musk respondeu a uma publicação de Parker Thayer, pesquisador do grupo conservador Capital Research, que levantou, sem apresentar evidências, a hipótese de que a declaração de Coxon seria o início de uma operação de relações públicas sofisticada e financiada para obter apoio a regulamentações mais rígidas contra a IA.

Elon Musk desqualificou as falas de Coxon – Imagem: Joshua Sukoff/Shutterstock

Musk afirmou que os preparativos para essa suposta operação já vinham acontecendo há algum tempo e que a publicação de Coxon teria sido apenas a faísca que iniciou o processo.

Coxon respondeu diretamente ao bilionário, publicando uma selfie e afirmando que é uma pessoa real e que aquelas são suas crenças reais. Ele ainda disse que Musk poderia perguntar sobre ele aos pesquisadores da xAI, caso não tivesse demitido alguns deles.

Leia mais:

Anthropic defende suas medidas de segurança

Em resposta aos questionamentos, a Anthropic defendeu sua estratégia. “Sempre fomos transparentes de que a IA trará enormes benefícios e riscos sem precedentes“, afirmou um porta-voz da empresa ao The Guardian.

Segundo a companhia, seus modelos continuam sendo desenvolvidos com algumas das medidas de segurança mais fortes existentes na indústria. Nem todos os especialistas, porém, acreditam que o principal risco seja necessariamente uma superinteligência capaz de exterminar a humanidade.

O cientista Gary Marcus, uma das vozes conhecidas no debate sobre IA, afirmou que é hora de boicotar a tecnologia, mas por danos que já estão ocorrendo.

Para Marcus, preocupações mais imediatas incluem patógenos produzidos com auxílio de IA, guerras iniciadas ou agravadas por desinformação gerada por sistemas de IA e ataques capazes de destruir infraestruturas críticas. “Não vi nada que indique que qualquer uma dessas coisas esteja sob controle”, afirmou.

Alerta surge no mesmo dia de caso envolvendo arma biológica

A discussão ganhou um elemento especialmente concreto no mesmo dia em que as declarações dos pesquisadores ganharam força.

A Anthropic divulgou um relatório documentando como a empresa desmantelou uma operação que tentava construir uma arma biológica utilizando seus modelos de IA.

O episódio não demonstra que uma IA autônoma tenha desenvolvido uma arma por conta própria, mas mostra como modelos disponíveis atualmente podem ser envolvidos em tentativas de uso para fins extremamente perigosos.

O caso acabou colocando lado a lado duas discussões que normalmente aparecem separadas: os riscos futuros de uma IA potencialmente superinteligente e os riscos mais imediatos associados ao uso de modelos atuais para atividades capazes de causar danos graves.

O post Pesquisadores da Anthropic fazem alerta assustador: IA pode levar à extinção humana apareceu primeiro em Olhar Digital.

Pesquisadores da Anthropic fazem alerta assustador: IA pode levar à extinção humana Read More »

claude anthropic 1024x683

Anthropic identifica tentativas de usar IA em pesquisas biológicas perigosas

A Anthropic diz ter bloqueado cientistas que usavam seus modelos de IA em pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas. A empresa não conseguiu determinar se os trabalhos tinham finalidade legítima ou maliciosa, mas decidiu interrompê-los diante do risco.

Um dos casos envolveu um pesquisador que pediu ajuda para modificar o vírus chikungunya e torná-lo mais nocivo. A Anthropic identificou que a pesquisa seria realizada em um instituto militar, o que aumentou a preocupação com o possível uso dos resultados.

A mesma tecnologia que promete acelerar a criação de vacinas pode ser explorada de forma velada para criar patógenos perigosos. – Imagem: Samuel Boivin/Shutterstock

O jogo duplo da pesquisa biológica

O problema para a Anthropic está em distinguir uma pesquisa legítima de uma possível tentativa de causar danos. Estudos biológicos podem contribuir para vacinas e outros avanços médicos, mas conhecimentos semelhantes também podem ser usados para tornar agentes infecciosos mais perigosos.

Você não está vendo alguém dizer, de uma forma típica de história em quadrinhos: ‘Quero construir uma arma biológica para matar todo mundo’. É uma situação incrivelmente complexa.”

Jacob Klein, responsável pela inteligência de ameaças da Anthropic, ao The New York Times.

Diante dessa incerteza, a empresa decidiu agir com cautela. Os pesquisadores também contornaram controles destinados a impedir o acesso de usuários de regiões bloqueadas e tentaram ocultar a finalidade das pesquisas para escapar das salvaguardas. As contas associadas foram banidas.

Entre os principais pontos identificados pela empresa estão:

  • tentativas de contornar os controles de acesso;
  • ocultação da finalidade das pesquisas;
  • dificuldade para determinar a intenção dos pesquisadores;
  • maior capacidade dos modelos atuais para pesquisas científicas complexas;
  • reforço das restrições para consultas de biologia de uso duplo.

O caso do chikungunya

Em maio, um cientista pediu ao Claude ajuda para elaborar uma solicitação de financiamento para uma pesquisa com o vírus chikungunya, transmitido por mosquitos e capaz de provocar meses de dor intensa e outros sintomas.

O projeto pretendia introduzir mutações no vírus para torná-lo mais nocivo durante infecções repetidas em animais vivos. Esse tipo de estudo, conhecido como ganho de função, pode ter aplicações legítimas, inclusive no desenvolvimento de vacinas. Também pode resultar em versões mais perigosas de vírus.

O fato de o trabalho estar previsto para um instituto de pesquisa militar pesou na avaliação da Anthropic.

“O que não sabemos é se a pesquisa pretendia ser transformada em arma”, disse Klein. “Mas uma instituição militar realizando pesquisa de ganho de função é preocupante.”

Picada de pernilongo
O caso mais grave envolveu tentativas de usar o chatbot Claude para gerar mutações nocivas no vírus chikungunya. – Imagem: martinatobolova/iStock

Quando a capacidade da IA vira risco

Avaliações feitas no ano passado indicaram que os modelos antigos da Anthropic ainda não conseguiam oferecer ajuda significativa em pesquisas biológicas perigosas. Os sistemas atuais, segundo a empresa, são mais capazes de realizar pesquisas científicas complexas, o que levou à adoção de salvaguardas mais rígidas.

Leia mais:

Susan Monarez, microbiologista e especialista em saúde pública, afirmou que os casos fornecem evidências concretas de tentativas de usar IA de forma clandestina para aumentar as chances de desenvolver agentes biológicos capazes de causar danos significativos.

Ela também destacou que as mesmas capacidades podem acelerar descobertas médicas. O desafio é identificar quando uma investigação aparentemente legítima pode esconder uma finalidade prejudicial.

A Anthropic também relatou outros usos indevidos do Claude, envolvendo vigilância, propaganda e desenvolvimento de armas convencionais. Os casos biológicos, porém, estão entre os mais preocupantes pela dificuldade de separar uma pesquisa científica legítima de uma possível preparação para causar danos.

A empresa decidiu bloquear os casos identificados mesmo sem comprovar que os pesquisadores pretendiam criar armas. O episódio mostra como modelos de IA mais capazes também tornam mais difícil avaliar os riscos escondidos por trás de pesquisas que, à primeira vista, podem parecer legítimas.

O post Anthropic identifica tentativas de usar IA em pesquisas biológicas perigosas apareceu primeiro em Olhar Digital.

Anthropic identifica tentativas de usar IA em pesquisas biológicas perigosas Read More »