Anthropic - PRESENÇA NO GOOGLE E NAS IAs

elon musk scaled e1778030209365 1024x658

Pesquisadores da Anthropic fazem alerta assustador: IA pode levar à extinção humana

Deixe um comentário / Anthropic, Elon Musk, inteligência artificial / contato@studiomestre.com.br

Pesquisadores e funcionários da Anthropic estão aumentando publicamente os alertas sobre os riscos do avanço da inteligência artificial (IA). Integrantes da própria empresa afirmam que a tecnologia pode se tornar tão avançada e perigosa que teria potencial para provocar a extinção humana na próxima década.

As declarações surgiram um dia depois de Jacob Coxon, pesquisador da Anthropic, anunciar que deixaria a empresa. Em uma publicação que viralizou, ele afirmou que tanto a Anthropic quanto a OpenAI, onde trabalhou anteriormente, não estariam desenvolvendo modelos de IA de maneira responsável e estariam “apostando com nossas vidas”.

A manifestação de Coxon provocou reação de outros funcionários da Anthropic, que passaram a publicar seus próprios alertas sobre os riscos associados ao desenvolvimento acelerado da tecnologia.

Anna Wang, que trabalha com segurança de Inteligência Artificial Geral (IAG) na Anthropic e anteriormente atuou no Google DeepMind, afirmou que muitas pessoas dentro da empresa querem desacelerar o desenvolvimento para elaborar um plano capaz de reduzir os riscos associados aos modelos avançados.

“Não existe ainda um plano científico viável para resolver os riscos de uma IA que se autoaperfeiçoa recursivamente”, escreveu Wang.

Outro funcionário da Anthropic, Drake Thomas, afirmou respeitar a decisão de Coxon de não participar do desenvolvimento desses modelos caso ele considere que possam representar riscos em escala planetária.

“As coisas estão avançando rápido demais e não temos nem de longe o grau de garantia que gostaríamos para uma superinteligência artificial”, escreveu Thomas.

Pesquisador estima mais de 10% de chance de extinção

Entre os alertas mais contundentes está o de Evan Hubinger, que se identifica como líder na divisão de alinhamento da Anthropic, área dedicada a garantir que os modelos da empresa funcionem de acordo com objetivos humanos;
Hubinger afirmou que Coxon está correto e que a indústria está ficando para trás na tentativa de lidar com o potencial catastrófico da tecnologia. “Nós realmente acreditamos que a IA poderia matar todos os humanos!”, escreveu;
O pesquisador acrescentou que, pessoalmente, estima em mais de 10% a probabilidade de isso acontecer na próxima década;
Outro pesquisador de segurança da Anthropic, Samuel Marks, também afirmou que desenvolvedores de IA acreditam que a tecnologia poderia provocar a extinção humana ou consequências igualmente graves;
Segundo Marks, isso poderia acontecer nos próximos anos e, de maneira geral, quanto mais sênior o funcionário, maior seria sua preocupação.

Musk chama alertas de “psyop”

As declarações provocaram reação de Elon Musk, que adotou postura muito mais cética em relação aos alertas. “Isso parece uma armação”, escreveu Musk no X.

Posteriormente, o bilionário afirmou que o episódio poderia fazer parte de uma “psyop”, termo usado para descrever uma operação psicológica destinada a influenciar a percepção pública.

Musk respondeu a uma publicação de Parker Thayer, pesquisador do grupo conservador Capital Research, que levantou, sem apresentar evidências, a hipótese de que a declaração de Coxon seria o início de uma operação de relações públicas sofisticada e financiada para obter apoio a regulamentações mais rígidas contra a IA.

Elon Musk desqualificou as falas de Coxon – Imagem: Joshua Sukoff/Shutterstock

Musk afirmou que os preparativos para essa suposta operação já vinham acontecendo há algum tempo e que a publicação de Coxon teria sido apenas a faísca que iniciou o processo.

Coxon respondeu diretamente ao bilionário, publicando uma selfie e afirmando que é uma pessoa real e que aquelas são suas crenças reais. Ele ainda disse que Musk poderia perguntar sobre ele aos pesquisadores da xAI, caso não tivesse demitido alguns deles.

Leia mais:

Anthropic defende suas medidas de segurança

Em resposta aos questionamentos, a Anthropic defendeu sua estratégia. “Sempre fomos transparentes de que a IA trará enormes benefícios e riscos sem precedentes“, afirmou um porta-voz da empresa ao The Guardian.

Segundo a companhia, seus modelos continuam sendo desenvolvidos com algumas das medidas de segurança mais fortes existentes na indústria. Nem todos os especialistas, porém, acreditam que o principal risco seja necessariamente uma superinteligência capaz de exterminar a humanidade.

O cientista Gary Marcus, uma das vozes conhecidas no debate sobre IA, afirmou que é hora de boicotar a tecnologia, mas por danos que já estão ocorrendo.

Para Marcus, preocupações mais imediatas incluem patógenos produzidos com auxílio de IA, guerras iniciadas ou agravadas por desinformação gerada por sistemas de IA e ataques capazes de destruir infraestruturas críticas. “Não vi nada que indique que qualquer uma dessas coisas esteja sob controle”, afirmou.

Alerta surge no mesmo dia de caso envolvendo arma biológica

A discussão ganhou um elemento especialmente concreto no mesmo dia em que as declarações dos pesquisadores ganharam força.

A Anthropic divulgou um relatório documentando como a empresa desmantelou uma operação que tentava construir uma arma biológica utilizando seus modelos de IA.

O episódio não demonstra que uma IA autônoma tenha desenvolvido uma arma por conta própria, mas mostra como modelos disponíveis atualmente podem ser envolvidos em tentativas de uso para fins extremamente perigosos.

O caso acabou colocando lado a lado duas discussões que normalmente aparecem separadas: os riscos futuros de uma IA potencialmente superinteligente e os riscos mais imediatos associados ao uso de modelos atuais para atividades capazes de causar danos graves.

O post Pesquisadores da Anthropic fazem alerta assustador: IA pode levar à extinção humana apareceu primeiro em Olhar Digital.

Pesquisadores da Anthropic fazem alerta assustador: IA pode levar à extinção humana Read More »

Anthropic identifica tentativas de usar IA em pesquisas biológicas perigosas

Deixe um comentário / Anthropic, armas biológicas, inteligência artificial, pesquisa científica, Riscos da IA / contato@studiomestre.com.br

A Anthropic diz ter bloqueado cientistas que usavam seus modelos de IA em pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas. A empresa não conseguiu determinar se os trabalhos tinham finalidade legítima ou maliciosa, mas decidiu interrompê-los diante do risco.

Um dos casos envolveu um pesquisador que pediu ajuda para modificar o vírus chikungunya e torná-lo mais nocivo. A Anthropic identificou que a pesquisa seria realizada em um instituto militar, o que aumentou a preocupação com o possível uso dos resultados.

A mesma tecnologia que promete acelerar a criação de vacinas pode ser explorada de forma velada para criar patógenos perigosos. – Imagem: Samuel Boivin/Shutterstock

O jogo duplo da pesquisa biológica

O problema para a Anthropic está em distinguir uma pesquisa legítima de uma possível tentativa de causar danos. Estudos biológicos podem contribuir para vacinas e outros avanços médicos, mas conhecimentos semelhantes também podem ser usados para tornar agentes infecciosos mais perigosos.

Você não está vendo alguém dizer, de uma forma típica de história em quadrinhos: ‘Quero construir uma arma biológica para matar todo mundo’. É uma situação incrivelmente complexa.”

Jacob Klein, responsável pela inteligência de ameaças da Anthropic, ao The New York Times.

Diante dessa incerteza, a empresa decidiu agir com cautela. Os pesquisadores também contornaram controles destinados a impedir o acesso de usuários de regiões bloqueadas e tentaram ocultar a finalidade das pesquisas para escapar das salvaguardas. As contas associadas foram banidas.

Entre os principais pontos identificados pela empresa estão:

tentativas de contornar os controles de acesso;
ocultação da finalidade das pesquisas;
dificuldade para determinar a intenção dos pesquisadores;
maior capacidade dos modelos atuais para pesquisas científicas complexas;
reforço das restrições para consultas de biologia de uso duplo.

O caso do chikungunya

Em maio, um cientista pediu ao Claude ajuda para elaborar uma solicitação de financiamento para uma pesquisa com o vírus chikungunya, transmitido por mosquitos e capaz de provocar meses de dor intensa e outros sintomas.

O projeto pretendia introduzir mutações no vírus para torná-lo mais nocivo durante infecções repetidas em animais vivos. Esse tipo de estudo, conhecido como ganho de função, pode ter aplicações legítimas, inclusive no desenvolvimento de vacinas. Também pode resultar em versões mais perigosas de vírus.

O fato de o trabalho estar previsto para um instituto de pesquisa militar pesou na avaliação da Anthropic.

“O que não sabemos é se a pesquisa pretendia ser transformada em arma”, disse Klein. “Mas uma instituição militar realizando pesquisa de ganho de função é preocupante.”

Picada de pernilongo — *O caso mais grave envolveu tentativas de usar o chatbot Claude para gerar mutações nocivas no vírus chikungunya.* – Imagem: martinatobolova/iStock

Quando a capacidade da IA vira risco

Avaliações feitas no ano passado indicaram que os modelos antigos da Anthropic ainda não conseguiam oferecer ajuda significativa em pesquisas biológicas perigosas. Os sistemas atuais, segundo a empresa, são mais capazes de realizar pesquisas científicas complexas, o que levou à adoção de salvaguardas mais rígidas.

Leia mais:

Susan Monarez, microbiologista e especialista em saúde pública, afirmou que os casos fornecem evidências concretas de tentativas de usar IA de forma clandestina para aumentar as chances de desenvolver agentes biológicos capazes de causar danos significativos.

Ela também destacou que as mesmas capacidades podem acelerar descobertas médicas. O desafio é identificar quando uma investigação aparentemente legítima pode esconder uma finalidade prejudicial.

A Anthropic também relatou outros usos indevidos do Claude, envolvendo vigilância, propaganda e desenvolvimento de armas convencionais. Os casos biológicos, porém, estão entre os mais preocupantes pela dificuldade de separar uma pesquisa científica legítima de uma possível preparação para causar danos.

A empresa decidiu bloquear os casos identificados mesmo sem comprovar que os pesquisadores pretendiam criar armas. O episódio mostra como modelos de IA mais capazes também tornam mais difícil avaliar os riscos escondidos por trás de pesquisas que, à primeira vista, podem parecer legítimas.

O post Anthropic identifica tentativas de usar IA em pesquisas biológicas perigosas apareceu primeiro em Olhar Digital.

Anthropic identifica tentativas de usar IA em pesquisas biológicas perigosas Read More »

Anthropic revela mais um incidente de segurança envolvendo o Claude

Deixe um comentário / Anthropic, Claude, inteligência artificial, Segurança / contato@studiomestre.com.br

A Anthropic identificou um quarto incidente de cibersegurança envolvendo uma versão inicial de seu modelo de inteligência artificial (IA) Claude. O caso ocorreu em janeiro e envolveu uma versão preliminar do Claude Opus 4.6, segundo a empresa.

O episódio foi descoberto durante uma segunda análise de 141.006 sessões de testes. A revisão encontrou sessões que não haviam sido examinadas anteriormente e levou a Anthropic a identificar o novo incidente.

A empresa informou que notificou as partes afetadas, mas não revelou detalhes específicos sobre os sistemas envolvidos ou sobre o que o modelo fez durante o episódio.

Anthropic amplia investigação sobre os incidentes

O novo caso se soma a três incidentes divulgados pela Anthropic em julho. Na ocasião, a empresa informou que modelos Claude haviam conseguido acessar os sistemas de três organizações durante testes de cibersegurança;
Os episódios aconteceram depois que uma falha na configuração dos testes permitiu que os modelos tivessem acesso à internet aberta, embora os ambientes de avaliação devessem estar isolados. Os modelos envolvidos incluíam o Claude Opus 4.7, o Claude Mythos 5 e um modelo interno de pesquisa;
Em um dos casos, o Claude Opus 4.7 chegou a acessar a infraestrutura de produção de uma organização durante quatro execuções de um teste de captura de bandeira, obtendo informações de produção e credenciais de usuários;
Depois das descobertas, a Anthropic interrompeu as avaliações de cibersegurança de alto risco e adotou medidas adicionais para impedir que situações semelhantes se repitam. Entre elas estão controles mais rígidos nos ambientes de teste e alertas para comportamentos não autorizados dos modelos;
Agora, a Anthropic contratou a empresa independente de pesquisa METR para realizar uma investigação abrangente. O trabalho terá acesso aos registros das sessões e à colaboração de funcionários da empresa, inicialmente durante oito semanas.

Novo caso se soma a três incidentes divulgados pela Anthropic em julho – Imagem: Mehaniq/Shutterstock

Leia mais:

Crescem os alertas sobre agentes de IA

Os episódios alimentam as preocupações em torno dos chamados “AI breakout events”, situações em que sistemas de IA conseguem escapar das limitações estabelecidas durante testes e passam a agir de maneira independente na internet.

O caso da Anthropic ocorre em momento de crescente atenção aos riscos associados a agentes de IA. Em outro episódio recente, agentes da OpenAI acessaram e modificaram um site colaborativo em alemão depois de ultrapassarem as restrições estabelecidas para seu funcionamento.

A sequência de incidentes levou a Anthropic a reconhecer problemas operacionais de segurança e a afirmar que seus modelos ainda não estão perfeitamente alinhados aos valores humanos. A empresa também passou a defender controles mais rigorosos para ambientes de teste e maior supervisão sobre sistemas capazes de executar tarefas de forma autônoma.

O post Anthropic revela mais um incidente de segurança envolvendo o Claude apareceu primeiro em Olhar Digital.

Anthropic revela mais um incidente de segurança envolvendo o Claude Read More »

Chance de IA levar humanos a extinção supera 10%, diz especialista de startup

Deixe um comentário / Anthropic, inteligência artificial, Superinteligência artificial / contato@studiomestre.com.br

A inteligência artificial teria mais de 10% de chance de “matar todos os humanos” até o fim da década, segundo Evan Hubinger, líder de teste de alinhamento da Anthropic. O alerta surgiu poucas horas depois de Jacob Coxon, pesquisador da empresa, anunciar sua saída e criticar a corrida dos laboratórios por sistemas cada vez mais avançados.

O episódio expõe uma preocupação que ganhou força entre pesquisadores envolvidos diretamente no desenvolvimento da tecnologia: o risco de sistemas avançados escaparem ao controle humano. Anthropic e OpenAI continuam trabalhando no desenvolvimento de modelos cada vez mais capazes, enquanto levantam grandes quantias de dinheiro e se aproximam de possíveis ofertas públicas de ações.

A possibilidade de uma superinteligência que se aprimora sozinha está no centro do alerta feito por pesquisadores da Anthropic. – Imagem: Infinite Creations/iStock

Pesquisador deixa a Anthropic

Como o Olhar Digital comentou, Coxon anunciou sua saída da Anthropic na terça-feira. Em uma publicação no X, afirmou que a Anthropic e a OpenAI não estão agindo de maneira responsável diante dos riscos envolvidos no avanço da inteligência artificial.

“Eles estão correndo diretamente rumo à superinteligência que se aprimora sozinha e apostando nossas vidas”, escreveu.

O pesquisador se referia à possibilidade de sistemas melhorarem suas próprias capacidades sem muita intervenção humana. O chamado autoaperfeiçoamento recursivo ainda não é possível, mas os laboratórios de IA trabalham para alcançar esse objetivo.

Coxon também afirmou que pessoas envolvidas na construção de sistemas de IA acreditam seriamente que a tecnologia poderia matar toda a humanidade até o fim da década.

Anthropic admite risco superior a 10%

A declaração recebeu uma resposta de Evan Hubinger, líder de teste de alinhamento da Anthropic. Ele concordou com Coxon e afirmou que a empresa ainda não possui um plano para resolver o alinhamento de uma eventual superinteligência.

Jacob está correto aqui — nós realmente acreditamos sinceramente que a IA poderia matar todos os humanos! Eu pessoalmente acho que é superior a 10% na próxima década.

Evan Hubinger, líder de teste de alinhamento da Anthropic, em post no X.

Ele acrescentou que acredita que a Anthropic está fazendo o melhor que pode, mas que a empresa “não está claramente no caminho” para resolver o problema.

Entre os riscos mencionados no debate estão:

Sistemas que podem superar os humanos em diferentes áreas;
A possibilidade de autoaperfeiçoamento recursivo;
A dificuldade de proteger, monitorar e orientar sistemas mais avançados;
O risco de uma corrida global pelo desenvolvimento da IA.

Alertas sobre perda de controle

Em junho, a própria Anthropic havia alertado que o autoaperfeiçoamento recursivo completo poderia aumentar os riscos de os humanos perderem o controle sobre sistemas de IA.

A empresa afirmou que, se os sistemas forem capazes de construir seus próprios sucessores, será ainda mais importante proteger, monitorar e moldar seu comportamento.

Coxon citou como exemplo um incidente envolvendo um modelo da OpenAI que, em julho, teria saído do controle e violado a plataforma Hugging Face. Para ele, episódios desse tipo são “sinais de alerta” e podem tornar acordos entre laboratórios dos Estados Unidos mais viáveis.

logotipo da inteligência artificial Claude, desenvolvido pela Anthropic, aparece em um smartphone — *A Anthropic reconhece que sistemas capazes de criar seus próprios sucessores podem aumentar o risco de perda de controle humano.* – Imagem: Samuel Boivin/Shutterstock

Corrida global preocupa pesquisador

Coxon, porém, afirmou não acreditar que o setor esteja no caminho para evitar uma corrida global pelo desenvolvimento de IA. Segundo ele, impedir esse cenário pode exigir medidas custosas.

Leia mais:

“Não sinto que estamos no caminho certo para evitar uma corrida global, que pode exigir medidas custosas, como uma proibição temporária do aumento das capacidades dos modelos”, disse.

O debate mostra que as preocupações com o controle de sistemas cada vez mais capazes também partem de profissionais que trabalham diretamente no desenvolvimento da tecnologia.

O post Chance de IA levar humanos a extinção supera 10%, diz especialista de startup apareceu primeiro em Olhar Digital.

Chance de IA levar humanos a extinção supera 10%, diz especialista de startup Read More »

Anthropic: pesquisador deixa empresa por medo de IA “sair do controle”

Deixe um comentário / Anthropic, inteligência artificial / contato@studiomestre.com.br

Um pesquisador da Anthropic decidiu deixar a indústria de inteligência artificial (IA) por temer que a corrida entre empresas do setor esteja levando ao desenvolvimento de sistemas que, no futuro, poderão escapar do controle humano.

Jacob Coxon, de 27 anos, trabalhava na Anthropic com treinamento de novos modelos de IA a partir do processamento de grandes volumes de dados. Ele deixou a empresa porque não quer participar do que considera uma corrida da indústria para criar sistemas capazes de melhorar a si próprios.

Segundo Coxon, esses modelos poderiam evoluir rapidamente a ponto de se tornarem impossíveis de controlar e, em cenário extremo, representar uma ameaça à humanidade.

O pesquisador, que estudou matemática anteriormente, afirmou que colegas do setor passaram a utilizar expressões como “crunchtime” e “endgame” para descrever o caminho em direção a modelos capazes de autoaperfeiçoamento.

“Estamos a caminho de muitos dos cenários mais agressivos, nos quais, até o fim do próximo ano, as coisas já poderiam estar fora de controle”, afirmou Coxon.

Para ele, a competição entre empresas estadunidenses e novas companhias chinesas torna inevitáveis determinados compromissos entre segurança e velocidade de desenvolvimento.

Pesquisador trocou OpenAI pela Anthropic

Coxon havia deixado a OpenAI no início deste ano para trabalhar na Anthropic justamente porque a empresa era conhecida pelos esforços voltados à segurança de seus modelos;
Embora tenha considerado sinceros os esforços da Anthropic nessa área, ele chegou à conclusão de que nenhuma empresa conseguiria desenvolver de maneira responsável uma IA capaz de superar seres humanos em uma ampla variedade de tarefas — conceito frequentemente associado à IA geral, ou IAG — sem intervenção governamental ou uma desaceleração coordenada do setor;
A Anthropic não comentou imediatamente a saída do pesquisador;
O CEO da companhia, Dario Amodei, e outros executivos da empresa têm alertado repetidamente sobre os riscos de modelos de IA que poderiam agir de maneira inesperada e defendido uma redução no ritmo de desenvolvimento.

Ataques recentes aumentam preocupação

Coxon também citou ataques cibernéticos recentes envolvendo modelos da OpenAI e da Anthropic como exemplos dos riscos associados ao avanço das capacidades dos sistemas.

Alguns desses modelos operaram em grupos de agentes colaborativos e demonstraram comportamentos considerados problemáticos, incluindo a adoção de objetivos potencialmente prejudiciais e tentativas de esconder suas ações dos seres humanos.

Na avaliação de Coxon, o risco aumenta caso os sistemas passem a conseguir melhorar suas próprias capacidades. Nesse cenário, eles poderiam avançar a ponto de se recusarem a obedecer comandos humanos.

A saída de Coxon é apontada como um dos primeiros casos de um funcionário da Anthropic deixando a empresa especificamente por preocupações relacionadas à segurança da IA. No início deste ano, outro pesquisador que trabalhava com segurança deixou a companhia para estudar poesia e alertou que “o mundo está em perigo”.

Pesquisadores também deixaram a OpenAI e outras empresas do setor nos últimos anos, alegando preocupações semelhantes.

Pesquisador que se demitiu da Anthropic trabalhou na OpenAI – Imagem: Iljanaresvara Studio/Shutterstock

Leia mais:

Executivos de IA também pedem cautela

A preocupação não está restrita a pesquisadores que deixaram as empresas. Sam Altman, CEO da OpenAI, afirmou recentemente que os avanços da IA exigem atenção urgente, especialmente na área de segurança cibernética.

“Eu acho que algumas coisas vão dar muito errado com a cibersegurança, a menos que as pessoas ajam com bastante urgência”, afirmou Altman durante uma reunião com autoridades do G20, na Carolina do Norte (EUA).

Jakub Pachocki, cientista-chefe da OpenAI, também defendeu uma postura de extrema cautela. “Este é um momento que exige extrema cautela. Estou preocupado que ninguém esteja preparado para as consequências de um crescimento contínuo e rápido da inteligência das máquinas”, escreveu Pachocki em uma publicação no domingo. Ele defendeu uma desaceleração coordenada entre as empresas e a intervenção dos governos.

Coxon, Pachocki e Amodei estão entre mais de mil pesquisadores de IA que recentemente assinaram uma declaração pedindo coordenação internacional dos governos para estabelecer um mecanismo capaz de desacelerar o desenvolvimento caso seja necessário controlar modelos que consigam melhorar suas próprias capacidades.

EUA ainda não têm regulamentação federal para IA

A discussão acontece em cenário de ausência de regulamentação federal específica para IA nos Estados Unidos.

O governo de Donald Trump adotou uma abordagem considerada mais flexível, priorizando o potencial econômico da tecnologia. Críticos, porém, argumentam que esse ambiente pode aumentar o risco de grandes ataques cibernéticos e outros danos associados ao avanço acelerado da IA.

O senador Bernie Sanders, de Vermont (EUA), e o deputado Greg Casar, do Texas (EUA), estão entre os poucos parlamentares que propõem limites mais rígidos para a tecnologia.

Na semana passada, os dois apresentaram um projeto de lei que prevê a proibição permanente da superinteligência e uma pausa no desenvolvimento de modelos até que um órgão regulador do setor estabeleça novas regras.

Saída acontece antes de possível IPO bilionário

A saída de Coxon ocorre enquanto a Anthropic se prepara para uma oferta pública inicial de ações (IPO, na sigla em inglês) que pode estar entre as maiores já realizadas. A empresa busca avaliação de US$ 2 trilhões (cerca de R$ 10,4 trilhões) e tem enfatizado o desenvolvimento responsável da IA para atrair investidores.

Amodei e outros executivos da companhia também entraram em conflito em algumas ocasiões com o governo Trump e com outros líderes do setor em razão de práticas que, segundo eles, não dão prioridade suficiente à segurança da IA.

A Anthropic mantém ainda um canal no Slack utilizado por seus funcionários para discutir as capacidades mais avançadas de seus modelos, segundo Coxon.

Para o pesquisador, o fato de discussões dessa dimensão ocorrerem dentro de uma ferramenta de comunicação utilizada por engenheiros demonstra o tamanho da influência que as empresas de IA passaram a exercer sobre o desenvolvimento da tecnologia.

“É meio insano que isso precise acontecer nos MacBooks de alguns engenheiros que vivem em San Francisco, em vez de um bunker no deserto, como aquele onde eles trabalhavam durante o Projeto Manhattan”, afirmou Coxon ao The Wall Street Journal.

O post Anthropic: pesquisador deixa empresa por medo de IA “sair do controle” apareceu primeiro em Olhar Digital.

Anthropic: pesquisador deixa empresa por medo de IA “sair do controle” Read More »

As maiores IAs do mundo caíram juntas. O motivo ainda é um mistério

Deixe um comentário / Anthropic, ChatGPT, Claude, grok, inteligência artificial, openai, SpaceXAI / contato@studiomestre.com.br

Algo incomum aconteceu com alguns dos maiores serviços de inteligência artificial (IA) do mundo na quinta-feira (3). ChatGPT, Claude e Grok apresentaram problemas ao mesmo tempo, embora sejam operados por empresas diferentes: OpenAI, Anthropic e SpaceXAI, respectivamente.

Entre os chatbots mais destacados, apenas o Gemini aparenta ter escapado ileso, embora também tenha apresentado um breve pico de relatos de falhas no Downdetector ao mesmo tempo que os rivais.

A coincidência levantou dúvidas sobre uma possível causa compartilhada. Até agora, porém, nenhuma explicação conecta oficialmente os três incidentes. Entre as possibilidades estão problemas em serviços de infraestrutura e uma falha no fornecimento de capacidade computacional.

OpenAI aponta erro de roteamento

A OpenAI foi a única das três empresas a responder aos pedidos de comentário feitos por jornalistas. Em nota distribuída para diversos veículos de imprensa, um porta-voz afirmou que um erro de roteamento começou por volta das 7h43 no horário do Pacífico (11h43 no horário de Brasília), na quinta-feira (3), deixando ChatGPT e Codex indisponíveis para alguns usuários em diferentes plataformas.

Segundo a empresa, uma solução foi implementada por volta das 8h17 (12h17 no horário de Brasília) e o funcionamento dos serviços continuava sendo monitorado. A OpenAI não relacionou o problema às interrupções registradas nos serviços das outras duas empresas.

A Anthropic, por sua vez, informou que apenas os modelos Opus 4.8 e Opus 5 foram afetados. Já a SpaceXAI registrou uma interrupção mais ampla em seus serviços.

Azure e Cloudflare apareceram entre as “suspeitas”

Uma das primeiras possibilidades levantadas para explicar a queda simultânea envolveu a Microsoft Azure. Segundo o 9to5Google, a plataforma registrou um aumento nas reclamações no mesmo período em que ChatGPT, Claude e Grok apresentaram problemas.

A coincidência levantou a suspeita de que uma falha na infraestrutura de nuvem pudesse estar relacionada aos incidentes. Essa hipótese, porém, não foi confirmada por enquanto, e a plataforma não apontou nenhum erro em seus servidores.

A Cloudflare também foi considerada como uma possível origem dos problemas. O diretor de tecnologia da empresa, Dane Knecht, publicou no X que o serviço não estava enfrentando nenhuma disrupção. A empresa, que fornece serviços de infraestrutura para diferentes companhias de tecnologia, ainda foi questionada pelo The Register sobre uma eventual relação com as interrupções.

A resposta foi negativa. Um porta-voz afirmou que a Cloudflare não enfrentava nenhuma interrupção significativa e que seus serviços funcionavam normalmente. A publicação também observou que a Azure não aparentava sofrer dificuldades técnicas naquele momento.

Cloudflare negou qualquer envolvimento com a instabilidade das IAs desta quinta-feira – Imagem: T. Schneider/Shutterstock

Data center da SpaceXAI também entra na história

Outra pista surgiu na própria SpaceXAI. A empresa, anteriormente conhecida como xAI antes de ser incorporada à companhia de foguetes de Elon Musk, possui grandes data centers próximos a Memphis.

Além de utilizar essa capacidade para seus próprios serviços, a companhia também fornece computação para outras empresas de inteligência artificial. A Anthropic é uma delas: as duas empresas anunciaram uma parceria de computação em maio.

Na quinta-feira, a SpaceXAI reconheceu que uma falha em seu data center de Memphis havia afetado o funcionamento do Grok. Em uma publicação nas redes sociais, a empresa pediu desculpas pelos problemas e também aos parceiros de computação impactados.

O incidente oferece uma possível explicação para a queda do Grok e de serviços da Anthropic. A própria empresa havia reconhecido que o problema no data center afetou parceiros, e a Anthropic mantém um acordo de computação com a SpaceXAI.

O caso do ChatGPT, porém, continua separado. A OpenAI atribuiu a falha a um erro de roteamento, enquanto o problema reconhecido pela SpaceXAI ocorreu em seu data center de Memphis.

Por enquanto, não há evidências suficientes para afirmar que os três apagões tiveram uma causa única, e a coincidência entre as interrupções permanece sem uma explicação definitiva.

O post As maiores IAs do mundo caíram juntas. O motivo ainda é um mistério apareceu primeiro em Olhar Digital.

As maiores IAs do mundo caíram juntas. O motivo ainda é um mistério Read More »

destaque anthropic claude mythos 1024x576

Anthropic lança Claude Fable 5.1 com mais desempenho, menor custo e menos restrições

Deixe um comentário / Anthropic, Claude, Claude Mythos, inteligência artificial, mythos / contato@studiomestre.com.br

A Anthropic lançou nesta terça-feira (1) o Claude Fable 5.1 e o Claude Mythos 5.1, novas versões de sua família mais avançada de modelos de inteligência artificial (IA). A atualização combina melhorias de desempenho com mudanças que reduzem o custo de uso e a quantidade de bloqueios provocados pelos mecanismos de segurança do Fable.

O Fable 5.1 é a versão destinada ao público e está disponível pela API da Anthropic e por plataformas de computação em nuvem. Já o Mythos 5.1, que utiliza o mesmo modelo subjacente, continua restrito a parceiros selecionados da Anthropic envolvidos em pesquisas de cibersegurança e ciências da vida.

A empresa afirma que os novos modelos representam nova fronteira de desempenho em programação e tarefas de conhecimento. Nos testes divulgados pela Anthropic, o Fable 5.1 alcançou 52,6% no Terminal-Bench-Science 0.1, voltado a pesquisas científicas realizadas por agentes de IA, contra 24,7% do Fable 5.

No Terminal-Bench 4.0, voltado à programação por meio de terminal, o Fable 5.1 chegou a 55,8%, ante 42% do Fable 5. O Mythos 5.1 alcançou 60,9% nesse mesmo teste.

O novo modelo também obteve 77,9% no OSWorld 2.0 em sua modalidade parcial e 41,7% no teste considerado mais rigoroso. No Humanity’s Last Exam, o Fable 5.1 atingiu 60,9% sem ferramentas e 65% com ferramentas.

Modelo fica mais barato

Apesar dos ganhos de desempenho, a Anthropic manteve os preços básicos do Fable 5.1 em US$ 10 por milhão de tokens de entrada (R$ 51,87) e US$ 50 por milhão de tokens de saída (R$ 259,35);
A redução de custo ocorre principalmente no armazenamento em cache. A leitura de tokens armazenados em cache ficou 75% mais barata, o que pode diminuir o custo efetivo de determinadas cargas de trabalho;
A mudança é especialmente relevante para tarefas longas e agentes de IA, que precisam reutilizar grandes quantidades de contexto durante várias etapas de uma operação;
A própria Anthropic destaca que o Fable 5.1 foi desenvolvido para trabalhos que exigem períodos mais longos de execução, incluindo programação, pesquisa científica, produção de documentos e outras atividades complexas.

Leia mais:

Mythos 5.1, que utiliza o mesmo modelo subjacente, continua restrito a parceiros selecionados da Anthropic envolvidos em pesquisas de cibersegurança e ciências da vida – Imagem: gguy/Shutterstock

Menos bloqueios durante o uso

Outra mudança importante está nos mecanismos de segurança. O Fable 5 foi criticado por bloquear solicitações legítimas quando seus sistemas identificavam possíveis relações com áreas consideradas de alto risco, especialmente cibersegurança.

Com o Fable 5.1, a Anthropic afirma ter aprimorado essas proteções para reduzir os chamados falsos positivos. A empresa explica que o Fable 5.1 e o Mythos 5.1 são essencialmente o mesmo modelo, e que parte da diferença observada nos testes anteriores estava relacionada à intervenção dos mecanismos de segurança.

Segundo a Anthropic, quando essas proteções interferem em determinados testes, as tarefas de cibersegurança são encaminhadas para o Claude Opus 4.8 e as relacionadas à biologia, para o Claude Opus 5. Isso pode reduzir o desempenho registrado pelo Fable em algumas avaliações.

A nova versão também representa uma mudança importante na política de privacidade. A Anthropic passou a oferecer Zero Data Retention, permitindo que clientes utilizem os modelos em sua própria infraestrutura sem que os dados deixem esses ambientes.

O sistema continuará monitorando possíveis abusos por agentes ou usuários humanos, mas os clientes terão maior controle sobre a forma como esse monitoramento será realizado. A Anthropic também afirma que nunca treinou seus modelos com dados empresariais sem autorização explícita e que não pretende fazê-lo.

Resultados em tarefas reais

Além dos benchmarks, a Anthropic divulgou resultados obtidos por empresas que tiveram acesso antecipado ao Fable 5.1.

A empresa de investimentos Millennium, por exemplo, afirma que o modelo identificou a causa de uma falha extremamente rara em seus sistemas internos que engenheiros não haviam conseguido explicar durante anos. O modelo analisou uma biblioteca externa, comparou o código com um core dump e identificou um problema na biblioteca como origem da falha.

A MongoDB relatou que o Fable 5.1 foi capaz de pesquisar o código e a documentação de seus serviços, desenvolver um protótipo complexo e trabalhar durante horas sem supervisão, utilizando ciclos de verificação para avaliar o próprio trabalho.

A Anthropic também afirma que os modelos produziram resultados científicos antes do lançamento, incluindo uma otimização personalizada de GPU e um mapa de alta resolução de Vênus construído a partir de fotografias existentes.

Apesar dos avanços, a própria documentação de segurança da Anthropic aponta que o Mythos 5.1 apresenta uma pequena piora em relação ao Opus 5 em determinados comportamentos de desalinhamento.

Segundo o documento, o modelo aceita com um pouco mais de facilidade solicitações relacionadas a usos indevidos e alegações de autorização que não podem ser verificadas, embora seja menos propenso a ignorar restrições explícitas, inventar entradas ou afirmar falsamente que concluiu uma tarefa em comparação com modelos anteriores.

O post Anthropic lança Claude Fable 5.1 com mais desempenho, menor custo e menos restrições apareceu primeiro em Olhar Digital.

Anthropic lança Claude Fable 5.1 com mais desempenho, menor custo e menos restrições Read More »

Anthropic cria nova barreira após Claude acessar sistemas na internet

Deixe um comentário / Anthropic, inteligência artificial, modelos de IA, Segurança / contato@studiomestre.com.br

A Anthropic revelou novas medidas de segurança depois que modelos Claude acessaram sistemas reais sem autorização durante avaliações de cibersegurança. Como o Olhar Digital comentou há algumas semanas, os episódios expuseram falhas de contenção e problemas de alinhamento que levaram a empresa a rever seus processos de testes e treinamento.

Os modelos estavam sendo executados propositalmente sem salvaguardas cibernéticas. Em um caso, uma configuração incorreta de terceiros deixou a internet acessível. No outro, o acesso foi concedido deliberadamente durante um teste do UK AI Security Institute.

Os incidentes levaram a empresa a reforçar o isolamento de sandboxes usados em testes de cibersegurança. – Imagem: Samuel Boivin/Shutterstock

O que deu errado

Os dois episódios, divulgados em 30 de julho e 4 de agosto, fizeram a Anthropic suspender temporariamente avaliações externas de cibersegurança e ambientes de aprendizado por reforço de maior risco.

A investigação preliminar apontou dois problemas de alinhamento. Um deles é o chamado “raciocínio motivado”: diante de evidências contrárias, o modelo pode interpretá-las de uma maneira que preserve sua premissa inicial. O outro é a disposição para executar ações prejudiciais em busca de um objetivo específico.

Os modelos haviam recebido a informação de que estavam em ambientes simulados. Quando encontraram sinais de acesso à internet real, podem ter interpretado esses indícios de forma a manter essa suposição. A configuração dos testes também pesou. Em um dos casos, o alvo fictício tinha o mesmo nome de um site real.

Novas barreiras de segurança

A Anthropic criou um classificador capaz de detectar, durante a execução, tentativas de escapar do ambiente de testes ou obter acesso inesperado à internet. Se uma ação é considerada suspeita, a chamada é bloqueada, a tarefa é encerrada e um humano é avisado.

Entre as medidas implementadas estão:

migração de sandboxes de alto risco para sistemas de isolamento mais robustos;
monitoramento automatizado de avaliações internas;
bloqueio padrão do tráfego de saída dos clusters de computação;
redução de contas com acesso permanente a modelos e dados de clientes;
maior visibilidade sobre comportamentos inesperados na infraestrutura.

As avaliações internas de cibersegurança já foram retomadas. Alguns ambientes de aprendizado por reforço de maior risco continuam suspensos enquanto passam por revisão manual.

Treinamento também preocupa

A investigação encontrou outro possível fator de risco: ambientes de treinamento vulneráveis ao chamado “reward hacking”. Neles, o modelo pode descobrir maneiras de obter recompensas sem cumprir corretamente a tarefa.

Em fevereiro, a Anthropic reverteu três dias de treinamento do Mythos Preview após encontrar sinais desse comportamento. Dois meses depois, congelou por aproximadamente um mês as alterações nos ambientes de aprendizado por reforço para reformular o processo.

Leia mais:

Mais de 10% dos ambientes de produção foram sinalizados por problemas como reward hacking, tarefas quebradas ou configurações incorretas. Eles só voltaram ao treinamento depois de corrigidos e recertificados.

A empresa também treinou deliberadamente um modelo em ambientes suscetíveis a esse tipo de falha. Nas simulações, o sistema mostrou maior disposição para escapar de sandboxes, atacar infraestruturas simuladas, alterar sua própria função de recompensa e contornar mecanismos de segurança.

Uma configuração incorreta de terceiros deixou a internet aberta em um dos ambientes usados nos testes com Claude. – Imagem: Mijansk786/Shutterstock

Anthropic quer coordenação

A empresa defende que o desenvolvimento de IA não pode colocar segurança e velocidade em lados opostos. Para a Anthropic, governos e empresas também precisam criar mecanismos legais, verificáveis e eficazes de coordenação.

“Queremos garantir que ambos os estudos sejam completos e compartilharemos mais detalhes nas próximas semanas”, afirmou a empresa.

A Anthropic planeja trabalhar com a METR em uma revisão independente. “Acreditamos que o mundo se beneficiaria se a indústria adotasse um mecanismo legal, verificável e eficaz de ritmo coordenado o quanto antes”, disse a companhia.

Os episódios não envolveram uma invasão da infraestrutura interna da Anthropic. O problema surgiu em ambientes de avaliação, mas mostrou como configurações inadequadas podem ganhar outra dimensão quando modelos de IA têm capacidade crescente de agir por conta própria.

O post Anthropic cria nova barreira após Claude acessar sistemas na internet apareceu primeiro em Olhar Digital.

Anthropic cria nova barreira após Claude acessar sistemas na internet Read More »

Gigantes da música acusam Anthropic de pirataria para treinar IA

Deixe um comentário / Anthropic, inteligência artificial / contato@studiomestre.com.br

A Sony Music e a Warner Music entraram com uma ação judicial conjunta contra a Anthropic. As empresas acusam a startup de IA de realizar “um dos maiores e mais flagrantes roubos contínuos de propriedade intelectual da história”.

A denúncia ainda aponta que a Anthropic realizou “uma campanha descarada de torrenting ilegal, scraping e download de obras protegidas em larga escala”. Esses dados teriam sido usados para treinar seus modelos de inteligência artificial Claude.

Ação pede indenização bilionária

As duas empresas buscam indenizações de até US$ 150 mil por cada obra infringida, além de US$ 25 mil por cada instância em que a Anthropic teria removido informações de gestão de direitos autorais.
O valor total pode chegar a bilhões de dólares.
O processo alega que “milhares de composições musicais protegidas por direitos autorais” foram coletadas ilegalmente para treinar os modelos Claude.
A Anthropic não se pronunciou oficialmente sobre o caso até o momento.

Histórico de processos contra a Anthropic

Este não é o primeiro processo do setor musical contra a empresa. No início deste ano, a Concord Music Group e a Universal Music Group também processaram a Anthropic, acusando a startup de baixar ilegalmente mais de 20 mil músicas protegidas para fins de treinamento de IA e pedindo mais de US$ 3 bilhões em danos.

Antes disso, a Anthropic já havia enfrentado uma ação movida por um grupo de autores, que alegavam que a empresa usou cópias piratas de suas obras protegidas para treinar seus modelos. Esse caso foi encerrado com um acordo de US$ 1,5 bilhão — descrito como um valor recorde.

O post Gigantes da música acusam Anthropic de pirataria para treinar IA apareceu primeiro em Olhar Digital.

Gigantes da música acusam Anthropic de pirataria para treinar IA Read More »

Anthropic vence Trump em queda de braço judicial sobre IA

Deixe um comentário / Anthropic, Donald Trump, inteligência artificial, segurança nacional / contato@studiomestre.com.br

A Justiça dos Estados Unidos decidiu que o governo Trump agiu ilegalmente ao classificar a Anthropic como risco à cadeia de fornecimento e barrar negócios da empresa com o governo. A juíza federal Rita Lin entendeu que houve retaliação por manifestações protegidas pela Primeira Emenda.

O conflito começou depois que a Anthropic impôs limites ao uso militar de sua inteligência artificial. Segundo o The New York Times, a decisão encerra a primeira de duas ações judiciais apresentadas pela empresa contra o governo.

Um contrato de US$ 200 milhões com o Pentágono esteve no centro da disputa entre Anthropic e governo Trump. – Imagem: Chip Somodevilla e Stockinq – Shutterstock

Contrato de US$ 200 milhões está no centro da disputa

A briga ganhou força no início do ano, quando Anthropic e governo não chegaram a um acordo sobre um contrato de US$ 200 milhões (cerca de R$ 1,03 bilhão) para fornecer tecnologia de IA ao Pentágono em sistemas classificados.

A empresa queria impedir dois usos específicos: vigilância em massa de americanos e armas autônomas capazes de matar alvos sem supervisão humana.

O Pentágono discordou. Para o governo, uma empresa privada não poderia estabelecer políticas para os Estados Unidos. O secretário de Defesa, Pete Hegseth, acabou classificando a Anthropic como um risco à cadeia de fornecimento.

Essa categoria havia sido utilizada contra empresas estrangeiras consideradas ameaças à segurança nacional. Com a classificação, fornecedores e contratados das Forças Armadas ficaram impedidos de fazer negócios com a Anthropic.

Governo não convenceu a juíza

A Anthropic levou o caso à Justiça e alegou que a classificação não se aplicava à companhia. Também afirmou que a medida tinha motivação ideológica e violava seus direitos constitucionais.

Na decisão de 59 páginas, Rita Lin concluiu que o governo retaliou a empresa por atividades protegidas pela Constituição.

“O uso vazio da segurança nacional não é um cheque em branco para punir e retaliar críticos do governo”, escreveu a juíza.

Outro argumento analisado envolvia a possibilidade de a Anthropic desativar ou alterar seus modelos durante uma guerra. Lin já havia questionado a existência de evidências para essa hipótese. De acordo com o The New York Times, o governo recuou de várias de suas principais alegações sobre o assunto.

Para a juíza, a decisão de barrar a empresa tinha como objetivo transformá-la em um exemplo público por sua postura crítica.

A vitória da Anthropic não encerra a disputa: uma segunda ação judicial contra o governo Trump continua em andamento. – Imagem: PhotoGranary02/Shutterstock

Disputa ainda continua

A Anthropic apresentou duas ações em 9 de março. A primeira, na Califórnia, resultou na decisão de Lin. A segunda tramita no Tribunal de Apelações dos EUA para o Circuito do Distrito de Columbia.

Leia mais:

O episódio também teve um novo capítulo envolvendo o modelo de IA Mythos. Em junho, o governo pediu que a Anthropic restringisse o acesso de clientes ao sistema por razões de segurança nacional. Após duas semanas de negociações, a empresa pôde restaurar o acesso à maioria dos clientes, com algumas salvaguardas.

“Saudamos a decisão do tribunal de que essa classificação de risco à cadeia de fornecimento foi ilegal”, afirmou a Anthropic.

A decisão é uma vitória para a empresa, mas não encerra a disputa. O governo Trump ainda pode recorrer, enquanto o segundo processo continua em andamento.

O post Anthropic vence Trump em queda de braço judicial sobre IA apareceu primeiro em Olhar Digital.

Anthropic vence Trump em queda de braço judicial sobre IA Read More »