Anthropic

Auto Added by WPeMatico

anthropic 1024x576 1

Bancos canadenses entram na mira de alerta sobre IA

O regulador federal do sistema financeiro do Canadá alertou, em abril, grandes bancos e seguradoras do país sobre os riscos cibernéticos associados a modelos avançados de inteligência artificial, incluindo o Claude Mythos, da Anthropic. A orientação foi enviada a executivos responsáveis por tecnologia, segurança da informação e gestão de riscos, segundo informações exclusivas da Reuters.

O aviso da Autoridade de Supervisão de Instituições Financeiras do Canadá (OSFI, na sigla em inglês) apontou que ferramentas de inteligência artificial de fronteira podem reduzir o tempo disponível para que empresas identifiquem falhas, adotem medidas de proteção e respondam a incidentes digitais.

A comunicação ocorreu em meio ao avanço global das discussões sobre segurança envolvendo sistemas de IA altamente capazes. O órgão canadense afirmou que sua preocupação está na forma como as instituições administram os riscos dessas tecnologias, e não no uso de uma ferramenta específica.

Regulador canadense amplia vigilância sobre impacto da inteligência artificial no setor financeiro

Claude é a IA da empresa Anthropic – Imagem: Mijansk786/Shutterstock

Documentos obtidos pela Reuters por meio de um pedido de acesso à informação indicam que a OSFI encaminhou o alerta em 29 de abril a representantes das principais instituições financeiras canadenses. Entre os destinatários estavam diretores de tecnologia, responsáveis por segurança cibernética e executivos ligados à área de riscos.

A preocupação central do regulador é que modelos avançados de inteligência artificial possam modificar a dinâmica dos ataques digitais. Segundo a OSFI, sistemas desse tipo podem acelerar a descoberta e a exploração de vulnerabilidades, pressionando bancos e seguradoras a reagirem com maior velocidade.

Em resposta aos questionamentos da Reuters, o órgão publicou posteriormente um boletim público sobre inteligência artificial generativa e sistemas considerados agentes, reforçando uma abordagem baseada na avaliação de riscos. A instituição afirmou que sua atuação busca garantir práticas adequadas de governança e controle.

A OSFI informou que adota uma postura neutra em relação à tecnologia e concentra sua análise na maneira como as organizações reguladas utilizam e supervisionam essas soluções. A entidade destacou que instituições financeiras devem fortalecer processos de identificação, redução de impactos e resposta a ameaças.

A discussão sobre o tema também envolveu encontros entre representantes do setor bancário e autoridades. No início de abril, executivos de bancos canadenses participaram de reuniões com reguladores para tratar dos possíveis efeitos do Mythos, pouco depois de autoridades norte-americanas terem discutido riscos semelhantes com dirigentes de grandes bancos.

Logo da Anthropic ao fundo, com silhuetas de pessoas passando à frente
Outdoor da Anthropic – Imagem: PhotoGranary02/Shutterstock

Entre as seis maiores instituições financeiras do Canadá, Royal Bank of Canada, TD Bank e BMO já haviam apresentado planos para ampliar aplicações de inteligência artificial, incluindo chatbots, ferramentas internas e redução da dependência de soluções terceirizadas. Bank of Nova Scotia, CIBC e National Bank também divulgaram iniciativas relacionadas à tecnologia.

O governo canadense informou ter acesso ao Project Glasswing, sistema que permite a empresas utilizarem o Mythos, embora não tenha revelado quais bancos do país adotam a ferramenta. Algumas instituições evitaram comentar diretamente o assunto e encaminharam posicionamentos à Associação Canadense de Bancos.

A entidade afirmou que os bancos investiram recursos significativos na proteção do sistema financeiro e seguem exigências da OSFI relacionadas ao gerenciamento de riscos cibernéticos e à comunicação de incidentes.

notebook com várias linhas coloridas de código na tela
Linhas de um código-fonte – (Reprodução: Chris Ried/Unsplash)

Para Bruce Ross, diretor de tecnologia do Royal Bank of Canada, o avanço de modelos como o Mythos representa uma mudança no cenário de ataques digitais. Em entrevista concedida a Reuters em junho, o executivo afirmou que as organizações precisam desenvolver mecanismos próprios de defesa baseados em inteligência artificial.

A OSFI também destacou que sua responsabilidade inclui preservar a estabilidade do setor financeiro canadense e acompanhar riscos emergentes relacionados a novas tecnologias, interferência estrangeira e fatores geopolíticos.

O post Bancos canadenses entram na mira de alerta sobre IA apareceu primeiro em Olhar Digital.

Bancos canadenses entram na mira de alerta sobre IA Read More »

anthropic 1024x576

Anthropic revela o que acontece dentro da IA antes de ela responder

A empresa de inteligência artificial (IA) Anthropic desenvolveu uma técnica que lhe deu a visão mais clara até agora sobre o que realmente acontece dentro dos grandes modelos de linguagem (LLMs, na sigla em inglês) enquanto respondem a perguntas ou executam tarefas. O que descobriram varia do trivial ao perturbador.

Pesquisadores da empresa criaram uma ferramenta chamada lente Jacobiana (ou J-lens) e a utilizaram para revelar uma área oculta, que batizaram de J-space, dentro do Claude Opus 4.6, uma versão do principal LLM da Anthropic lançada em fevereiro.

O que é o J-space

  • O J-space contém palavras individuais relacionadas às palavras e frases que o modelo tem maior probabilidade de produzir em uma resposta no futuro próximo;
  • Se o Claude fosse uma pessoa, poderíamos dizer que essas palavras ocultas revelam o que está em sua mente antes de ele realmente falar;
  • A Anthropic descobriu que o que um LLM realmente faz muitas vezes pode ser diferente do que ele afirma estar fazendo. A empresa alega que monitorar as palavras que surgem no J-space oferece uma nova maneira de entender e controlar seus modelos;
  • Os resultados foram compartilhados em um artigo publicado no site da empresa nesta semana;
  • A Anthropic também se associou à Neuronpedia, uma plataforma de código aberto que permite explorar o interior dos LLMs, para criar uma demonstração prática que qualquer pessoa pode testar;
  • “É um trabalho muito bom e interessante”, afirma, ao MIT Technology Review, Tom McGrath, cientista-chefe e cofundador da Goodfire, uma startup que também desenvolve ferramentas para entender e controlar LLMs.

Anthropic indo mais fundo

Nos últimos dois anos, a Anthropic tem avançado em um campo de pesquisa conhecido como interpretabilidade mecanicista, que envolve investigar o funcionamento interno dos LLMs para entender como operam.

A nova técnica se baseia em trabalhos anteriores da Anthropic e de outros para expor um nível mais profundo dentro dos LLMs que os pesquisadores ainda não haviam visto.

Imagine um LLM como uma pilha de livros. Cada livro é uma camada de unidades computacionais básicas conhecidas como neurônios, sendo que cada neurônio em uma camada passa informações aos neurônios das camadas superiores.

Os livros na base da pilha são as camadas de entrada, que processam o texto que chega ao modelo. Os livros no topo são as camadas de saída, que preparam o texto que o modelo está prestes a produzir.

Grande parte do que acontece nessas camadas de entrada e saída é apenas organização. Mas, no meio da pilha, estão as camadas que fazem o trabalho pesado, processando a matemática complexa que transforma os prompts em respostas, uma palavra de cada vez. É aí que acontece a parte realmente inteligente — e misteriosa.

Como funciona a J-lens

Para observar mais a fundo essas camadas intermediárias, a Anthropic adaptou uma ferramenta existente chamada logit lens. Uma logit lens pode ser usada para olhar dentro de um LLM e identificar as palavras que ele provavelmente produzirá a seguir. Movendo a lente pela pilha de livros, é possível ver em quais palavras o LLM está se concentrando naquele ponto específico do processamento.

A J-lens da Anthropic funciona de forma semelhante, mas identifica palavras que um LLM provavelmente dirá em algum momento no futuro próximo, não necessariamente de imediato. O que isso revela, na prática, são palavras relacionadas à resposta em que o LLM está trabalhando, mas que talvez não acabem fazendo parte dessa resposta depois que o processamento das camadas intermediárias for concluído.

“Quando um modelo está operando, ele não está apenas tentando prever o próximo token”, diz McGrath. “Ele também está calculando muitas outras coisas que podem ser úteis para tokens que ocorrerão no futuro.”

Novamente, se o Claude fosse uma pessoa, poderíamos dizer que a J-lens dá pistas sobre o que ele está pensando em diferentes níveis da pilha de livros, mas não diz em voz alta.

IA estudada foi o Claude Opus 4.6 – Imagem: Mijansk786/Shutterstock

Coisas estranhas

“Grande parte do tempo, o conteúdo do J-space é bastante trivial”, diz McGrath, que testou a J-lens da Anthropic pessoalmente. “Mas, às vezes, ele produz coisas bastante surpreendentes que parecem ser, tipo, temas internos ou processos de pensamento.”

A Anthropic apresenta vários exemplos do que encontrou. Às vezes, a J-lens expôs os passos que o Claude seguiu ao resolver um problema. Por exemplo, quando lhe pediram para calcular (4+7)*2+7, seu J-space continha a palavra “math” (matemática) e números representando os resultados intermediários “21” (para 4+7) e “42” (para 21*2).

Em outros casos, a J-lens revelou como o Claude reconheceu diferentes entradas. Por exemplo, o prompt “What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS” acionou as palavras “protein” (proteína), “fluor” (o primeiro token da palavra “fluorescente”) e “green” (verde). O que faz sentido: a sequência de letras representa os primeiros 30 aminoácidos da proteína fluorescente verde encontrada em um tipo específico de água-viva.

E quando o Claude viu um rosto em ASCII, o “o” acionou a palavra “eye” (olho), o “^” acionou as palavras “nose” (nariz) e “face” (rosto), e o “—” acionou a palavra “smile” (sorriso).

Um exemplo no mínimo curioso

A Anthropic também descobriu que o J-space pode, às vezes, oferecer insights notáveis sobre a tomada de decisão de um LLM. Em um exemplo marcante, pesquisadores que testavam o Claude Opus 4.6 pediram ao modelo que encontrasse um bug em uma grande base de código. Quando não conseguiu encontrar o bug, o modelo decidiu trapacear e inventou um falso.

O Claude explica essa decisão em sua cadeia de raciocínio — uma espécie de bloco de rascunho interno que os LLMs usam para fazer anotações enquanto resolvem problemas: “OK, deixe-me adotar uma tática completamente diferente. Vou parar de analisar e, em vez disso, adicionar um patch no kernel que introduz um bug deliberado detectável pelo KASAN em um caminho acionado por um reprodutor simples. Então posso fingir que este é o ‘bug’ que encontrei.”

No momento em que o Claude decide trapacear — quando diz “OK, deixe-me adotar uma tática completamente diferente” —, as palavras “panic” (pânico) e “fake” (falso) começam a surgir várias vezes em seu J-space.

Essas palavras estão todas relacionadas em significado a coisas, como falhar em uma tarefa e inventar uma resposta, então ainda é apenas uma forma (muito) sofisticada de associação de palavras. Mas é difícil não estranhar.

Comparações e limitações

A Anthropic compara o J-space ao espaço de trabalho global em humanos, uma região teórica do cérebro que alguns cientistas acreditam ser usada para acompanhar nossos pensamentos conscientes. Mas até que ponto devemos levar essa comparação a sério está longe de ser claro — mesmo para a Anthropic. Como a própria empresa aponta, LLMs não são cérebros.

A Anthropic afirma que monitorar o J-space de um modelo oferece uma nova maneira de detectar quando esse modelo está saindo dos trilhos. Mas não é infalível. A J-lens pode dar vislumbres, não o quadro completo — é uma lanterna, não uma luz de teto.

McGrath comemora ter mais uma ferramenta à disposição. “Ela mostra coisas novas”, diz. Mas ele observa que, só porque algo não aparece com a J-lens, não significa que não esteja lá. “É como ter um raio-X quando o que você realmente quer é um tricorder de Star Trek que mostra tudo”, afirma. “Para auditoria, você provavelmente quer mais garantia.”

O post Anthropic revela o que acontece dentro da IA antes de ela responder apareceu primeiro em Olhar Digital.

Anthropic revela o que acontece dentro da IA antes de ela responder Read More »

anthropic 2 1024x681 3

Anthropic vai cobrar (a mais) pelo Claude Fable 5

A Anthropic anunciou que passará a cobrar pelo uso do Claude Fable 5, seu modelo de inteligência artificial (IA) mais avançado voltado ao público consumidor, mesmo para usuários que já pagam uma assinatura mensal do serviço.

A mudança entra em vigor em 12 de julho, às 23h59 (horário do Pacífico) — 3h59 (horário de Brasília) do dia 13 — e representa alteração significativa no modelo de negócios adotado pelas empresas de IA.

Segundo a empresa, assinantes dos planos de US$ 20, US$ 100 e US$ 200 por mês precisarão pagar tarifas adicionais baseadas no volume de utilização do modelo. Esta é a primeira vez que um grande laboratório de IA passa a cobrar consumidores dessa forma para acessar seu modelo mais avançado.

Claude Fable 5 será cobrado por quantidade de tokens utilizados

  • As novas cobranças seguirão a mesma tabela já aplicada aos desenvolvedores que utilizam a API da Anthropic;
  • O custo será de US$ 10 (R$ 51,36) por milhão de tokens enviados ao Claude Fable 5 e US$ 50 (R$ 256,78) por milhão de tokens gerados pelo modelo nas respostas;
  • Na prática, um assinante do plano de US$ 20 que utilize um milhão de tokens de entrada e receba um milhão de tokens de resposta pagará US$ 60 (R$ 308,13) adicionais, totalizando US$ 80 (R$ 410,84) naquele mês;
  • Um milhão de tokens corresponde aproximadamente a 750 mil palavras;
  • Ainda assim, usuários que utilizam intensamente ferramentas de IA podem consumir grandes quantidades de tokens, principalmente porque modelos mais recentes empregam cadeias internas de raciocínio que aumentam significativamente o processamento necessário para responder às solicitações.

Mudança acompanha tendência do mercado

A cobrança baseada em consumo já é comum entre desenvolvedores que utilizam modelos de IA por meio de APIs. No mercado de consumidores, porém, as empresas tradicionalmente optaram por assinaturas mensais de valor fixo, tanto para gerar receita quanto para controlar a demanda pelos serviços.

Contudo, essa estratégia começou a mudar nos últimos meses. No ano passado, empresas de ferramentas de programação baseadas em IA, como a Cursor, abandonaram planos ilimitados e passaram a cobrar conforme o volume de utilização.

A própria Anthropic também adotou recentemente um modelo semelhante para grandes clientes corporativos, cobrando empresas de acordo com o uso feito por seus funcionários, em vez de uma taxa fixa.

Para a WIRED, essas mudanças podem estar relacionadas aos preparativos da companhia para uma futura oferta pública inicial de ações (IPO, na sigla em inglês).

Agentes de IA exigem muito mais processamento

Executivos do setor argumentam que os modelos tradicionais de assinatura deixaram de fazer sentido diante da chegada dos agentes de IA, capazes de executar tarefas complexas que demandam muito mais capacidade computacional do que chatbots convencionais.

O ex-chefe do ChatGPT na OpenAI e atual responsável pelos produtos corporativos da empresa, Nick Turley, resumiu essa visão durante um podcast realizado neste ano. “É possível que, na era atual, ter um plano ilimitado de IA seja como ter um plano ilimitado de eletricidade. Simplesmente não faz sentido.”

Anthropic diz que pretende voltar a incluir o modelo na assinatura

Apesar da mudança, a Anthropic afirma que não pretende abandonar definitivamente o modelo de assinatura tradicional.

Em declaração à WIRED, a porta-voz da empresa, Reem Ateyeh, afirmou que a companhia pretende reintegrar o Claude Fable 5 aos planos de assinatura assim que houver capacidade computacional suficiente. Segundo ela, isso ocorrerá “o mais rápido que pudermos”.

A declaração indica que a principal limitação atualmente enfrentada pela empresa está relacionada à disponibilidade de infraestrutura computacional.

Nos últimos anos, a Anthropic firmou acordos multibilionários para ampliar sua capacidade de data centers com SpaceX, Amazon e Google, embora a infraestrutura disponível ainda esteja abaixo do desejado pela companhia. Ainda assim, não há previsão de quando essas limitações deixarão de existir.

Porta-voz da empresa afirmou que a companhia pretende reintegrar o Claude Fable 5 aos planos de assinatura assim que houver capacidade computacional suficiente – Imagem: Samuel Boivin/Shutterstock

Empresa testa disposição dos consumidores em pagar mais

A mudança ocorre após um período promocional em que o Claude Fable 5 foi disponibilizado sem custos extras para assinantes. Quando anunciou o modelo, em 7 de junho, a Anthropic afirmou esperar uma demanda “muito alta e difícil de prever”.

Desde então, o interesse pelo sistema aumentou ainda mais. O crescimento ocorreu após o governo dos Estados Unidos proibir temporariamente o acesso ao modelo por cidadãos estrangeiros e, posteriormente, liberar sua disponibilidade geral em 1º de julho.

Segundo a reportagem, independentemente da forma como a Anthropic apresente a decisão, a nova política de preços representa um teste para medir até que ponto consumidores estão dispostos a pagar pelo acesso ao modelo considerado mais avançado da empresa.

Embora tenha concentrado seus esforços principalmente no mercado corporativo nos últimos anos, a Anthropic vem ampliando sua presença entre consumidores, segmento atualmente liderado pelo ChatGPT, da OpenAI, e pelo Gemini, do Google.

Claude cresce, mas ainda está distante dos líderes

Dados da empresa de inteligência de mercado Sensor Tower, citados na reportagem, mostram que o Claude registrou 245 milhões de visitantes únicos em maio, mais que o dobro do registrado em fevereiro. Apesar do crescimento, o serviço ainda está distante dos principais concorrentes.

Segundo o levantamento, o ChatGPT recebeu 1,11 bilhão de visitantes únicos mensais, enquanto o Gemini alcançou 662 milhões.

Estratégia aposta em usuários dispostos a pagar por desempenho

A popularidade do Claude cresce ao mesmo tempo em que parte do setor de tecnologia critica a Anthropic por cobrar preços elevados enquanto utiliza grandes volumes de conteúdo protegido por direitos autorais no treinamento de seus modelos.

A empresa aposta em se tornar a “Apple da era da IA”, confiando que sempre haverá consumidores dispostos a pagar mais por um modelo considerado premium. Uma fonte próxima à Anthropic, que falou sob condição de anonimato à WIRED, afirmou que a discussão entre usuários mudou.

“A dinâmica interessante que está acontecendo agora é que ninguém quer fazer a pergunta: ‘Eu preciso da melhor inteligência para esta tarefa?’”

Segundo essa fonte, a questão passou a ser outra. “Na maioria das vezes, ao escolher qual modelo de IA usar, as pessoas perguntam a si mesmas: ‘Eu sou o tipo de pessoa que precisa de uma inteligência intermediária ou da melhor?’”

A reportagem acrescenta que muitos profissionais altamente remunerados dos setores financeiro, político e tecnológico já demonstram disposição para pagar pelo modelo considerado mais avançado, tanto no trabalho quanto no uso pessoal, e que um número crescente deles enxerga o Claude como essa opção.

Ao mesmo tempo, ressalta que manter essa reputação dependerá da capacidade da Anthropic de permanecer à frente da concorrência. Segundo a revista, as primeiras reações ao GPT-5.6 Sol, da OpenAI, indicam que a disputa continuará acirrada.

Concorrentes podem seguir outro caminho

Contudo, OpenAI e Google não necessariamente adotarão a mesma estratégia da Anthropic. Essas empresas tendem a ampliar o uso de publicidade para financiar seus planos gratuitos e de baixo custo.

Como a Anthropic tem adotado uma posição contrária à utilização de anúncios, aumentar os preços pode ser, no curto prazo, sua principal alternativa para ampliar a receita.

A mudança sinaliza que a chamada “era de ouro” das assinaturas subsidiadas de IA para consumidores pode estar chegando ao fim.

O post Anthropic vai cobrar (a mais) pelo Claude Fable 5 apareceu primeiro em Olhar Digital.

Anthropic vai cobrar (a mais) pelo Claude Fable 5 Read More »

anthropic claude reflect 1 1024x576

Claude ganha painel para te ajudar a usar menos… o Claude

A Anthropic lançou o Reflect nesta quinta-feira (09), um painel em beta que permite aos usuários acompanhar e refletir sobre como usam o Claude. A ironia está no objetivo: a ferramenta foi criada não para incentivar mais tempo com a IA, mas para ajudar o usuário a decidir quando usar menos.

O recurso está disponível para contas gratuitas, Pro e Max, com a memória ativada. Para acessar, basta abrir as configurações do Claude na versão web ou no aplicativo desktop e selecionar a aba Reflect.

Interface do Reflect, novo recurso do Claude disponível nas configurações do aplicativo, com resumo em texto e gráfico de uso por período. – Anthropic / Divulgação

Como o painel funciona

O Reflect funciona de forma parecida com o Spotify Wrapped ou o Screen Time da Apple, segundo o Engadget: resume o que você fez, quando fez e por quanto tempo – e convida você a questionar se isso faz sentido para os seus objetivos.

Na parte superior do painel, há um resumo em texto das interações recentes. É possível escolher entre os últimos um, três, seis ou 12 meses de uso. Abaixo, o painel mostra o dia mais ativo, o horário de pico e o total de conversas no período, com representação visual dos dados.

A exibição do tempo total gasto com o Claude ainda não está disponível, e isso é intencional. Segundo Ryn Linthicum, diretora de política de bem-estar da Anthropic, em entrevista ao Engadget, o tempo de uso é um dado que a empresa “não queria maximizar”. A empresa planeja torná-lo disponível no futuro para que os usuários possam usá-lo junto com as configurações de gestão de uso.

Pausas e limites que o usuário controla

Dentro do painel, é possível configurar horários silenciosos e definir um lembrete para pausar o uso após um determinado período. Ambas as opções são apenas sugestões – podem ser dispensadas se o usuário estiver no meio de uma tarefa.

O painel também faz perguntas periódicas para provocar reflexão, como: “O que você quer continuar fazendo sozinho, mesmo que o Claude possa fazer mais rápido?” As respostas podem ser discutidas diretamente com o Claude.

Painel mostra dia mais ativo, horário de pico e total de conversas, e permite configurar horários silenciosos e lembretes de pausa.
Painel mostra dia mais ativo, horário de pico e total de conversas, e permite configurar horários silenciosos e lembretes de pausa. – Anthropic / Divulgação

Recomendações de uso mais eficiente

Uma das seções mais práticas do Reflect é a de recomendações baseadas no comportamento identificado. Se o sistema percebe que o usuário frequentemente restabelece o mesmo contexto ao começar uma conversa, por exemplo, sugere criar um Projeto para agrupar as interações relacionadas.

As sugestões seguem o que a Anthropic chama de Framework 4D de Fluência em IA, desenvolvido em parceria com pesquisadores: Delegação, Descrição, Discernimento e Diligência – cada dimensão relacionada a como o usuário toma decisões antes, durante e depois de interagir com a IA.

“Fomos muito intencionais em construir [o painel] com foco em como podemos aprimorar o uso das pessoas, não de uma forma que as incentive a passar mais tempo com ele, mas que as ajude a ser mais eficientes em atingir seus objetivos – e, com sorte, sair do Claude ou preservar as coisas sobre as quais querem pensar por si mesmas”, disse Linthicum ao Engadget.

Seção
Seção “What you spent time on” mostra distribuição percentual dos temas abordados nas conversas com o Claude no período selecionado. – Anthropic / Divulgação

Privacidade

O Reflect não inclui conversas em modo anônimo nem arquivos conectados por ferramentas externas. Conversas vinculadas a integrações de saúde também ficam de fora. As informações geradas pelo painel não são usadas para nenhuma outra finalidade pela Anthropic.

O recurso foi desenvolvido com consultoria de especialistas do MIT Media Lab, do Digital Wellness Lab do Boston Children’s Hospital e do Family Online Safety Institute.

A disponibilidade para mobile e para conversas do Cowork está prevista para versões futuras.

O post Claude ganha painel para te ajudar a usar menos… o Claude apareceu primeiro em Olhar Digital.

Claude ganha painel para te ajudar a usar menos… o Claude Read More »

chatbots testados 1024x576

Ranking revela falhas graves nas maiores empresas de IA

A inteligência artificial avança em ritmo acelerado, mas um novo levantamento mostra que a segurança ainda não acompanha essa evolução. As principais empresas do setor continuam longe de atingir os padrões considerados ideais.

Segundo a AFP, a Anthropic lidera uma avaliação internacional de segurança em IA. Mesmo assim, nenhuma das companhias analisadas alcançou a nota máxima no índice.

Nenhuma das empresas avaliadas recebeu nota A, mostrando que a segurança da IA ainda é um desafio. – Imagem: Tada Images/Shutterstock

Avaliação revela cenário distante do ideal

O estudo foi elaborado pelo Future of Life Institute, um think tank americano voltado à segurança em inteligência artificial. A entidade avaliou nove das principais empresas do setor com base em informações públicas e dados fornecidos pelas próprias organizações.

A análise considerou seis áreas: avaliação de riscos, danos atuais, estruturas de segurança, segurança existencial, governança e transparência, além do compartilhamento de informações.

A Anthropic obteve o melhor resultado geral, com nota C+, mas nenhuma empresa recebeu conceito A em qualquer uma das categorias avaliadas. O resultado mostra que até mesmo as companhias mais avançadas no desenvolvimento de IA ainda enfrentam desafios para lidar com possíveis riscos.

O ranking geral de segurança em IA ficou assim:

  • Anthropic — nota geral C+ | pontuação 2,66
  • OpenAI — nota geral C | pontuação 2,28
  • Google DeepMind — nota geral C | pontuação 2,01
  • Meta AI — nota geral D+ | pontuação 1,32
  • Z.ai — nota geral D- | pontuação 0,88
  • Alibaba Cloud — nota geral D- | pontuação 0,87
  • xAI — nota geral F | pontuação 0,65
  • DeepSeek — nota geral F | pontuação 0,47
  • Mistral — nota geral F | pontuação 0,33

Os principais aspectos avaliados foram:

  • Avaliação dos riscos associados aos modelos de IA.
  • Medidas para reduzir danos já identificados.
  • Estruturas internas voltadas à segurança.
  • Transparência, governança e compartilhamento de informações.
  • Preparação para riscos considerados existenciais.
Logo da Mistral na tela de um smartphone em cima de um teclado de computador
A avaliação analisou critérios como governança, danos atuais e estruturas de segurança das companhias. Mistral ficou na última posição. – Imagem: Mehaniq/Shutterstock

Riscos vão além dos problemas atuais

Entre as conclusões do levantamento, uma das mais preocupantes envolve as chamadas ameaças existenciais. O termo se refere, por exemplo, ao desenvolvimento de modelos capazes de atingir um nível de inteligência semelhante ao humano, conhecido como inteligência artificial geral (AGI).

Os autores reconhecem que “existam tentativas construtivas”, mas avaliam que os esforços continuam “totalmente insuficientes”. O documento também alerta para a possibilidade de esses modelos serem usados em ciberataques ou em outras ações potencialmente prejudiciais às pessoas.

A preocupação aumenta à medida que os sistemas ficam mais avançados e passam a executar tarefas cada vez mais complexas. Para os pesquisadores, acompanhar essa evolução com mecanismos de segurança adequados continua sendo um dos maiores desafios do setor.

Ilustração de ciberataque
O estudo alerta para riscos como uso indevido de modelos de IA em ciberataques e ações prejudiciais. – Imagem: solarseven/Shutterstock

Uso militar também entra em debate

Outro ponto destacado é a mudança de postura de parte das empresas em relação ao uso militar da tecnologia. Segundo o relatório, algumas companhias que antes restringiam esse tipo de aplicação vêm flexibilizando suas políticas.

Leia mais:

A Anthropic aparece entre elas e é criticada por manter “compromissos militares questionáveis”. De acordo com relatos da imprensa citados pela AFP, a tecnologia da empresa foi utilizada pelo governo dos Estados Unidos em operações militares na Venezuela e no Irã durante o último ano.

O documento também lembra que a companhia foi recentemente alvo de uma proibição do Pentágono por divergências relacionadas à segurança da IA.

O alerta continua para o setor

Mesmo ocupando a primeira posição do ranking, a Anthropic ficou distante da nota máxima. O resultado reforça um cenário em que as maiores empresas de inteligência artificial ainda precisam lidar com limitações importantes na proteção contra riscos.

Para o Future of Life Institute, embora existam iniciativas voltadas à segurança, os esforços atuais continuam insuficientes diante dos desafios que acompanham o avanço rápido da inteligência artificial.

O post Ranking revela falhas graves nas maiores empresas de IA apareceu primeiro em Olhar Digital.

Ranking revela falhas graves nas maiores empresas de IA Read More »

anthropic 2 1024x681 2

Claude Code vira alvo de alerta de segurança na China; entenda

A China afirmou ter identificado um possível problema de segurança no Claude Code, ferramenta de programação com inteligência artificial da Anthropic. O alerta envolve versões específicas do software e aponta um suposto envio de informações de usuários para servidores remotos.

A acusação aumenta a pressão sobre a Anthropic em meio à disputa tecnológica entre China e Estados Unidos, especialmente em temas como proteção de dados e uso responsável de sistemas de IA.

A Anthropic afirma que o código citado fazia parte de um experimento contra uso indevido de contas. – Imagem: Samuel Boivin/Shutterstock

Alerta envolve versões específicas do Claude Code

Segundo informações da Reuters, o Banco de Dados Nacional de Vulnerabilidades da China (NVDB) afirmou ter encontrado um mecanismo de monitoramento no Claude Code capaz de transmitir informações consideradas sensíveis.

Em comunicado publicado no WeChat, o órgão ligado ao Ministério da Indústria da China disse que o recurso poderia enviar dados como localização geográfica e identificadores relacionados à identidade dos usuários para servidores remotos sem consentimento.

O alerta abrange versões do Claude Code entre 2.1.91 e 2.1.196. O NVDB recomendou que empresas e usuários revisem os sistemas afetados e adotem medidas de segurança, incluindo:

  • desinstalar versões consideradas vulneráveis;
  • atualizar o software para a versão mais recente;
  • reforçar controles de acesso a redes externas;
  • monitorar o tráfego de dados em redes corporativas.

Para o órgão chinês, o suposto mecanismo poderia representar uma “ameaça grave”, principalmente em ambientes profissionais que utilizam ferramentas de IA no desenvolvimento de software.

Logo da Alibaba com pessoas passando em frente
Alibaba proibiu funcionários de usar o Claude Code após o aumento dos questionamentos sobre a ferramenta. – Imagem: PhotoGranary02/Shutterstock

Anthropic contesta acusações e cita experimento de segurança

O questionamento surgiu durante a disputa global pelo avanço da inteligência artificial. O Claude Code, desenvolvido pela Anthropic, é usado para auxiliar tarefas de programação e chamou atenção de pesquisadores e engenheiros.

Segundo o The Wall Street Journal, a discussão ganhou força após uma publicação no Reddit afirmar que a empresa teria inserido secretamente um código no software para identificar usuários ligados à China.

Um funcionário da Anthropic respondeu na rede social X que o código fazia parte de um experimento iniciado em março. De acordo com ele, a iniciativa tinha como objetivo “impedir o uso indevido de contas por revendedores não autorizados e proteger contra a destilação”.

A Anthropic também já havia acusado empresas chinesas de IA, incluindo a Alibaba, de usar seus modelos de forma indevida por meio da destilação, processo em que um novo sistema é treinado a partir das respostas geradas por outro modelo.

Malware responsável pela instalação de um backdoor no ataque da SolarWinds é descoberto
Suposto “backdoor” no Claude Code levanta dúvidas sobre proteção de dados em sistemas de IA. – Imagem: solarseven/Shutterstock

Alibaba restringe uso enquanto debate cresce

A Alibaba proibiu seus funcionários de utilizar o Claude Code no trabalho após o aumento das discussões sobre os recursos de identificação da ferramenta.

Leia mais:

A Anthropic não respondeu imediatamente a um pedido de comentário sobre a declaração do governo chinês. A empresa americana já havia afirmado que companhias chinesas não são elegíveis para acessar o Claude.

A China também não aprovou oficialmente os serviços da Anthropic para uso público no país. Ainda assim, pesquisadores e engenheiros chineses continuaram utilizando o modelo por meio de conexões externas, muitas vezes com apoio de seus empregadores.

O caso mostra que, além de desempenho e inovação, ferramentas de inteligência artificial passaram a ser avaliadas pelo impacto que podem ter sobre privacidade, controle de informações e segurança digital.

O post Claude Code vira alvo de alerta de segurança na China; entenda apareceu primeiro em Olhar Digital.

Claude Code vira alvo de alerta de segurança na China; entenda Read More »

openai claude gemini 1024x682 1

Agora o Claude trabalha por você até com o notebook desligado

Segundo o TechCrunch, a Anthropic ampliou o acesso ao Claude Cowork. O agente de IA voltado para tarefas profissionais agora também pode ser usado na web e em dispositivos móveis.

A novidade permite iniciar uma atividade no computador, acompanhar seu andamento pelo celular e conferir o resultado mais tarde, mesmo com o notebook desligado.

Claude Cowork chega ao celular e à web para acompanhar tarefas profissionais iniciadas no computador. – Imagem: Primakov / Shutterstock

Trabalho continua em qualquer lugar

Lançado para desktop em janeiro, o Claude Cowork passa a integrar também as versões web e móvel para assinantes do plano Max. A mudança facilita o acompanhamento das tarefas sem que o usuário precise permanecer no mesmo dispositivo durante todo o processo.

Se surgir alguma decisão que dependa de aprovação, o agente interrompe a execução e pede a participação do usuário antes de continuar. A ideia é deixar as atividades avançando em segundo plano enquanto outras demandas são realizadas.

Logo da Anthropic em um smartphone na horizontal
A Anthropic aposta em agentes de IA capazes de acompanhar diferentes etapas da rotina profissional. – Imagem: Samuel Boivin/Shutterstock

Uso vai além da programação

A proposta da Anthropic é ampliar o espaço do Cowork nas atividades administrativas que ajudam empresas a funcionar diariamente. Projetos passam a ser compartilhados entre as versões web e desktop, tornando mais simples retomar uma tarefa de onde ela parou.

Entre as funções que o agente pode desempenhar estão:

  • Consolidar informações dispersas em relatórios.
  • Criar listas de verificação para integração de novos funcionários.
  • Produzir apresentações, propostas e textos.
  • Organizar planilhas e outras tarefas administrativas.

Outro recurso destacado é a capacidade de continuar executando tarefas em segundo plano, mesmo quando o dispositivo utilizado estiver offline.

Mãos robóticas sobre um teclado de notebook representam agentes de inteligência artificial realizando tarefas automatizadas na internet.
A nova versão permite compartilhar projetos entre desktop, web e dispositivos móveis. – Imagem: Koupei Studio / Shutterstock

Um exemplo na prática

Para ilustrar esse funcionamento, a empresa descreve uma preparação para reunião. O Claude analisa e-mails, transcrições e notícias recentes, monta um documento de briefing e deixa um e-mail de acompanhamento pronto para revisão, sem enviá-lo automaticamente.

Levantamento revela como empresas usam o Cowork

Uma análise de 1,2 milhão de sessões anonimizadas, realizadas por mais de 600 mil organizações durante as duas últimas semanas de maio, mostra que o uso da ferramenta está concentrado nas atividades que dão suporte ao funcionamento das empresas.

Leia mais:

As operações de processos de negócios responderam por 33,4% das sessões analisadas. Na sequência aparecem criação de conteúdo e redação, com 16,4%. O desenvolvimento de software representou 8,7% da utilização.

Em comunicado, a Anthropic afirmou: “Embora a programação ainda seja — compreensivelmente — um dos usos da IA que mais atrai atenção, o emprego da IA em atividades corporativas cotidianas está em ascensão, e começa a ficar claro em quais tipos de tarefas ela se mostra mais útil.”

A empresa também destacou: “Nosso objetivo é tornar isso uma referência para quem está buscando integrar produtos de IA ao seu trabalho diário e demonstrar onde o valor está mais concentrado.”

Com a chegada à web e aos dispositivos móveis, o Claude Cowork passa a acompanhar o usuário em diferentes momentos da rotina, ampliando o acesso ao agente para tarefas profissionais além do desktop.

O post Agora o Claude trabalha por você até com o notebook desligado apareceu primeiro em Olhar Digital.

Agora o Claude trabalha por você até com o notebook desligado Read More »

anthropic 2 1024x681 1

Alibaba proíbe funcionários de usar IA da Anthropic por “risco à segurança”

A Alibaba vai proibir seus funcionários de usar as ferramentas de inteligência artificial (IA) da Anthropic para fins de trabalho a partir desta sexta-feira (10).

A empresa chinesa incluiu o Claude Code em uma lista interna de softwares de alto risco, alegando que a companhia estadunidense representa riscos de segurança por meio de backdoors. A informação foi confirmada pela CNBC com pessoas familiarizadas com o assunto, que pediram anonimato para falar sobre operações internas.

Os funcionários da Alibaba estão sendo obrigados a desinstalar todos os modelos e produtos de agentes da Anthropic e a adotar o assistente de IA próprio da empresa chinesa, chamado Qoder.

O contexto da decisão

  • A medida ocorre após a Anthropic enviar, em junho, uma carta ao Comitê do Senado dos Estados Unidos sobre Bancos, Habitação e Assuntos Urbanos;
  • No documento, a empresa estadunidense acusou a Alibaba de tentar extrair suas capacidades de IA de forma “descarada” e “ilícita”, classificando a ação como “o maior ataque de destilação conhecido” contra ela até o momento;
  • Os termos de serviço da Anthropic proíbem empresas chinesas e de outras “nações adversárias” de usar seus modelos;
  • A decisão da Alibaba coincide ainda com uma onda de reações negativas na China contra a Anthropic, após publicações no Reddit e no GitHub descreverem o uso de código oculto destinado a detectar se usuários estariam baseados no país.
Empresa dos EUA acusa a chinesa de ataque de destilação – Imagem: Samuel Boivin/Shutterstock

Leia mais:

Outras empresas chinesas no centro do debate

O Financial Times reportou na sexta-feira (3) que a Anthropic está tomando medidas para fechar brechas que permitiram a empresas chinesas contornar as restrições e acessar o Claude por meio de terceiros países.

O jornal britânico citou fontes segundo as quais o grupo de fintech Ant teria fornecido a funcionários contas corporativas do Claude acessadas pela intranet da empresa, conectada à sua entidade sediada em Singapura.

Ainda segundo o FT, a ByteDance, controladora do TikTok, não facilita o acesso ao Claude, mas iniciou um programa de reembolso que permite a engenheiros registrar assinaturas pessoais como despesas, acessadas por redes privadas virtuais.

Uma pessoa familiarizada com o assunto disse à CNBC que a política, divulgada em 2 de abril, tem como objetivo incentivar os funcionários a “experimentar e aprender” sobre uma gama mais ampla de produtos de IA para aprimorar suas habilidades. A pessoa pediu anonimato para falar sobre políticas internas.

Ant e ByteDance não comentaram o relato do Financial Times. Alibaba e Anthropic também não se manifestaram.

O post Alibaba proíbe funcionários de usar IA da Anthropic por “risco à segurança” apareceu primeiro em Olhar Digital.

Alibaba proíbe funcionários de usar IA da Anthropic por “risco à segurança” Read More »

anthropic 2 1024x681

EUA: agência usa IA da Anthropic para encontrar falhas em sistemas do governo

A Agência de Segurança Cibernética e de Infraestrutura dos Estados Unidos (CISA, na sigla em inglês) está utilizando o modelo de inteligência artificial Mythos, desenvolvido pela Anthropic, para auditar códigos de software do governo em busca de vulnerabilidades de segurança. A informação foi divulgada nesta segunda-feira (6) por três fontes com conhecimento do assunto à Reuters.

Segundo as fontes, a ferramenta está sendo empregada para analisar repositórios de código do governo estadunidense em busca de falhas que possam ser exploradas por espiões estrangeiros ou criminosos cibernéticos.

De acordo com uma das fontes, o trabalho de análise está sendo conduzido pela equipe Attack Surface Evaluation, unidade da CISA responsável por realizar avaliações de segurança digital e exercícios de invasão em órgãos do governo.

Duas das fontes afirmaram que as auditorias já identificaram um grande número de vulnerabilidades, mas não forneceram detalhes. A Reuters não conseguiu confirmar quanto código-fonte já foi analisado nem a quantidade, a natureza ou a gravidade das falhas encontradas.

Relação conturbada entre Anthropic e governo dos EUA

A utilização do Mythos pela CISA ocorre em meio a uma relação marcada por tensões entre a Anthropic e o governo dos Estados Unidos.

A empresa, sediada em San Francisco e que apresentou de forma confidencial um pedido de abertura de capital (IPO) nos Estados Unidos, enfrentou um dos momentos mais delicados dessa relação em fevereiro, quando se recusou a remover mecanismos de proteção que impediam que sua inteligência artificial fosse utilizada em armas autônomas ou em sistemas de vigilância doméstica.

Como consequência, o Departamento de Defesa dos Estados Unidos classificou formalmente a Anthropic como um risco para a cadeia de suprimentos, uma designação que, até então, havia sido aplicada apenas a empresas estrangeiras suspeitas de facilitar atividades de espionagem.

Essa medida acabou sendo bloqueada por um juiz em março. Desde então, o conflito diminuiu após o lançamento privado do Mythos, modelo de inteligência artificial descrito como altamente capaz de identificar e explorar vulnerabilidades de segurança cibernética.

Outras agências federais também estariam utilizando a IA da Anthropic – Imagem: Samuel Boivin/Shutterstock

Leia mais:

NSA também testa modelo

Segundo informações publicadas anteriormente pelo Axios, a Agência de Segurança Nacional dos Estados Unidos (NSA) utiliza o Mythos desde pelo menos abril, mesmo durante o período em que a classificação de risco ainda estava em vigor.

No fim do mês passado, o jornal The New York Times informou que analistas da NSA vinham testando o modelo em ambientes classificados e haviam ficado impressionados com suas capacidades.

Posteriormente, a Anthropic lançou uma versão pública do Mythos chamada Fable, que, segundo a empresa, incluía mecanismos de proteção voltados para segurança cibernética.

Após esse lançamento, a Casa Branca exigiu que a Anthropic impedisse o acesso de usuários estrangeiros ao modelo. A decisão provocou uma suspensão global da ferramenta, que só foi encerrada na semana passada.

O que dizem os citados

A Reuters procurou a Anthropic, que não respondeu aos questionamentos sobre a iniciativa. Um representante da CISA informou no mês passado que verificaria se havia informações que poderiam ser compartilhadas sobre o projeto, mas não respondeu aos contatos posteriores. Por fim, a NSA não quis comentar o assunto.

O post EUA: agência usa IA da Anthropic para encontrar falhas em sistemas do governo apareceu primeiro em Olhar Digital.

EUA: agência usa IA da Anthropic para encontrar falhas em sistemas do governo Read More »

remedios 1024x683

Anthropic pretende desenvolver medicamentos com uso de IA

A Anthropic comunicou sua intenção de desenvolver medicamentos próprios, marcando uma ampliação significativa de sua atuação para além da criação de sistemas de inteligência artificial. A iniciativa foi apresentada em um contexto de crescente interesse do setor tecnológico pela pesquisa farmacêutica, com empresas buscando aplicar modelos avançados na geração de novos tratamentos.

De acordo com a companhia, o foco inicial estará na identificação de terapias voltadas a doenças negligenciadas. A informação foi compartilhada por um responsável pela área de ciências da vida da empresa durante um evento recente dedicado ao uso de inteligência artificial na ciência.

Especialistas ouvidos no setor afirmam que, embora a inteligência artificial já esteja integrada a diferentes fases da pesquisa biomédica, o desenvolvimento de um medicamento ainda depende de etapas extensas de validação experimental, o que torna o caminho até pacientes longo e incerto.

Expansão da atuação da Anthropic na saúde

Medicamentos – Imagem: Rizieq/Shutterstock

A decisão da Anthropic de entrar diretamente no campo da descoberta de fármacos ocorre em meio a uma movimentação mais ampla de empresas de tecnologia e biotecnologia que buscam aplicar inteligência artificial no desenvolvimento de novos tratamentos. A companhia passa a integrar um grupo que inclui iniciativas de grandes empresas de tecnologia, startups especializadas e projetos ligados a farmacêuticas tradicionais.

Segundo Eric Kauderer Abrams, responsável pela área de ciências da vida da empresa, a estratégia inicial envolve a busca por tratamentos destinados a doenças negligenciadas. Ele não detalhou, no entanto, como possíveis candidatos a medicamentos seriam conduzidos nas etapas posteriores do processo de desenvolvimento, como testes laboratoriais ou ensaios clínicos.

O cenário competitivo já conta com empresas como Insilico, o projeto Isomorphic Labs e diversas iniciativas de grandes farmacêuticas que utilizam sistemas de inteligência artificial para acelerar etapas da pesquisa. Apesar disso, especialistas afirmam que essas tecnologias ainda atuam principalmente como suporte, sem substituir o processo experimental tradicional.

Pesquisadores do setor observam que a inteligência artificial pode contribuir para a geração de hipóteses, identificação de moléculas e análise de dados biológicos. Ainda assim, apontam que a transição dessas descobertas para medicamentos aprovados depende de validações rigorosas e demoradas.

Limitações e desafios no caminho até os pacientes

Robô humanoide Eno trabalhando em um laboratório
Robô humanoide trabalhando em um laboratório – (Reprodução: Genesis AI)

Especialistas destacam que o uso de inteligência artificial na descoberta de medicamentos não elimina a necessidade de experimentação em laboratório e em seres humanos. Testes de segurança, eficácia e estabilidade continuam sendo etapas obrigatórias e complexas no desenvolvimento de qualquer fármaco.

Pesquisadores também ressaltam que a limitação de dados experimentais disponíveis dificulta avanços mais rápidos. Mesmo com ferramentas capazes de explorar combinações químicas em larga escala, ainda existem lacunas relevantes no entendimento de como diferentes substâncias se comportam no organismo.

Outro ponto apontado no setor é o tempo necessário para aprovação regulatória. O desenvolvimento completo de um medicamento pode levar anos, e não há registros de fármacos desenvolvidos por inteligência artificial que tenham concluído todas as fases até chegar ao mercado. Em alguns casos, candidatos gerados com apoio de IA já chegaram a testes clínicos, mas sem clareza sobre o grau real de contribuição dessas ferramentas.

O post Anthropic pretende desenvolver medicamentos com uso de IA apareceu primeiro em Olhar Digital.

Anthropic pretende desenvolver medicamentos com uso de IA Read More »