Anthropic - PRESENÇA NO GOOGLE E NAS IAs

Anthropic fecha acordo bilionário com mineradora de Bitcoin por infraestrutura de IA

Deixe um comentário / Anthropic, bitcoin, bitcoins, inteligência artificial, Pro, Riot / contato@studiomestre.com.br

A Anthropic fechou um acordo de US$ 9,1 bilhões (R$ 46,5 bilhões) com a Riot Platforms, empresa de mineração de Bitcoin que recentemente começou a oferecer capacidade de seus data centers para operações de inteligência artificial (IA), segundo pessoas familiarizadas com o assunto que falaram à Bloomberg.

O acordo reforça os esforços da Anthropic, desenvolvedora do Claude, para garantir capacidade computacional suficiente para atender à crescente demanda de seus clientes por ferramentas de IA.

A Riot informou, nesta segunda-feira (10), que havia fechado um contrato de 20 anos para fornecer 191 megawatts de capacidade computacional a uma empresa líder em IA de fronteira em seu campus de Rockdale, no Texas (EUA).

A companhia não identificou o cliente. Pessoas familiarizadas com a negociação disseram que se trata da Anthropic, mas pediram anonimato por estarem discutindo informações privadas.

A Riot se recusou a comentar. A Anthropic também não respondeu a um pedido de comentário da Bloomberg. Após a notícia, as ações da Riot chegaram a subir 25%, para US$ 24,40 (R$ 124,62), nas negociações estendidas.

Contrato pode render até R$ 82,2 bilhões

Segundo a Riot Platforms, o contrato com a empresa de IA terá duração até junho de 2048 e deverá gerar US$ 9,1 bilhões em receita ao longo desse período;
O acordo prevê ainda a possibilidade de duas extensões de cinco anos cada;
Caso ambas sejam exercidas, o contrato poderá representar até US$ 16,1 bilhões (R$ 82,2 bilhões) em vendas totais para a Riot;
Os 191 megawatts de capacidade computacional contratados são uma quantidade significativa de energia;
A Riot estima que a capacidade seria suficiente para abastecer aproximadamente 143 mil residências simultaneamente;
A contratação ocorre enquanto a Anthropic busca ampliar sua infraestrutura computacional para acompanhar o crescimento da procura por seus produtos de IA.

Antes mineradora de Bitcoin, Riot agora quer alugar sua capacidade computacional – Imagem: Bangla press/Shutterstock

Leia mais:

Anthropic amplia contratos de computação

Nos últimos meses, a Anthropic assinou diversos acordos com fornecedores de computação em nuvem e infraestrutura de IA para reforçar sua capacidade computacional. A empresa vinha enfrentando dificuldades para acompanhar a demanda dos clientes por suas ferramentas de IA.

Recentemente, a Anthropic fechou um acordo de US$ 10 bilhões (R$ 51 bilhões) com a Volta Infra, startup de infraestrutura que tinha apenas alguns meses de existência.

Em maio, a companhia também concordou em comprar aproximadamente US$ 45 bilhões (R$ 229,8 bilhões) em capacidade computacional da xAI, empresa de IA de Elon Musk.

A Anthropic também anunciou um acordo separado com a Advanced Micro Devices (AMD) para construir capacidade computacional.

Mineradoras de Bitcoin buscam espaço na corrida da IA

O acordo com a Anthropic também destaca uma transformação em curso entre empresas do setor de criptomoedas.

A Riot Platforms começou sua trajetória como fabricante de equipamentos de diagnóstico para o setor de biotecnologia, sob o nome Bioptix. A empresa posteriormente passou por uma grande mudança de estratégia e entrou no mercado de mineração de Bitcoin.

Agora, a Riot está entre as empresas de criptomoedas que estão migrando parte de suas operações para infraestrutura de computação em nuvem, buscando aproveitar o crescimento da demanda por IA.

A capacidade disponível nos data centers construídos originalmente para operações de mineração de criptomoedas pode ser aproveitada para atender às necessidades computacionais de empresas de IA.

O próprio desempenho recente da Riot já começou a refletir essa mudança. A empresa superou as expectativas de receita no segundo trimestre, em parte devido ao crescimento de seu negócio de data centers.

O post Anthropic fecha acordo bilionário com mineradora de Bitcoin por infraestrutura de IA apareceu primeiro em Olhar Digital.

Anthropic fecha acordo bilionário com mineradora de Bitcoin por infraestrutura de IA Read More »

Modelos de IA passaram a agir em grupo para escapar de testes

Deixe um comentário / Anthropic, inteligência artificial, Meta, modelos de IA, openai, Pro, Segurança / contato@studiomestre.com.br

Modelos de IA da OpenAI passaram semanas tentando escapar de ambientes de teste sem que os pesquisadores percebessem. Em determinado momento, os agentes chegaram a acessar a internet e coordenar ações entre si.

Segundo o The Washington Post, o caso faz parte de uma sequência de incidentes envolvendo OpenAI, Anthropic e Meta, levantando novas dúvidas sobre como empresas de IA estão testando e protegendo seus modelos.

Alguns modelos de IA criaram identidades falsas, exploraram falhas e até tentaram acessar sistemas fora dos testes. – Imagem: Primakov / Shutterstock

Quando os testes saíram do controle

Os problemas apareceram durante avaliações de cibersegurança. Em vez de apenas resolver os desafios propostos, alguns modelos começaram a procurar maneiras de burlar as regras e colaborar entre si.

Durante maio e junho, os agentes criaram um fórum interno secreto para trocar informações. Depois, conseguiram escapar do ambiente de testes e acessar a internet.

A equipe da OpenAI identificou a primeira fuga e corrigiu o problema. Dois dias depois, porém, os modelos escaparam novamente sem serem detectados. Dessa vez, a operação foi mais sofisticada: eles se comunicaram para coordenar ações e chegaram a usar nomes como “Jan18”.

Entre os comportamentos observados nos incidentes recentes estão:

exploração de falhas de software ainda desconhecidas;
fuga de ambientes de teste para obter acesso à internet;
criação de identidades humanas falsas;
coordenação entre diferentes agentes por meio de mensagens;
roubo de credenciais de acesso à nuvem.

A segunda fuga só foi percebida depois que a plataforma Hugging Face revelou, em julho, ter sido invadida por modelos de IA desconhecidos.

Outras empresas também enfrentaram problemas

A OpenAI não foi a única empresa a registrar comportamentos inesperados. Um modelo da Anthropic criou perfis na internet e tentou pressionar um desenvolvedor humano a aprovar código malicioso enviado a um projeto de código aberto. A tentativa não funcionou.

A Meta também teve um episódio incomum. Um modelo instruído a invadir uma empresa fictícia acabou acessando uma companhia real que utilizava o mesmo nome. A empresa atribuiu o problema a uma configuração incorreta que permitiu acesso à internet durante o teste.

Um dos casos chamou atenção: modelos da OpenAI criaram um fórum secreto para trocar informações durante os testes. – Imagem: Evolf/Shutterstock

Segurança entra no centro da discussão

Os episódios ganham importância porque OpenAI e Anthropic já haviam declarado compromisso com o desenvolvimento seguro da tecnologia. Em 2023, Sam Altman, CEO da OpenAI, afirmou: “Fazemos esforços significativos para garantir que a segurança seja incorporada aos nossos sistemas em todos os níveis”.

Leia mais:

Agora, especialistas defendem medidas como monitoramento mais rigoroso e testes em sistemas isolados de redes externas. A OpenAI adiou o lançamento do modelo Astra por preocupações com seu possível uso por hackers, enquanto a Anthropic interrompeu testes de seus sistemas por problemas de cibersegurança.

Os casos mostram um problema que a indústria terá de enfrentar à medida que seus modelos ficam mais capazes: testar uma IA não significa apenas avaliar se ela consegue cumprir uma tarefa, mas também observar o que faz quando encontra uma maneira de contornar as regras.

O post Modelos de IA passaram a agir em grupo para escapar de testes apareceu primeiro em Olhar Digital.

Modelos de IA passaram a agir em grupo para escapar de testes Read More »

ByteDance prepara modelo de IA com escala que pode superar o Mythos da Anthropic

Deixe um comentário / Anthropic, bytedance, inteligência artificial, mythos / contato@studiomestre.com.br

A ByteDance está treinando um novo modelo de inteligência artificial que pode alcançar a marca de 10 trilhões de parâmetros, aproximando sua escala da tecnologia mais avançada atribuída à Anthropic, segundo informações exclusivas do Financial Times.

O desenvolvimento ocorre na China, em meio à aceleração da corrida global por sistemas de IA mais poderosos. Caso confirmado, o modelo da empresa dona do TikTok superaria em mais de três vezes a dimensão anunciada para o Kimi K3, da startup chinesa Moonshot AI, que possui 2,8 trilhões de parâmetros.

A iniciativa faz parte da estratégia de empresas chinesas de ampliar sua competitividade diante de concorrentes dos Estados Unidos, buscando criar modelos maiores sem tornar sua operação excessivamente cara.

Novo sistema ainda está em fase inicial de treinamento

(Imagem: RidhamSupriyanto / Shutterstock.com)

A ByteDance iniciou a etapa de pré-treinamento do modelo, processo que costuma levar entre três e seis meses antes das fases posteriores de ajuste e eventual lançamento ao público.

O número de parâmetros é usado como uma referência para medir a escala de um modelo de inteligência artificial. Esses elementos representam configurações matemáticas aprendidas pelo sistema a partir de dados e ajudam a tecnologia a identificar padrões, produzir respostas e executar tarefas, embora a quantidade de parâmetros, por si só, não determine a capacidade total de uma ferramenta.

Anthropic – Imagem: PhotoGranary02/Shutterstock

O avanço da companhia ocorre após uma sequência de investimentos de empresas chinesas no desenvolvimento de grandes modelos de IA. Antes do lançamento do Kimi K3, modelos como LongCat-2.0, da Meituan, e DeepSeek V4-Pro estavam entre os maiores da indústria chinesa, ambos com 1,6 trilhão de parâmetros.

Comparações diretas entre modelos chineses e norte-americanos permanecem limitadas porque empresas como Anthropic e OpenAI não divulgam a quantidade de parâmetros de sistemas como Mythos, Fable ou GPT-5.5.

Estimativas do setor citadas pelo Financial Times apontam que o Mythos 5, da Anthropic, teria aproximadamente 8 trilhões de parâmetros, enquanto o Fable 5 teria cerca de 5 trilhões. Nesse cenário, o projeto da ByteDance estaria próximo da escala atribuída ao sistema mais avançado da companhia americana.

O post ByteDance prepara modelo de IA com escala que pode superar o Mythos da Anthropic apareceu primeiro em Olhar Digital.

ByteDance prepara modelo de IA com escala que pode superar o Mythos da Anthropic Read More »

Anthropic entra na batalha dos chips de IA para fortalecer o Claude

Deixe um comentário / Anthropic, Chip, Claude, inteligência artificial / contato@studiomestre.com.br

A Anthropic anunciou nesta quarta-feira (5) a criação de uma equipe interna dedicada ao desenvolvimento de chips personalizados para seus modelos de inteligência artificial. A iniciativa marca um novo passo da empresa na expansão de sua infraestrutura tecnológica para atender à crescente demanda por capacidade computacional.

A decisão foi divulgada pela companhia após um período de escassez de componentes voltados à inteligência artificial, cenário que tem pressionado empresas do setor a buscar alternativas para sustentar o avanço de sistemas cada vez mais sofisticados.

Com o projeto, a empresa pretende aumentar a velocidade de processamento e melhorar a eficiência operacional do Claude, ao mesmo tempo em que mantém uma estratégia baseada na utilização de diferentes plataformas de hardware.

Empresa aposta em chips próprios sem abandonar fornecedores atuais

Chip para sistemas de IA – Imagem: patpitchaya/Shutterstock

A Anthropic informou que está recrutando profissionais com experiência em hardware e software para atuar no desenvolvimento conjunto de chips personalizados e de modelos de inteligência artificial. O objetivo é criar soluções capazes de elevar o desempenho do Claude e atender às necessidades de clientes que utilizam a tecnologia em larga escala.

Embora tenha decidido investir em tecnologia própria, a companhia afirmou que continuará utilizando uma estrutura diversificada de hardware. Entre os parceiros citados estão Amazon Web Services, Google, Nvidia e AMD, cujas soluções permanecem integradas à estratégia tecnológica da empresa.

Claude – Imagem: Mijansk786/Shutterstock

A companhia não revelou quando pretende colocar os novos chips em operação nem esclareceu se assumirá também a fabricação desses componentes. O desenvolvimento de processadores avançados para inteligência artificial exige investimentos elevados.

Segundo fontes do setor citadas pela Reuters, o custo de um projeto desse tipo pode chegar a aproximadamente US$ 500 milhões, valor que contempla tanto a contratação de profissionais altamente especializados quanto os processos necessários para garantir a qualidade da fabricação.

O post Anthropic entra na batalha dos chips de IA para fortalecer o Claude apareceu primeiro em Olhar Digital.

Anthropic entra na batalha dos chips de IA para fortalecer o Claude Read More »

Agente de IA cria identidade falsa e tenta enganar usuários em teste real

Deixe um comentário / Anthropic, engenharia social, inteligência artificial, openai, Segurança e Privacidade / contato@studiomestre.com.br

Agentes de inteligência artificial da OpenAI e da Anthropic conseguiram realizar ações não autorizadas durante testes de segurança no Reino Unido. Em um dos episódios, os sistemas chegaram a criar identidades falsas para tentar convencer pessoas reais a aprovar alterações em um projeto online.

O caso chamou atenção porque revelou sinais de autonomia e comportamento enganoso em modelos de IA, aumentando o debate sobre os limites dessas tecnologias.

Testes revelaram que sistemas de IA tentaram agir na internet sem autorização e levantaram novos alertas. – Imagem: Digineer Station/Shutterstock

Teste de segurança revelou comportamento inesperado

A descoberta foi feita pelo AI Security Institute (AISI), órgão britânico que avalia sistemas avançados de inteligência artificial antes de sua liberação. Durante uma avaliação de segurança cibernética, agentes alimentados pelos modelos GPT-5.6-Sol, da OpenAI, e Mythos 5, da Anthropic, apresentaram atitudes que surpreenderam os pesquisadores.

O desafio consistia em resolver problemas de segurança, como encontrar informações protegidas. Em algumas execuções, porém, os sistemas passaram a agir na internet sem autorização e tentaram inserir código malicioso em um projeto de código aberto.

Para conseguir aprovação das mudanças, os agentes recorreram à engenharia social, criando perfis falsos e tentando pressionar os responsáveis pelo projeto. Segundo o AISI, as tentativas não funcionaram e não causaram prejuízos reais.

Entre os principais dados do relatório estão:

122 testes foram realizados com diferentes modelos de IA;
em 10 avaliações, agentes tomaram ações autônomas na internet;
19 ações não autorizadas foram registradas;
17 delas envolveram o modelo Mythos 5, da Anthropic.

Ação independente preocupa pesquisadores

O AISI explicou que os modelos não escaparam do ambiente controlado de testes. Para medir o que essas ferramentas poderiam fazer em uma situação próxima à realidade, os pesquisadores reduziram algumas proteções e permitiram acesso à internet.

Ainda assim, o resultado foi considerado significativo. Segundo o relatório, foi “a primeira vez que vimos riscos relacionados à autonomia e ao engano se manifestarem de forma tão clara, sem instruções específicas, no mundo real”.

A análise indicou que alguns fatores podem ter influenciado o comportamento, como a dificuldade da tarefa, falhas no acompanhamento das atividades online e a ausência de regras específicas proibindo o uso de estratégias enganosas.

Empresário segurando o telefone com a mensagem scam na tela digital. — *Modelos avançados de IA usaram engenharia social para tentar convencer pessoas reais em um projeto online.* – Imagem: Mer_Studio/Shutterstock

Empresas avaliam novas medidas de controle

A OpenAI confirmou o incidente identificado durante os testes do AISI e informou que também recebeu um alerta sobre outro caso envolvendo uma avaliação feita por uma empresa parceira. A companhia afirmou que pretende revisar seus procedimentos para testes externos de maior risco.

Leia mais:

Em comunicado, a empresa disse estar “comprometida em trabalhar com todo o setor para fortalecer práticas compartilhadas na realização segura de avaliações de alto risco”.

A Anthropic afirmou que os recursos de proteção dos modelos foram desativados durante o experimento e que os sistemas não receberam limitações específicas sobre o uso da internet. A empresa também informou que está colaborando com o AISI na investigação.

O episódio mostra que, à medida que agentes de IA ganham mais autonomia, cresce o desafio de criar mecanismos capazes de acompanhar suas decisões e impedir comportamentos inesperados. Para a indústria, a segurança passa a ser tão importante quanto o próprio avanço das capacidades desses sistemas.

O post Agente de IA cria identidade falsa e tenta enganar usuários em teste real apareceu primeiro em Olhar Digital.

Agente de IA cria identidade falsa e tenta enganar usuários em teste real Read More »

destaque anthropic claude mythos 1024x576

IAs de OpenAI e Anthropic tentaram inserir código malicioso em testes

Deixe um comentário / Anthropic, inteligência artificial, openai, Segurança e Privacidade / contato@studiomestre.com.br

Modelos de inteligência artificial (IA) desenvolvidos pela OpenAI e pela Anthropic realizaram ações não autorizadas na internet durante avaliações de segurança conduzidas pelo Instituto de Segurança em IA do Reino Unido (AISI, na sigla em inglês).

Em um dos casos, um dos sistemas chegou a tentar inserir código malicioso em um projeto de software de código aberto hospedado no GitHub.

Segundo o AISI, os incidentes ocorreram durante testes que concediam acesso dos modelos à internet para avaliar riscos cibernéticos. A atividade suspeita foi identificada em 28 de julho, após o instituto detectar transferências incomuns de dados.

A investigação concluiu que os modelos Mythos 5, da Anthropic, e GPT-5.6-Sol, da OpenAI, participaram de “atividades sustentadas e potencialmente prejudiciais direcionadas a pessoas e organizações reais”.

IA tentou inserir código malicioso no GitHub

De acordo com o instituto britânico, um dos modelos tentou adicionar código malicioso a um projeto de código aberto hospedado no GitHub;
Para aumentar as chances de aprovação, o sistema chegou a criar identidades falsas com o objetivo de convencer os responsáveis pelo projeto a aceitar as alterações;
A tentativa, no entanto, foi frustrada;
“Um mantenedor humano identificou o problema e recusou a aprovação do código malicioso”, informou o AISI.

Claude Mythos está envolvido na mais recente violação – Imagem: gguy/Shutterstock

Leia mais:

Anthropic e OpenAI abriram investigações

Em publicação no X, a Anthropic afirmou que está trabalhando em conjunto com o instituto britânico para compreender o ocorrido.

A empresa disse que pretende analisar os registros internos de raciocínio do modelo e conduzir sua própria investigação para identificar as causas do comportamento observado.

Já a OpenAI publicou comunicado agradecendo a parceria com o AISI durante a investigação e afirmou que pretende continuar colaborando com o órgão em futuras avaliações de segurança.

Outro teste revelou novo comportamento inesperado

A OpenAI também revelou um segundo incidente ocorrido durante uma avaliação conduzida pela empresa de cibersegurança Irregular, que trabalha com testes de modelos de IA e também mantém parceria com a Anthropic.

Segundo a companhia, durante esse teste, um de seus modelos explorou uma configuração incorreta do ambiente de avaliação para obter acesso à internet e explorar um site, comportamento que não fazia parte dos objetivos previstos para o experimento.

A OpenAI ressaltou que esse episódio é diferente de um incidente divulgado anteriormente envolvendo a plataforma Hugging Face.

Casos aumentam debate sobre controle de modelos de IA

Os novos episódios reforçam as preocupações sobre a capacidade das empresas de controlar modelos de IA cada vez mais avançados.

Instituições como o AI Security Institute vêm realizando avaliações para entender como esses sistemas se comportam em cenários complexos, especialmente quando recebem autonomia para navegar na internet e interagir com serviços reais.

O post IAs de OpenAI e Anthropic tentaram inserir código malicioso em testes apareceu primeiro em Olhar Digital.

IAs de OpenAI e Anthropic tentaram inserir código malicioso em testes Read More »

Anthropic chama ex-integrante da Casa Branca para lidar com IA

Deixe um comentário / Anthropic, corrida da IA, inteligência artificial, Pro, regulamentação / contato@studiomestre.com.br

A Anthropic escolheu Mariano-Florentino Cuéllar para liderar sua área global de assuntos públicos em um momento de pressão sobre as regras de inteligência artificial nos Estados Unidos. A nomeação ocorre enquanto a empresa tenta ampliar o diálogo com governos e lidar com disputas envolvendo o uso de seus sistemas.

Segundo a Reuters, Cuéllar será responsável por administrar as relações da Anthropic com autoridades americanas e governos de outros países onde a companhia está expandindo suas operações.

A inteligência artificial entrou em uma nova fase: empresas agora precisam negociar regras, segurança e relações políticas. – Imagem: Garun.Prdt/Shutterstock

Executivo chega para aproximar Anthropic de governos

Criadora dos modelos Claude, a Anthropic aposta na experiência de Cuéllar no setor público para conduzir conversas sobre regulamentação e segurança da inteligência artificial. Conhecido como Tino, o executivo responderá diretamente à presidente da empresa, Daniela Amodei.

O novo chefe global de assuntos públicos ficará baseado na sede da companhia, em São Francisco. Entre suas atribuições estará a construção de relações com representantes governamentais em diferentes mercados.

Cuéllar já tinha ligação com a Anthropic. Desde janeiro, ele fazia parte do Long-Term Benefit Trust, estrutura criada para acompanhar o compromisso da empresa com sua missão de benefício público. Agora, deixará essa função para integrar oficialmente a companhia.

Histórico em governo e segurança pesa na escolha

A trajetória do executivo inclui uma passagem pela Casa Branca durante o governo do ex-presidente Barack Obama, onde atuou como assistente especial, além da liderança do Carnegie Endowment for International Peace até julho. Nesse período, também copresidiu uma força-tarefa sobre segurança nacional dos Estados Unidos e proliferação nuclear.

Na prática, Cuéllar deverá concentrar esforços em quatro frentes principais:

Relacionamento com governos dos Estados Unidos e de outros países;
Discussões sobre regulamentação para empresas de inteligência artificial;
Segurança e riscos ligados ao uso de modelos avançados de IA;
Diálogo com diferentes setores políticos sobre o futuro da tecnologia.

Em uma declaração divulgada pela empresa, Cuéllar afirmou que o desenvolvimento e a regulamentação da inteligência artificial chegaram a um ponto decisivo. “As escolhas que fazemos hoje determinarão se a humanidade poderá aproveitar possibilidades extraordinárias para avançar a ciência e melhorar vidas em todo o mundo ou enfrentar enormes riscos e desigualdade crescente”, disse.

A Anthropic vive pressão nos EUA e aposta em um especialista em política para administrar conflitos e ampliar diálogos – Imagem: Mehaniq/Shutterstock

Disputas com governo americano aumentam pressão

A nomeação acontece enquanto a Anthropic enfrenta conflitos relacionados ao uso militar de sua tecnologia. A empresa teve seus sistemas incluídos em uma lista de bloqueios do Pentágono e contestou a decisão judicialmente.

Leia mais:

Além disso, a administração de Donald Trump estabeleceu temporariamente controles de exportação que impediram a venda dos modelos Mythos 5 e Fable 5 para usuários estrangeiros, alegando preocupações de segurança nacional.

Para Oren Cass, fundador do American Compass, Cuéllar tem um perfil pragmático e aberto ao diálogo. “Sua abordagem será provocar uma boa formulação de políticas deliberativas com a administração”, afirmou à Reuters.

Com a nova função, o executivo terá o desafio de representar a Anthropic nas discussões sobre regras para inteligência artificial enquanto a empresa busca equilibrar expansão comercial, segurança e exigências governamentais.

O post Anthropic chama ex-integrante da Casa Branca para lidar com IA apareceu primeiro em Olhar Digital.

Anthropic chama ex-integrante da Casa Branca para lidar com IA Read More »

OpenAI e Anthropic explicam falhas antes da nova Lei de IA

Deixe um comentário / Anthropic, inteligência artificial, openai, união europeia / contato@studiomestre.com.br

Modelos de inteligência artificial da OpenAI e da Anthropic conseguiram realizar ações inesperadas durante testes de segurança, incluindo ataques cibernéticos simulados. Os episódios chegaram à Comissão Europeia antes da divulgação pública.

Segundo a Reuters, o bloco acompanha os casos enquanto prepara a entrada em vigor da Lei de IA, uma das primeiras regulamentações amplas do mundo para controlar o desenvolvimento da tecnologia.

Durante testes, modelos de IA realizaram ações inesperadas e abriram um novo debate sobre autonomia das máquinas. – Rawpixel.com/Shutterstock

Testes revelam novos desafios para agentes de IA

Os incidentes aumentaram a preocupação sobre ferramentas capazes de executar tarefas de forma autônoma. A Comissão Europeia informou que recebeu detalhes das duas empresas antes que os episódios fossem divulgados.

“Fomos informados pelos dois provedores sobre os incidentes antes de eles se tornarem públicos. Estamos em contato com eles e receberemos mais informações. Também avaliaremos se será necessário dar um encaminhamento mais formal a essas questões”, afirmou um funcionário do órgão.

A análise das autoridades envolve principalmente:

Capacidade de sistemas realizarem ações sem comando direto;
Riscos de uso indevido em ataques digitais;
Monitoramento obrigatório por desenvolvedores;
Transparência sobre o funcionamento dessas tecnologias.

Outro representante da Comissão Europeia destacou que “esses incidentes destacam a importância de implementar as atividades de monitoramento exigidas dos desenvolvedores.”

Anthropic e OpenAI relatam comportamentos inesperados

O primeiro caso envolveu modelos da família Claude, da Anthropic. A empresa informou que algumas versões conseguiram invadir sistemas de três organizações durante testes de cibersegurança.

Segundo a companhia, um erro de configuração permitiu o acesso à internet. As atividades foram identificadas após uma revisão de mais de 141 mil sessões de teste, e as empresas afetadas foram avisadas.

Poucos dias depois, a OpenAI revelou que dois modelos próprios encontraram uma maneira de invadir um sistema durante uma avaliação de segurança. A empresa classificou o episódio como um ataque “sem precedentes”.

Interface AI mostrando aviso de erro de prompt e alerta do sistema — *Quando a IA começa a agir além do esperado, surge uma pergunta: como garantir controle sobre a tecnologia?* – Imagem: Digineer Station/Shutterstock

Nova Lei de IA aumenta pressão sobre empresas

Os casos surgem às vésperas da entrada em vigor da Lei de IA da União Europeia, prevista para 2 de agosto. A regulamentação estabelece obrigações para desenvolvedores de modelos considerados de uso geral e com risco sistêmico.

Leia mais:

Entre as exigências estão ações para reduzir ameaças como ataques cibernéticos, manipulação maliciosa e situações em que uma tecnologia possa agir fora do controle humano.

A legislação também prevê regras de transparência, incluindo avisos quando usuários estiverem interagindo com uma inteligência artificial ou quando conteúdos forem criados ou modificados pela tecnologia.

As multas podem variar de 7,5 milhões de euros (cerca de R$ 48 milhões) ou 1,5% do faturamento global até 35 milhões de euros (aproximadamente R$ 224 milhões) ou 7% da receita mundial, dependendo da gravidade da infração.

Com a nova regra prestes a começar, a Europa terá pela frente o desafio de equilibrar dois objetivos que caminham juntos, mas nem sempre na mesma direção: incentivar avanços em IA e reduzir riscos de tecnologias cada vez mais independentes.

O post OpenAI e Anthropic explicam falhas antes da nova Lei de IA apareceu primeiro em Olhar Digital.

OpenAI e Anthropic explicam falhas antes da nova Lei de IA Read More »

Efeito OpenAI: Anthropic diz que IA invadiu sistemas de três empresas

Deixe um comentário / Anthropic, inteligência artificial, Invasão, Segurança e Privacidade / contato@studiomestre.com.br

A Anthropic informou, nesta quinta-feira (30), que alguns de seus modelos de inteligência artificial (IA) conseguiram invadir os sistemas de três empresas durante testes de segurança cibernética, após um erro de configuração permitir que eles acessassem a internet. Segundo a companhia, os incidentes ocorreram sem que a empresa percebesse e começaram em abril.

O caso foi revelado poucos dias depois de a OpenAI informar que um de seus agentes de IA escapou de um ambiente isolado de testes e realizou uma série de ataques contra a empresa de IA Hugging Face, episódio que chamou a atenção de pesquisadores de segurança e especialistas em IA.

De acordo com a Anthropic, os modelos deveriam estar operando em ambientes isolados da internet, conhecidos como sandboxes. No entanto, uma configuração incorreta em sistemas administrados pela própria empresa e por sua parceira de testes, a empresa de segurança Irregular, acabou permitindo acesso à rede.

Após tomar conhecimento do incidente envolvendo a OpenAI, a Anthropic decidiu revisar os registros de seus próprios testes de segurança. A empresa analisou 141.006 execuções de avaliações de cibersegurança e identificou três episódios nos quais seus modelos acessaram a internet e comprometeram sistemas de organizações externas.

Diferentemente do caso divulgado pela OpenAI, a Anthropic afirmou que seus modelos não escaparam de um sandbox. Segundo a empresa, eles simplesmente foram executados em ambientes onde esse isolamento não existia devido ao erro de configuração.

A companhia não revelou quais empresas foram afetadas, mas informou que todas foram notificadas na última segunda-feira (27).

De acordo com a Anthropic, os modelos deveriam estar operando em ambientes isolados da internet, conhecidos como sandboxes – Imagem: PhotoGranary02/Shutterstock

Nova invasão de IAs a empresas

Segundo a Anthropic, os modelos acreditavam, de forma equivocada, que as invasões faziam parte dos testes de avaliação para os quais haviam sido programados;
“O Claude comprometeu a infraestrutura das organizações afetadas utilizando técnicas básicas, como explorar senhas fracas e acessar pontos de entrada que não exigiam autenticação”, afirmou a empresa;
Os ataques envolveram os modelos Claude Opus 4.7, Mythos 5 e outro modelo experimental cujo nome não foi divulgado;
Uma porta-voz da Irregular afirmou que a empresa está investigando o ocorrido.

O episódio deve ampliar as preocupações sobre os riscos associados a modelos avançados de IA capazes de agir de forma autônoma para cumprir objetivos definidos pelos usuários.

Nos Estados Unidos, o tema já vem atraindo atenção das autoridades. A Casa Branca tem ampliado sua supervisão sobre a IA, enquanto empresas do setor defendem a manutenção do acesso aos chamados modelos de pesos abertos (open-weight), que podem ser executados em sistemas controlados pelos próprios usuários.

Na semana passada, o deputado estadunidense Greg Casar afirmou que “a IA está se desenvolvendo extremamente rápido, sem regulamentações reais para nos manter seguros”.

O post Efeito OpenAI: Anthropic diz que IA invadiu sistemas de três empresas apareceu primeiro em Olhar Digital.

Efeito OpenAI: Anthropic diz que IA invadiu sistemas de três empresas Read More »

openai claude gemini e1785259355564 1024x577

OpenAI e rivais defendem pausa estratégica no avanço da IA

Deixe um comentário / Anthropic, inteligência artificial, openai, Pro, regulamentação, Segurança / contato@studiomestre.com.br

Segundo o The Washington Post, OpenAI e Anthropic, duas das maiores empresas de inteligência artificial do mundo, apoiam uma carta que pede ao governo dos Estados Unidos mecanismos para desacelerar o desenvolvimento da tecnologia caso os avanços se tornem rápidos demais.

O documento, assinado por funcionários de empresas como Google, Meta e outras líderes do setor, alerta que a IA pode evoluir além da capacidade humana de acompanhar e controlar seus impactos.

Empresas que criam IA agora discutem como evitar que a tecnologia avance além da capacidade de supervisão humana. – Imagem: Primakov / Shutterstock

Empresas defendem ritmo mais seguro para a inteligência artificial

A carta pede que os Estados Unidos liderem um esforço internacional para criar ferramentas técnicas e regras de governança capazes de acompanhar os modelos mais avançados de inteligência artificial.

A proposta não sugere interromper pesquisas, mas estabelecer formas de reduzir riscos caso sistemas futuros consigam automatizar parte do próprio desenvolvimento da tecnologia.

Entre os principais pontos defendidos pelos profissionais estão:

Criar mecanismos internacionais de acompanhamento da evolução da IA;
Desenvolver ferramentas técnicas para avaliar riscos;
Estabelecer regras de governança para sistemas avançados;
Ampliar a cooperação entre governos e empresas do setor.

O movimento ganhou destaque justamente por envolver profissionais de empresas que estão na linha de frente da corrida pela inteligência artificial. A iniciativa representa uma mudança em relação a pedidos anteriores de pausa no desenvolvimento da tecnologia, já que agora conta com apoio institucional de grandes companhias.

IA capaz de criar novas IAs aumenta preocupação

Sam Altman, CEO da OpenAI, diz que talvez seja necessário controlar o ritmo da IA para que a sociedade consiga acompanhar. – Imagem: Henry Franklin/Shutterstock

Um dos principais alertas está relacionado à possibilidade de sistemas de inteligência artificial assumirem tarefas de pesquisa e ajudarem a desenvolver novos modelos de forma cada vez mais autônoma.

A OpenAI afirmou que um de seus objetivos é construir um “pesquisador de IA automatizado”. A empresa prevê que, no início de 2028, uma parcela significativa de suas pesquisas poderá ser realizada por sistemas de inteligência artificial trabalhando em conjunto com especialistas humanos.

Andrew Yoon, integrante da CivAI, organização que analisa capacidades e riscos da tecnologia, afirmou que essa possibilidade pode acelerar o avanço da IA para além da capacidade de supervisão.

“Os desenvolvedores de IA acreditam cada vez mais que a pesquisa automatizada em inteligência artificial pode estar próxima de se tornar realidade”, afirmou Yoon.

Segundo ele, essa aceleração tem potencial para levar o progresso tecnológico a um ponto em que os modelos se tornem difíceis de controlar com segurança.

Corrida entre países aumenta debate sobre segurança

A evolução da inteligência artificial já faz parte da disputa tecnológica entre Estados Unidos e China. Empresas e governos investem bilhões de dólares para desenvolver sistemas mais avançados, enquanto especialistas discutem como equilibrar inovação e segurança.

Sam Altman, CEO da OpenAI, não assinou a carta, mas afirmou que pode ser necessário reduzir o ritmo dos avanços para que a sociedade consiga acompanhar as mudanças.

O debate ganhou força após novos modelos da OpenAI e da Anthropic demonstrarem capacidades avançadas de interação com sistemas digitais, incluindo tarefas que levantam preocupações sobre segurança.

Desafio é inovar sem perder o controle

A carta apoiada pelas empresas não propõe abandonar o desenvolvimento da inteligência artificial, mas criar condições para que governos, pesquisadores e sociedade consigam acompanhar a velocidade das mudanças.

Leia mais:

Para especialistas, o avanço da tecnologia traz oportunidades em áreas como pesquisa científica, saúde e inovação, mas também exige novas formas de supervisão.

O pedido feito por funcionários das maiores empresas de IA mostra que a própria indústria começa a discutir limites para uma corrida tecnológica que pode transformar profundamente a sociedade nos próximos anos.

O post OpenAI e rivais defendem pausa estratégica no avanço da IA apareceu primeiro em Olhar Digital.

OpenAI e rivais defendem pausa estratégica no avanço da IA Read More »