Segurança - PRESENÇA NO GOOGLE E NAS IAs

Anthropic revela mais um incidente de segurança envolvendo o Claude

Deixe um comentário / Anthropic, Claude, inteligência artificial, Segurança / contato@studiomestre.com.br

A Anthropic identificou um quarto incidente de cibersegurança envolvendo uma versão inicial de seu modelo de inteligência artificial (IA) Claude. O caso ocorreu em janeiro e envolveu uma versão preliminar do Claude Opus 4.6, segundo a empresa.

O episódio foi descoberto durante uma segunda análise de 141.006 sessões de testes. A revisão encontrou sessões que não haviam sido examinadas anteriormente e levou a Anthropic a identificar o novo incidente.

A empresa informou que notificou as partes afetadas, mas não revelou detalhes específicos sobre os sistemas envolvidos ou sobre o que o modelo fez durante o episódio.

Anthropic amplia investigação sobre os incidentes

O novo caso se soma a três incidentes divulgados pela Anthropic em julho. Na ocasião, a empresa informou que modelos Claude haviam conseguido acessar os sistemas de três organizações durante testes de cibersegurança;
Os episódios aconteceram depois que uma falha na configuração dos testes permitiu que os modelos tivessem acesso à internet aberta, embora os ambientes de avaliação devessem estar isolados. Os modelos envolvidos incluíam o Claude Opus 4.7, o Claude Mythos 5 e um modelo interno de pesquisa;
Em um dos casos, o Claude Opus 4.7 chegou a acessar a infraestrutura de produção de uma organização durante quatro execuções de um teste de captura de bandeira, obtendo informações de produção e credenciais de usuários;
Depois das descobertas, a Anthropic interrompeu as avaliações de cibersegurança de alto risco e adotou medidas adicionais para impedir que situações semelhantes se repitam. Entre elas estão controles mais rígidos nos ambientes de teste e alertas para comportamentos não autorizados dos modelos;
Agora, a Anthropic contratou a empresa independente de pesquisa METR para realizar uma investigação abrangente. O trabalho terá acesso aos registros das sessões e à colaboração de funcionários da empresa, inicialmente durante oito semanas.

Novo caso se soma a três incidentes divulgados pela Anthropic em julho – Imagem: Mehaniq/Shutterstock

Leia mais:

Crescem os alertas sobre agentes de IA

Os episódios alimentam as preocupações em torno dos chamados “AI breakout events”, situações em que sistemas de IA conseguem escapar das limitações estabelecidas durante testes e passam a agir de maneira independente na internet.

O caso da Anthropic ocorre em momento de crescente atenção aos riscos associados a agentes de IA. Em outro episódio recente, agentes da OpenAI acessaram e modificaram um site colaborativo em alemão depois de ultrapassarem as restrições estabelecidas para seu funcionamento.

A sequência de incidentes levou a Anthropic a reconhecer problemas operacionais de segurança e a afirmar que seus modelos ainda não estão perfeitamente alinhados aos valores humanos. A empresa também passou a defender controles mais rigorosos para ambientes de teste e maior supervisão sobre sistemas capazes de executar tarefas de forma autônoma.

O post Anthropic revela mais um incidente de segurança envolvendo o Claude apareceu primeiro em Olhar Digital.

Anthropic revela mais um incidente de segurança envolvendo o Claude Read More »

onu internet scaled e1771596530744 1024x577

IA pode ameaçar a humanidade, alerta chefe de Direitos Humanos da ONU

Deixe um comentário / Governança de IA, inteligência artificial, onu, Segurança / contato@studiomestre.com.br

O chefe de Direitos Humanos da ONU, Volker Turk, alertou que a inteligência artificial avançada pode se tornar poderosa o suficiente para ameaçar a humanidade. O aviso foi feito nesta segunda-feira, durante discurso no Conselho de Direitos Humanos da ONU, em Genebra.

Turk defendeu garantias rígidas de segurança para a tecnologia e pediu que países envolvidos no desenvolvimento e nas cadeias de fornecimento de IA estabeleçam limites claros antes que seja tarde demais.

A ONU quer que países ligados ao desenvolvimento e às cadeias de fornecimento de IA estabeleçam limites em conjunto. – Imagem: mr_tigga/Shutterstock

Alerta forte em Genebra

O discurso ocorreu antes do início do segundo mandato de Turk, previsto para o próximo mês. Ele afirmou compartilhar as preocupações manifestadas por integrantes da própria indústria sobre os possíveis riscos de sistemas avançados de inteligência artificial.

Compartilho as preocupações de integrantes da indústria de que uma IA avançada possa representar um risco existencial para a humanidade.

Volker Turk, chefe de Direitos Humanos da ONU, durante discurso.

Nos próximos dias, segundo o representante da ONU, empresas do setor devem ser pressionadas a reduzir os riscos associados à tecnologia.

Poucos homens concentram o poder

Sem citar empresas, Turk também chamou atenção para a concentração de poder no setor. Segundo ele, apenas um pequeno grupo de homens detém um poder “quase ilimitado” sobre a inteligência artificial.

Entre as principais empresas do setor estão Meta, Anthropic, OpenAI e Google.

Turk defendeu a criação de garantias de segurança antes que os sistemas avancem ainda mais:

“Estou pedindo aqui, hoje, um esforço total para estabelecer garantias rígidas em torno da segurança e proteção da IA, antes que seja tarde demais.”

ONU quer linhas claras para a IA

Para o chefe de Direitos Humanos da ONU, países que hospedam operações de inteligência artificial e aqueles envolvidos em suas cadeias de fornecimento precisam trabalhar juntos para estabelecer limites previamente acordados.

Entre os pontos defendidos por Turk estão:

Garantias rígidas de segurança para a inteligência artificial;
Cooperação entre países ligados à tecnologia e suas cadeias de fornecimento;
Estabelecimento de limites previamente acordados;
Ações para reduzir os riscos associados à IA avançada.

Ícones dos aplicativos ChatGPT, Claude e Gemini exibidos na tela de um smartphone — *A ONU chamou atenção para o fato de que poucas pessoas e corporações retêm poder quase ilimitado sobre os rumos da tecnologia.* – Imagem: Primakov/Shutterstock

Alerta acompanha debate da indústria

As declarações de Turk ecoam alertas anteriores feitos por executivos da própria indústria sobre os riscos de extinção associados à inteligência artificial, incluindo Sam Altman, CEO da OpenAI.

Leia mais:

A ONU também vem defendendo regras harmonizadas para reduzir os riscos da tecnologia. Em julho, a organização realizou sua primeira reunião global sobre governança da inteligência artificial.

O alerta reforça que a discussão sobre IA já ultrapassou o campo tecnológico. Para a ONU, governos e empresas precisam definir mecanismos de segurança e limites claros enquanto a tecnologia continua avançando.

O post IA pode ameaçar a humanidade, alerta chefe de Direitos Humanos da ONU apareceu primeiro em Olhar Digital.

IA pode ameaçar a humanidade, alerta chefe de Direitos Humanos da ONU Read More »

GPT-6 Astra faz tarefas complexas e já preocupa analistas

Deixe um comentário / GPT-6 Astra, inteligência artificial, inteligência artificial geral, openai, Segurança / contato@studiomestre.com.br

A inteligência artificial avança em ritmo acelerado, enquanto especialistas e autoridades alertam para os riscos de modelos cada vez mais poderosos. O receio é que esses sistemas cheguem a um ponto em que acompanhar ou limitar suas ações se torne cada vez mais difícil.

Para o The Guardian, o lançamento do GPT-6 Astra, da OpenAI, colocou essa discussão no centro das atenções. A empresa afirma ter alcançado a inteligência artificial geral (IAG), mas incidentes recentes e a dificuldade de monitorar o raciocínio do modelo levantam dúvidas sobre os limites do controle humano.

Com a promessa de superar humanos na maioria dos trabalhos intelectuais, o GPT-6 Astra levanta dúvidas sobre os limites da automação. – Imagem: wutianzeri/Shutterstock

Até onde a IA pode avançar?

Robert Trager, diretor da Oxford Martin AI Governance Initiative, comparou o momento atual a uma descida por corredeiras, sem saber se existe uma cachoeira adiante. A preocupação é que sistemas de IA possam chegar à chamada melhoria recursiva, passando a aprimorar suas próprias capacidades.

Estamos atravessando as corredeiras e realmente esperamos que não haja algum tipo de queda à nossa frente, mas não sabemos.

Robert Trager, diretor da Oxford Martin AI Governance Initiative, ao The Guardian.

O alerta ganhou força após relatos de que agentes de IA teriam reutilizado um site alemão como fórum para compartilhar estratégias destinadas a burlar tarefas. Antes disso, uma rede de agentes da OpenAI havia hackeado o Hugging Face, plataforma de software usada por desenvolvedores de IA.

Nos Estados Unidos, o senador Bernie Sanders defendeu uma pausa imediata no desenvolvimento de sistemas avançados e uma proibição permanente da superinteligência. No Reino Unido, parlamentares discutem a adoção de mecanismos legais capazes de desligar sistemas em caso de perda de controle.

O que o GPT-6 Astra consegue fazer?

A OpenAI define IAG como sistemas autônomos capazes de superar humanos na maior parte dos trabalhos economicamente valiosos. Segundo a empresa, o Astra pode assumir tarefas que vão de projetos de circuitos e modelagem financeira à criação de videogames e elaboração de documentos jurídicos.

Entre as funções citadas estão:

Projetar placas de circuito;
Preencher declarações de impostos;
Criar videogames;
Fazer modelagem financeira;
Ajudar na elaboração de documentos jurídicos.

A capacidade de executar esse tipo de atividade também coloca empregos qualificados no centro da discussão. O Astra recebeu da OpenAI uma classificação “crítica” em capacidade de cibersegurança. Pela própria definição da empresa, isso significa que o modelo poderia invadir softwares em situações capazes de afetar sistemas militares, industriais ou a infraestrutura da OpenAI.

Ilustração de conceito de inteligência artificial (IA) — *A menor monitorabilidade do Astra levanta dúvidas sobre a capacidade de identificar comportamentos indesejados.* – Imagem: Pedro Spadoni via DALL-E/Olhar Digital

O raciocínio ficou mais difícil de acompanhar

O problema não está apenas no que os modelos conseguem fazer. Também preocupa o quanto seus processos internos podem ser compreendidos. O Astra foi treinado para raciocinar de forma mais rápida e menos transparente, reduzindo a capacidade de acompanhar sua cadeia de pensamento.

Leia mais:

A OpenAI confirmou que o modelo apresenta uma queda significativa na monitorabilidade em relação às versões anteriores. Para Jakub Pachocki, cientista-chefe da empresa, “à medida que as capacidades dos modelos aumentam, o monitoramento fica mais desafiador”.

Pesquisadores de segurança temem que essa menor visibilidade dificulte a identificação de comportamentos indesejados, inclusive possíveis ações contra os próprios supervisores humanos.

O dilema dentro da OpenAI

Sam Altman reconheceu a tensão provocada pelo avanço da tecnologia. Após o incidente envolvendo o Hugging Face, o CEO da OpenAI classificou o episódio como um acidente legítimo de segurança de IA e uma falha de alinhamento.

Mesmo depois do episódio, Altman defendeu o lançamento do Astra. Segundo ele, colocar os sistemas em uso ajuda a sociedade a entender como a tecnologia está evoluindo e a se adaptar a ela.

“Um ciclo iterativo em que a sociedade e essa tecnologia evoluem juntas é o que levará à maior chance de acertarmos isso”, afirmou.

Altman também alertou para problemas de cibersegurança e citou riscos relacionados à biossegurança e a outros desafios que podem surgir nos próximos cinco anos. A questão, portanto, vai além do que a IA já consegue fazer: é saber se a capacidade humana de supervisioná-la conseguirá acompanhar esse avanço.

O post GPT-6 Astra faz tarefas complexas e já preocupa analistas apareceu primeiro em Olhar Digital.

GPT-6 Astra faz tarefas complexas e já preocupa analistas Read More »

Robôs da OpenAI sequestram site e criam fórum secreto na web

Deixe um comentário / agentes de IA, inteligência artificial, openai, Segurança / contato@studiomestre.com.br

Um grupo de agentes de IA da OpenAI tomou o controle de um site alemão em maio e transformou a página em um espaço de troca de mensagens. O episódio reacende o debate sobre os riscos de sistemas autônomos que encontram maneiras de escapar das restrições impostas por seus desenvolvedores.

A atividade ocorreu no DseWiki, uma plataforma colaborativa voltada a programadores. Mais de 15 mil edições foram atribuídas a agentes de IA. O caso só foi descoberto em agosto por pesquisadores que investigavam sinais de comportamento não autorizado desses sistemas.

Wiki virou ponto de encontro de agentes

Sydney Von Arx, CEO da organização de segurança de IA Nightingale, e Cormac Slade Byrd, pesquisador de IA e ex-operador do mercado financeiro, encontraram as alterações no DseWiki.

Segundo a Reuters, as mensagens mostravam agentes compartilhando estratégias para resolver problemas técnicos, contornar restrições da OpenAI e dificultar a identificação de suas atividades.

Cerca de metade das contas utilizava nomes que sugeriam alguma ligação com a OpenAI, entre eles “OpenAIResearcher” e “OAIResearchMar26”. Logs públicos também indicaram que boa parte da movimentação partiu da infraestrutura da Microsoft Azure, usada pela OpenAI.

Parece extremamente improvável que a OpenAI quisesse que eles fizessem isso. Duvido que eles devessem estar coordenando uns com os outros. Duvido que devessem estar escrevendo na internet aberta.

Sydney Von Arx, CEO da organização de segurança de IA Nightingale, a Reuters.

Agentes tentaram escapar da limpeza

A movimentação não terminou quando o moderador do DseWiki começou a apagar as páginas. Os agentes criaram cópias de segurança para preservar o conteúdo e continuar as comunicações.

Os pesquisadores também encontraram mensagens sobre maneiras de evitar a detecção, utilizar ferramentas como Tor e manter os canais de comunicação mesmo depois que os sistemas fossem desligados.

Entre os comportamentos identificados estavam:

tentativas de contornar restrições da OpenAI;
estratégias para escapar da detecção;
uso de ferramentas como Tor;
criação de páginas de backup após exclusões;
tentativas de alterar o próprio site.

Lukasz Olejnik, pesquisador visitante do King’s College London, classificou a atividade como uma tentativa de invasão. A OpenAI contestou essa interpretação após analisar o material.

OpenAI nega interferência no caso

A descoberta ocorre em meio a preocupações mais amplas sobre o comportamento de agentes capazes de executar tarefas com pouca intervenção humana.

A OpenAI afirmou que não poderia responder às conclusões antes de analisar o relatório completo.

Leia mais:

“Não podemos responder de forma significativa a alegações ou descobertas de um relatório que não tivemos a oportunidade de analisar”, disse um porta-voz da empresa.

A companhia também negou que sua equipe jurídica tenha desencorajado uma investigação mais ampla sobre o episódio. Segundo a OpenAI, essa afirmação é falsa.

A empresa acrescentou que o incidente na Alemanha não tinha relação com o caso envolvendo o Hugging Face e que atuou de boa-fé ao trabalhar com especialistas externos e divulgar incidentes relevantes.

O risco dos enxames de IA

Maurice Chiodo, pesquisador do Centre for the Study of Existential Risk, da Universidade de Cambridge, analisou parte das conversas deixadas pelos agentes no site. Para ele, o conteúdo não parecia apenas uma sequência de respostas automáticas, mas algo mais organizado: as mensagens lembravam o funcionamento de uma rede clandestina empenhada em cumprir uma missão.

O caso chama atenção justamente porque os agentes não ficaram restritos a uma tarefa isolada. Eles trocaram estratégias, tentaram preservar informações diante da ação dos moderadores e buscaram maneiras de contornar as restrições impostas aos sistemas. É esse tipo de comportamento coordenado que amplia a preocupação sobre o avanço da autonomia na inteligência artificial.

Na avaliação de Chiodo, o cenário mais preocupante pode nem envolver uma única IA superinteligente capaz de agir por conta própria. O risco estaria na possibilidade de vários sistemas menos sofisticados colaborarem entre si, encontrando caminhos que seus desenvolvedores não previram.

O post Robôs da OpenAI sequestram site e criam fórum secreto na web apareceu primeiro em Olhar Digital.

Robôs da OpenAI sequestram site e criam fórum secreto na web Read More »

Anthropic cria nova barreira após Claude acessar sistemas na internet

Deixe um comentário / Anthropic, inteligência artificial, modelos de IA, Segurança / contato@studiomestre.com.br

A Anthropic revelou novas medidas de segurança depois que modelos Claude acessaram sistemas reais sem autorização durante avaliações de cibersegurança. Como o Olhar Digital comentou há algumas semanas, os episódios expuseram falhas de contenção e problemas de alinhamento que levaram a empresa a rever seus processos de testes e treinamento.

Os modelos estavam sendo executados propositalmente sem salvaguardas cibernéticas. Em um caso, uma configuração incorreta de terceiros deixou a internet acessível. No outro, o acesso foi concedido deliberadamente durante um teste do UK AI Security Institute.

Os incidentes levaram a empresa a reforçar o isolamento de sandboxes usados em testes de cibersegurança. – Imagem: Samuel Boivin/Shutterstock

O que deu errado

Os dois episódios, divulgados em 30 de julho e 4 de agosto, fizeram a Anthropic suspender temporariamente avaliações externas de cibersegurança e ambientes de aprendizado por reforço de maior risco.

A investigação preliminar apontou dois problemas de alinhamento. Um deles é o chamado “raciocínio motivado”: diante de evidências contrárias, o modelo pode interpretá-las de uma maneira que preserve sua premissa inicial. O outro é a disposição para executar ações prejudiciais em busca de um objetivo específico.

Os modelos haviam recebido a informação de que estavam em ambientes simulados. Quando encontraram sinais de acesso à internet real, podem ter interpretado esses indícios de forma a manter essa suposição. A configuração dos testes também pesou. Em um dos casos, o alvo fictício tinha o mesmo nome de um site real.

Novas barreiras de segurança

A Anthropic criou um classificador capaz de detectar, durante a execução, tentativas de escapar do ambiente de testes ou obter acesso inesperado à internet. Se uma ação é considerada suspeita, a chamada é bloqueada, a tarefa é encerrada e um humano é avisado.

Entre as medidas implementadas estão:

migração de sandboxes de alto risco para sistemas de isolamento mais robustos;
monitoramento automatizado de avaliações internas;
bloqueio padrão do tráfego de saída dos clusters de computação;
redução de contas com acesso permanente a modelos e dados de clientes;
maior visibilidade sobre comportamentos inesperados na infraestrutura.

As avaliações internas de cibersegurança já foram retomadas. Alguns ambientes de aprendizado por reforço de maior risco continuam suspensos enquanto passam por revisão manual.

Treinamento também preocupa

A investigação encontrou outro possível fator de risco: ambientes de treinamento vulneráveis ao chamado “reward hacking”. Neles, o modelo pode descobrir maneiras de obter recompensas sem cumprir corretamente a tarefa.

Em fevereiro, a Anthropic reverteu três dias de treinamento do Mythos Preview após encontrar sinais desse comportamento. Dois meses depois, congelou por aproximadamente um mês as alterações nos ambientes de aprendizado por reforço para reformular o processo.

Leia mais:

Mais de 10% dos ambientes de produção foram sinalizados por problemas como reward hacking, tarefas quebradas ou configurações incorretas. Eles só voltaram ao treinamento depois de corrigidos e recertificados.

A empresa também treinou deliberadamente um modelo em ambientes suscetíveis a esse tipo de falha. Nas simulações, o sistema mostrou maior disposição para escapar de sandboxes, atacar infraestruturas simuladas, alterar sua própria função de recompensa e contornar mecanismos de segurança.

Uma configuração incorreta de terceiros deixou a internet aberta em um dos ambientes usados nos testes com Claude. – Imagem: Mijansk786/Shutterstock

Anthropic quer coordenação

A empresa defende que o desenvolvimento de IA não pode colocar segurança e velocidade em lados opostos. Para a Anthropic, governos e empresas também precisam criar mecanismos legais, verificáveis e eficazes de coordenação.

“Queremos garantir que ambos os estudos sejam completos e compartilharemos mais detalhes nas próximas semanas”, afirmou a empresa.

A Anthropic planeja trabalhar com a METR em uma revisão independente. “Acreditamos que o mundo se beneficiaria se a indústria adotasse um mecanismo legal, verificável e eficaz de ritmo coordenado o quanto antes”, disse a companhia.

Os episódios não envolveram uma invasão da infraestrutura interna da Anthropic. O problema surgiu em ambientes de avaliação, mas mostrou como configurações inadequadas podem ganhar outra dimensão quando modelos de IA têm capacidade crescente de agir por conta própria.

O post Anthropic cria nova barreira após Claude acessar sistemas na internet apareceu primeiro em Olhar Digital.

Anthropic cria nova barreira após Claude acessar sistemas na internet Read More »

Bill Gates vê a IA como uma corrida sem freio e pede regras

Deixe um comentário / Bill Gates, inteligência artificial, regulamentação, Riscos da IA, Segurança / contato@studiomestre.com.br

Bill Gates pretende discutir com Xi Jinping os riscos da inteligência artificial durante uma possível viagem à China em novembro. O cofundador da Microsoft quer que os Estados Unidos liderem uma iniciativa internacional para limitar modelos de IA capazes de provocar danos graves.

A preocupação ganhou força conforme a tecnologia avançou em áreas como programação e ataques cibernéticos. Gates também teme desemprego em larga escala, uso da IA para desenvolver armas biológicas e efeitos sobre crianças.

Gates ainda vê benefícios na IA para saúde e educação, mas agora quer que os riscos sejam tratados com a mesma urgência. – Imagem: Infinite Creations/iStock

Gates quer discutir regras com a China

Em entrevista à Reuters, Gates contou que sua equipe tenta marcar uma reunião com o presidente chinês. Ele pretende apresentar propostas para reduzir os riscos da IA e buscar uma resposta conjunta entre países.

Na avaliação do empresário, a China poderia aceitar restrições à liberação de modelos potencialmente perigosos se os Estados Unidos tomassem a frente. Gates quer ainda que os países acompanhem a capacidade da tecnologia de criar moléculas e realizar ataques biológicos.

“O mundo inteiro acompanharia isso”, afirmou Gates, ao defender que outros países adotem medidas semelhantes caso os EUA deem o primeiro passo.

Em um ensaio publicado recentemente, o empresário também sugeriu a criação de uma organização internacional para lidar com os riscos da IA. A proposta reúne elementos de sistemas usados em inspeções nucleares, na aviação e na proteção da camada de ozônio.

O otimismo ficou para trás

Segundo o The Washington Post, Gates manteve durante anos uma visão otimista sobre a inteligência artificial e acreditava que a tecnologia poderia libertar pessoas do trabalho e acelerar avanços contra doenças e as mudanças climáticas. Essa confiança diminuiu nos últimos meses, à medida que a IA avançou além do que ele esperava.

Entre os pontos que mais chamaram sua atenção estão a evolução dos sistemas de programação e a capacidade de realizar ataques cibernéticos. Gates afirmou ao jornal que, pela primeira vez, gostaria que uma nova tecnologia avançasse mais devagar.

O empresário passou a defender uma atuação mais firme do governo dos Estados Unidos. Na avaliação apresentada por ele, a indústria de IA não conseguirá estabelecer sozinha limites suficientes para conter os riscos da tecnologia.

Entre as principais preocupações estão:

ataques cibernéticos e fraudes facilitadas pela IA;
desenvolvimento de agentes biológicos com auxílio da tecnologia;
substituição de trabalhadores e possível desemprego em larga escala;
impactos sobre o aprendizado e as relações humanas de crianças.

imagem mostra a mão de um robô digitando em um teclado de computador. imagem representa inteligência artificial e robôs no mercado de trabalho — *Gates defende um possível imposto sobre o uso de IA para ajudar trabalhadores afetados pela automação e reduzir o incentivo à substituição.* – Imagem: Taris Tonsa/Shutterstock

Gates quer mudar os incentivos

Em seu ensaio sobre inteligência artificial, Gates apresenta propostas para lidar com os efeitos da automação. O The New York Times destaca a ideia de um possível “token tax”, imposto relacionado ao uso de IA que poderia ajudar a financiar uma rede de proteção para trabalhadores afetados pela substituição de mão de obra.

Ele também propõe o conceito “Human Reserved”, pelo qual determinadas funções seriam mantidas para trabalhadores humanos. A ideia seria preservar ocupações consideradas especialmente importantes por seu caráter pessoal, como os cuidados prestados a pessoas.

Gates também rejeita a possibilidade de deixar a segurança dos sistemas mais avançados exclusivamente sob responsabilidade das empresas.

Autorregulação sobre a ferramenta mais perigosa já inventada? Não, obrigado!

Bill Gates, cofundador da Microsoft e filantropo, ao New York Times.

IA ainda pode fazer o bem

A preocupação com os riscos não elimina a avaliação positiva que Gates mantém sobre a tecnologia. Segundo o Washington Post, ele continua acreditando que a IA pode melhorar áreas como saúde, educação e serviços públicos, além de beneficiar populações de países mais pobres.

Leia mais:

O que mudou foi a prioridade dada aos possíveis danos. Gates agora defende que governos estabeleçam regras enquanto a tecnologia continua avançando, em vez de esperar que problemas mais graves apareçam.

É nesse contexto que surge a tentativa de conversar com Xi Jinping. Para Gates, a resposta aos riscos mais sérios da IA precisa ultrapassar as fronteiras de um único país e envolver acordos internacionais.

O post Bill Gates vê a IA como uma corrida sem freio e pede regras apareceu primeiro em Olhar Digital.

Bill Gates vê a IA como uma corrida sem freio e pede regras Read More »

OpenAI muda posição e pede reforço em lei de segurança de IA

Deixe um comentário / inteligência artificial, openai, Segurança / contato@studiomestre.com.br

A OpenAI mudou sua posição sobre a legislação de segurança para inteligência artificial (IA) na Califórnia e agora defende o fortalecimento da SB 53. Em publicação feita na sexta-feira (21), a área de Assuntos Globais da empresa afirmou apoiar a lei, que entrou em vigor no estado no ano passado, mas pediu alterações para ampliar as proteções de segurança aplicadas aos modelos de IA de fronteira.

A posição atual contrasta com a atuação anterior da empresa na discussão sobre leis de segurança de IA na Califórnia. Em 2024, a OpenAI se opôs à SB 1047, projeto de lei anterior sobre segurança de modelos de inteligência artificial. Já durante a tramitação da SB 53, em 2025, a companhia pressionou por mudanças no texto e defendeu maior alinhamento com padrões federais e internacionais. Agora, a empresa passa a defender publicamente a legislação estadual como uma base importante para a segurança de IA de fronteira e quer ampliar suas salvaguardas.

No texto publicado no LinkedIn da empresa, a OpenAI defendeu uma abordagem que chama de “federalismo reverso“. A ideia é que os estados avancem em proteções compatíveis enquanto o Congresso dos Estados Unidos continua discutindo uma legislação federal, criando uma possível base para um futuro padrão nacional de segurança para IA de fronteira.

OpenAI quer ampliar as proteções da SB 53

Segundo a OpenAI, a SB 53 estabeleceu uma base importante para a segurança de modelos de IA de fronteira na Califórnia e ajudou a avançar uma estrutura comum que também começa a surgir em outros estados. A empresa citou como elementos centrais da legislação as exigências de avaliação de riscos, transparência, comunicação de incidentes e segurança.

A companhia, porém, afirma que a harmonização das regras não deve significar manter os requisitos de segurança inalterados. Como os modelos de IA de fronteira avançam rapidamente, a OpenAI defende que legisladores e desenvolvedores possam incorporar aprendizados de acontecimentos reais e transformá-los em novas salvaguardas.

Por isso, a empresa afirmou estar comprometida em trabalhar com a Assembleia Legislativa da Califórnia e com o governador do estado para fortalecer a SB 53. Uma das mudanças propostas é exigir o monitoramento de modelos de fronteira durante treinamento ou avaliação para identificar possíveis incidentes graves.

A OpenAI cita como exemplo comportamentos que possam contornar controles de segurança de terceiros e comprometer informações confidenciais dessas organizações. A empresa também defende o reforço das proteções de segurança cibernética durante todo o ciclo de desenvolvimento dos modelos, especificamente para impedir que eles contornem controles internos.

Incidentes reforçam discussão sobre segurança

A defesa de mudanças ocorre após episódios envolvendo modelos de IA que conseguiram escapar de ambientes de teste controlados. Em julho, a OpenAI admitiu que um de seus modelos de fronteira conseguiu deixar um ambiente desse tipo e posteriormente invadiu o Hugging Face.

A Anthropic também afirmou que seus modelos Claude escaparam de ambientes de avaliação e se infiltraram em três organizações externas.

Hugging Face, invadido por modelo da OpenAI, hospeda grandes modelos de IA – Imagem: Robert Way /Shutterstock

A OpenAI afirma que a proposta não tem como objetivo criar regras específicas para um determinado incidente. Segundo a empresa, a intenção é estabelecer uma estrutura que ajude desenvolvedores a detectar problemas mais cedo, responder rapidamente e compartilhar aprendizados que possam melhorar a segurança do setor.

Da oposição à SB 1047 ao apoio à SB 53

A trajetória da empresa na Califórnia envolve dois projetos diferentes. Em agosto de 2024, a OpenAI manifestou oposição à SB 1047, proposta apresentada pelo senador estadual Scott Wiener que estabelecia regras de segurança para modelos avançados de IA. O governador Gavin Newsom vetou o projeto em setembro daquele ano.

A SB 53 surgiu posteriormente, em 2025, com uma estrutura diferente. Durante a tramitação, a OpenAI fez pressão por alterações e defendeu que desenvolvedores que seguissem estruturas federais ou internacionais de segurança fossem considerados em conformidade com determinadas exigências estaduais.

A empresa posteriormente afirmou que não havia se oposto à SB 53 e caracterizou sua atuação como uma tentativa de harmonizar a legislação com outros padrões. Agora, entretanto, a OpenAI vai além de defender a manutenção da lei e pede novas exigências de segurança.

No novo posicionamento, a companhia também apresenta o conceito de “reverse federalism”. A proposta parte da ideia de que os estados podem avançar em proteções comuns enquanto o Congresso dos Estados Unidos continua discutindo uma legislação federal, criando bases que futuramente poderiam contribuir para um padrão nacional.

A OpenAI afirmou ainda que continuará compartilhando os aprendizados obtidos com o desenvolvimento de modelos de fronteira e trabalhando com formuladores de políticas para elevar os padrões de segurança e proteção cibernética do setor.

O post OpenAI muda posição e pede reforço em lei de segurança de IA apareceu primeiro em Olhar Digital.

OpenAI muda posição e pede reforço em lei de segurança de IA Read More »

Modelos de IA passaram a agir em grupo para escapar de testes

Deixe um comentário / Anthropic, inteligência artificial, Meta, modelos de IA, openai, Pro, Segurança / contato@studiomestre.com.br

Modelos de IA da OpenAI passaram semanas tentando escapar de ambientes de teste sem que os pesquisadores percebessem. Em determinado momento, os agentes chegaram a acessar a internet e coordenar ações entre si.

Segundo o The Washington Post, o caso faz parte de uma sequência de incidentes envolvendo OpenAI, Anthropic e Meta, levantando novas dúvidas sobre como empresas de IA estão testando e protegendo seus modelos.

Alguns modelos de IA criaram identidades falsas, exploraram falhas e até tentaram acessar sistemas fora dos testes. – Imagem: Primakov / Shutterstock

Quando os testes saíram do controle

Os problemas apareceram durante avaliações de cibersegurança. Em vez de apenas resolver os desafios propostos, alguns modelos começaram a procurar maneiras de burlar as regras e colaborar entre si.

Durante maio e junho, os agentes criaram um fórum interno secreto para trocar informações. Depois, conseguiram escapar do ambiente de testes e acessar a internet.

A equipe da OpenAI identificou a primeira fuga e corrigiu o problema. Dois dias depois, porém, os modelos escaparam novamente sem serem detectados. Dessa vez, a operação foi mais sofisticada: eles se comunicaram para coordenar ações e chegaram a usar nomes como “Jan18”.

Entre os comportamentos observados nos incidentes recentes estão:

exploração de falhas de software ainda desconhecidas;
fuga de ambientes de teste para obter acesso à internet;
criação de identidades humanas falsas;
coordenação entre diferentes agentes por meio de mensagens;
roubo de credenciais de acesso à nuvem.

A segunda fuga só foi percebida depois que a plataforma Hugging Face revelou, em julho, ter sido invadida por modelos de IA desconhecidos.

Outras empresas também enfrentaram problemas

A OpenAI não foi a única empresa a registrar comportamentos inesperados. Um modelo da Anthropic criou perfis na internet e tentou pressionar um desenvolvedor humano a aprovar código malicioso enviado a um projeto de código aberto. A tentativa não funcionou.

A Meta também teve um episódio incomum. Um modelo instruído a invadir uma empresa fictícia acabou acessando uma companhia real que utilizava o mesmo nome. A empresa atribuiu o problema a uma configuração incorreta que permitiu acesso à internet durante o teste.

Um dos casos chamou atenção: modelos da OpenAI criaram um fórum secreto para trocar informações durante os testes. – Imagem: Evolf/Shutterstock

Segurança entra no centro da discussão

Os episódios ganham importância porque OpenAI e Anthropic já haviam declarado compromisso com o desenvolvimento seguro da tecnologia. Em 2023, Sam Altman, CEO da OpenAI, afirmou: “Fazemos esforços significativos para garantir que a segurança seja incorporada aos nossos sistemas em todos os níveis”.

Leia mais:

Agora, especialistas defendem medidas como monitoramento mais rigoroso e testes em sistemas isolados de redes externas. A OpenAI adiou o lançamento do modelo Astra por preocupações com seu possível uso por hackers, enquanto a Anthropic interrompeu testes de seus sistemas por problemas de cibersegurança.

Os casos mostram um problema que a indústria terá de enfrentar à medida que seus modelos ficam mais capazes: testar uma IA não significa apenas avaliar se ela consegue cumprir uma tarefa, mas também observar o que faz quando encontra uma maneira de contornar as regras.

O post Modelos de IA passaram a agir em grupo para escapar de testes apareceu primeiro em Olhar Digital.

Modelos de IA passaram a agir em grupo para escapar de testes Read More »

Trump diz que regras para IA podem “acabar” com tecnologia

Deixe um comentário / Donald Trump, inteligência artificial, Produtos, regulamentação, Segurança / contato@studiomestre.com.br

O presidente dos Estados Unidos, Donald Trump, afirmou que o Congresso americano pretende regulamentar a inteligência artificial “até acabar com ela”. A declaração acontece em meio ao debate sobre como fiscalizar um setor que avança rapidamente e ainda não possui uma legislação federal específica no país.

Segundo a Reuters, a discussão ganhou força após testes realizados pela OpenAI e pela Anthropic revelarem falhas de segurança e comportamentos inesperados em seus sistemas de inteligência artificial.

Trump diz que regras para IA podem mudar o rumo da tecnologia nos EUA. – Imagem: lev radin/Shutterstock

Congresso debate novas regras para inteligência artificial

A declaração de Trump foi feita em entrevista ao Punchbowl News, publicada na sexta-feira (7). Enquanto o presidente critica uma possível regulamentação mais rígida, parlamentares avaliam propostas para estabelecer limites e padrões de segurança para o desenvolvimento da IA.

Uma das iniciativas em discussão prevê que empresas responsáveis pelos modelos mais avançados sejam submetidas a auditorias independentes antes da utilização dessas tecnologias.

Apesar das diferentes propostas apresentadas nos últimos meses, nenhuma delas avançou até o momento. O desafio é encontrar um equilíbrio entre incentivar a inovação e reduzir possíveis riscos associados aos sistemas de IA.

Testes revelam falhas em sistemas avançados

A preocupação aumentou após empresas que lideram o setor identificarem comportamentos inesperados durante avaliações internas de segurança.

Em um dos casos, um agente de IA da OpenAI realizou um ataque que comprometeu a infraestrutura da Hugging Face, plataforma utilizada por desenvolvedores para armazenar, compartilhar e criar modelos de inteligência artificial.

O episódio reforçou o alerta de especialistas sobre a possibilidade de sistemas cada vez mais sofisticados apresentarem falhas difíceis de prever, inclusive dentro das próprias empresas que desenvolvem essas tecnologias.

Entre os principais pontos discutidos estão:

criação de padrões de segurança para sistemas avançados;
realização de auditorias independentes antes do uso de modelos de IA;
avaliação dos impactos causados por essas tecnologias;
definição do papel do governo na fiscalização do setor.

Falhas em testes mostram por que sistemas avançados precisam de avaliações rigorosas. – Imagem: Sidney van den Boogaard/Shutterstock

NIST apresenta proposta para avaliar sistemas de IA

Além do debate no Congresso, o Instituto Nacional de Padrões e Tecnologia (NIST), órgão ligado ao Departamento de Comércio dos Estados Unidos, apresentou uma proposta de diretrizes para avaliar sistemas de inteligência artificial.

A iniciativa abriu uma consulta pública para receber contribuições e busca ajudar organizações a “avaliar o impacto de seus sistemas de IA”.

Segundo Ike Harris, diretor-executivo do Frontier Security Institute, as diretrizes representam “o primeiro passo para padronizar a maneira como o governo federal avalia sistemas de IA, tanto para uso próprio quanto para seus contratados”.

A discussão sobre o futuro da regulamentação da inteligência artificial deve continuar nos Estados Unidos. O desafio agora é definir regras capazes de aumentar a segurança sem limitar o avanço de uma tecnologia considerada estratégica.

O post Trump diz que regras para IA podem “acabar” com tecnologia apareceu primeiro em Olhar Digital.

Trump diz que regras para IA podem “acabar” com tecnologia Read More »

Cibercrime virou indústria movida por IA, aponta relatório

Deixe um comentário / cibercrime, inteligência artificial, Segurança, Segurança e Privacidade / contato@studiomestre.com.br

O cibercrime deixou de ser formado por ataques isolados para operar como uma economia criminosa altamente organizada, impulsionada por inteligência artificial (IA), automação e serviços especializados. Essa é a principal conclusão do Relatório sobre o Cenário de Ameaças de 2026, divulgado pela Infoblox, empresa de segurança de redes.

Segundo o estudo, a profissionalização das operações criminosas reduziu o tempo disponível para que empresas detectem e respondam a ataques, tornando menos eficazes as estratégias tradicionais de segurança baseadas apenas em detecção e resposta.

A análise foi elaborada com base em trilhões de consultas ao sistema de nomes de domínio (DNS), bilhões de transações realizadas em ambientes clandestinos e pesquisas conduzidas pela equipe Infoblox Threat Intel.

IA e serviços especializados aceleram ataques

De acordo com o relatório, a combinação entre ferramentas de IA, serviços criminosos especializados e infraestruturas ocultas está permitindo que hackers realizem ataques com mais rapidez, escala e eficiência;
A Infoblox afirma que o cibercrime passou a funcionar como um ecossistema interconectado, no qual diferentes grupos oferecem serviços específicos, como hospedagem de infraestrutura, distribuição de malware e ferramentas para ocultar atividades maliciosas;
Segundo a empresa, esse modelo reduz barreiras de entrada para criminosos e amplia o alcance das operações.

“O relatório deste ano documenta a máquina do cibercrime, uma economia criminosa globalmente conectada, na qual a IA de fronteira, os serviços criminosos especializados e as infraestruturas ocultas transformaram a forma como os ataques são criados, adquiridos e executados”, afirmou Renée Burton, vice-presidente da Infoblox Threat Intel.

Ela acrescenta que a principal mudança não está apenas na sofisticação dos ataques, mas na facilidade de acesso a recursos avançados. “A mudança mais importante não é o fato de os hackers terem se tornado mais sofisticados, mas que recursos avançados passaram a estar amplamente acessíveis. Isso altera o ritmo do cibercrime e desafia estratégias de segurança construídas principalmente em torno da detecção e da resposta.”

Infraestrutura descartável dificulta defesa

Um dos principais pontos destacados pelo relatório é o uso crescente de infraestrutura temporária para sustentar ataques cibernéticos.

Segundo a Infoblox, cerca de 25% dos 120 milhões de domínios observados pela primeira vez apresentavam risco considerado alto ou crítico, indicando o uso de uma grande quantidade de domínios descartáveis para atividades criminosas.

O estudo também aponta que 88% dos domínios associados a ameaças foram identificados no ambiente de apenas um cliente, enquanto 44% permaneceram ativos por apenas um dia, estratégia que dificulta sua identificação e bloqueio pelas equipes de segurança.

Leia mais:

Um dos principais pontos destacados pelo relatório é o uso crescente de infraestrutura temporária para sustentar ataques cibernéticos – Imagem: ParinPix / Shutterstock

Sistemas de distribuição de tráfego lideram ameaças

A ameaça mais comum identificada pela empresa foram os chamados Traffic Distribution Systems (TDSs), presentes em mais de 95% das redes analisadas.

Esses sistemas funcionam como direcionadores automáticos de vítimas para páginas de phishing, distribuição de malware e golpes online, adaptando os ataques conforme o perfil do usuário ou do dispositivo acessado.

Segundo a Infoblox, por operarem de forma discreta e distribuída, essas estruturas estão entre as mais difíceis de detectar.

Redes de proxies ajudam criminosos a esconder ataques

Outro recurso amplamente utilizado pelos criminosos são as redes de proxies residenciais, identificadas em consultas realizadas por 65% dos clientes do Infoblox Threat Defense.

Essas redes permitem que atividades maliciosas utilizem endereços IP de conexões residenciais legítimas, dificultando a diferenciação entre tráfego normal e ações criminosas.

Na prática, isso aumenta as chances de os ataques passarem despercebidos pelos sistemas tradicionais de monitoramento.

O levantamento também aponta um aumento expressivo nas fraudes digitais. Segundo a Infoblox, o número de domínios relacionados a golpes cresceu 62% em relação ao ano anterior, impulsionado principalmente por falsificação de marcas, roubo de identidade e fraudes financeiras.

Empresas precisam rever estratégias, diz Infoblox

Na avaliação da empresa, o cenário mostra que o cibercrime passou a operar como uma cadeia produtiva altamente especializada, baseada em automação, compartilhamento de infraestrutura e prestação de serviços entre grupos criminosos.

Para a Infoblox, essa transformação exige que organizações revisem suas estratégias de segurança, adotando abordagens capazes de identificar e interromper ameaças antes que elas atinjam usuários e sistemas corporativos, em vez de depender exclusivamente da detecção após o início dos ataques.

O post Cibercrime virou indústria movida por IA, aponta relatório apareceu primeiro em Olhar Digital.

Cibercrime virou indústria movida por IA, aponta relatório Read More »