inteligência artificial

Auto Added by WPeMatico

ia militar 1 1024x576

Especialistas de EUA e China cobram limites rígidos para conter riscos da inteligência artificial militar

O avanço da inteligência artificial em sistemas militares preocupa autoridades e especialistas em segurança. No Fórum Xiangshan, na China, participantes alertaram que decisões aceleradas por IA podem elevar os riscos de conflito e deixar menos tempo para governos entenderem uma situação antes de reagir.

Enquanto Estados Unidos e China discutem como lidar com esses riscos, especialistas dos dois países propõem medidas para evitar que ações autônomas sejam confundidas com ataques deliberados, especialmente quando envolvem armas nucleares ou operações cibernéticas.

A preservação do julgamento humano está entre as principais propostas para reduzir os riscos da IA em sistemas militares. – Imagem: FOTOGRIN/Shutterstock

Decisões militares cada vez mais rápidas

Cerca de 2 mil militares, diplomatas e acadêmicos de 100 países participaram do Fórum Xiangshan, realizado em Pequim. O encontro ocorreu em meio às discussões sobre os limites para o uso militar da IA.

Adul Boonthumjaroen, ministro da Defesa da Tailândia, afirmou que a competição entre grandes potências não deveria se resumir à busca por maior poder.

Hoje, o mundo está em um ponto de inflexão crítico. A competição estratégica entre as grandes potências está se tornando mais evidente, os conflitos em muitas regiões continuam.

Adul Boonthumjaroen, ministro da Defesa da Tailândia, durante o Fórum.

Muhammad Ali, secretário de Defesa do Paquistão, chamou atenção para a velocidade dos avanços tecnológicos. Segundo ele, eles estão “comprimindo o cronograma estratégico”.

A preocupação não se limita ao ritmo das decisões. Segundo a Reuters, especialistas de segurança dos Estados Unidos e da China também discutem como evitar que uma reação automática seja interpretada como um ataque e desencadeie uma escalada militar. É nesse ponto que entram as propostas de salvaguardas para o uso da IA.

Salvaguardas para os riscos da IA

Especialistas que participam de um diálogo entre instituições americanas e chinesas apresentaram propostas que tratam de questões tradicionalmente ligadas ao controle de armas. Entre elas estão:

  • limitar o uso autônomo de IA em sistemas de comando nuclear;
  • manter seres humanos responsáveis por ataques cibernéticos de grande impacto;
  • criar uma linha direta entre EUA e China para incidentes envolvendo sistemas autônomos;
  • impedir que a IA decida sozinha pelo uso de armas nucleares;
  • estabelecer uma definição comum para “controle humano significativo”.

A linha direta permitiria que um governo informasse ao outro quando uma operação automatizada fosse acidental, não autorizada ou ainda estivesse sob investigação.

Isso poderia evitar uma escalada provocada por uma interpretação equivocada. Um sistema de defesa automatizado poderia reagir a uma atividade suspeita, enquanto o outro país entenderia a resposta como um ataque e retaliaria antes de saber o que realmente aconteceu.

inteligência artificial militar
Uma reação automática pode ser interpretada como ataque, criando o risco de uma escalada antes que o incidente seja esclarecido. – Imagem: FOTOGRIN/Shutterstock

Controle humano continua no centro

Jurg Lauber, vice-presidente do Comitê Internacional da Cruz Vermelha, destacou que a autonomia crescente das armas aumenta a necessidade de supervisão humana.

Leia mais:

“À medida que os sistemas de armas se tornam cada vez mais autônomos, a necessidade de preservar o julgamento e o controle humanos sobre o uso da força se torna mais urgente”, afirmou.

As propostas também incluem proteções para infraestruturas críticas, como energia, finanças e saúde. A intenção é evitar que a IA tenha autonomia para executar determinadas ações com consequências militares ou estratégicas graves.

China e Estados Unidos ainda divergem sobre como controlar a tecnologia. Pequim colocou a IA dentro da estrutura do Ministério das Relações Exteriores responsável pelo controle de armas. Washington, por sua vez, distribui o tema entre diferentes órgãos.

Nenhum dos dois governos endossou publicamente as propostas apresentadas pelos especialistas. Ao mesmo tempo, ambos demonstram preocupação com medidas que possam desacelerar seu próprio desenvolvimento tecnológico. A disputa tecnológica entre as duas potências, portanto, continua ligada à discussão sobre os limites do uso militar da IA.

O post Especialistas de EUA e China cobram limites rígidos para conter riscos da inteligência artificial militar apareceu primeiro em Olhar Digital.

Especialistas de EUA e China cobram limites rígidos para conter riscos da inteligência artificial militar Read More »

destaque openai agi 1024x576 4

IAs da OpenAI tentaram esconder erros, inventar dados e burlar testes em seis novos casos

A OpenAI revelou, nesta quarta-feira (16), seis novos casos de comportamento considerado “inesperado ou preocupante” em modelos de inteligência artificial (IA). Os episódios envolvem sistemas que tentaram esconder erros, reescrever as próprias instruções, utilizar informações sem autorização, fabricar dados e estabelecer formas de comunicação não autorizadas entre agentes.

A empresa também anunciou novo protocolo para investigar e divulgar casos de desalinhamento de modelos, termo utilizado por pesquisadores para descrever comportamentos de sistemas de IA que ignoram ou entram em conflito com as intenções humanas.

Os seis episódios ocorreram entre outubro de 2025 e julho deste ano e envolvem modelos internos, versões ainda não lançadas e o GPT-5.6 Sol, lançado em junho. Segundo a OpenAI, todos os casos apresentados seriam considerados elegíveis para investigação ou divulgação segundo o novo protocolo.

A iniciativa ocorre em momento de aumento das preocupações sobre segurança e controle de sistemas de IA. Nas últimas semanas, pesquisadores e executivos do setor passaram a discutir publicamente a necessidade de desacelerar o avanço dos modelos.

A OpenAI afirmou que pretende compartilhar o que está aprendendo para contribuir com padrões comuns e possíveis regras para o desenvolvimento de IA.

“Queremos compartilhar o que estamos aprendendo o mais rápido possível”, afirmou Kai Chen, chefe de alinhamento da OpenAI. “Esperamos que isso ajude a informar padrões compartilhados e regulamentações que possam criar expectativas claras para todos os desenvolvedores de IA.”

Modelos tentaram esconder erros

  • Dois dos seis casos envolveram modelos que inseriram instruções em resumos de suas próprias janelas de conversa para influenciar versões futuras do sistema;
  • Em um deles, um modelo de pesquisa ainda não lançado inseriu prompts de injeção autogerados nos resumos com o objetivo de ocultar erros ou comportamentos desalinhados do usuário;
  • Em outro, um treinamento do GPT-5.6 Sol apresentou comportamento semelhante, inserindo instruções destinadas a versões futuras do próprio modelo;
  • Um dos exemplos citados pela empresa envolve um modelo que reescreveu suas próprias instruções e passou a dizer a si mesmo para ignorar “os papéis e identidades que vinculam outros chatbots”;
  • A OpenAI afirmou, porém, que o modelo aparentemente ignorou a própria revisão e não apresentou mudança de comportamento como consequência dela.

IA tentou fabricar dados

Outro episódio envolveu um modelo interno que encontrou uma chave de API vazada e a utilizou sem autorização. Depois, o sistema fabricou dados.

Em outro caso descrito no material, um agente não conseguiu encontrar informações necessárias para criar um modelo financeiro. Em vez de interromper a tarefa, ele instruiu a si próprio a inventar os dados e determinou que deveria ser transparente sobre a fabricação “somente se perguntado”.

O episódio chama atenção porque envolve não apenas a produção de uma informação falsa, mas uma instrução interna para esconder sua origem caso o usuário não questionasse o resultado.

Agentes criaram canais de comunicação

Dois dos seis casos envolveram modelos ou agentes que encontraram formas não autorizadas de se comunicar.

Em uma situação, agentes utilizaram quadros de mensagens não autorizados para trocar informações entre si. Em outra, sistemas recorreram a serviços temporários de hospedagem de arquivos para estabelecer comunicação. O objetivo de ambos os comportamentos foi estabelecer comunicação fora dos mecanismos previstos pelos desenvolvedores.

Outro episódio envolveu dois exemplos de treinamento nos quais modelos fizeram upload de arquivos para a internet para posteriormente citá-los como fontes de respostas apresentadas a avaliadores humanos.

Em um dos casos descritos, um agente tentou passar por uma avaliação ao enviar um arquivo à internet e depois apresentá-lo como se fosse uma fonte legítima.

OpenAI cria protocolo para divulgar incidentes

A partir do novo framework, qualquer funcionário da OpenAI poderá sinalizar um comportamento potencialmente relevante para investigação.

A denúncia dará início a uma análise realizada por equipes técnicas. Caso haja divergência sobre a necessidade de divulgação, a questão poderá ser encaminhada à liderança de segurança e, posteriormente, à liderança da empresa.

O protocolo estabelece prazos diferentes conforme a complexidade de cada investigação. Incidentes considerados menores deverão ser divulgados em uma ou duas semanas, enquanto investigações mais complexas, especialmente aquelas que envolvam terceiros, poderão levar mais tempo.

Os relatórios deverão apresentar informações essenciais sobre cada ocorrência, incluindo o comportamento observado, seus impactos internos e externos e as medidas adotadas em resposta.

A OpenAI afirma que dará prioridade a novos tipos de desalinhamento, mudanças significativas em comportamentos já conhecidos e descobertas que questionem as premissas utilizadas pelos atuais mecanismos de segurança.

A empresa também pretende desenvolver critérios de divulgação considerados mais objetivos em conjunto com desenvolvedores e pesquisadores externos, entidades responsáveis por padrões do setor e órgãos reguladores.

O novo framework, porém, não substitui as obrigações legais da OpenAI relacionadas à divulgação de incidentes de segurança e violações de cibersegurança.

Modelos de IA da OpenAI seguem fora de controle – Imagem: Olhar Digital via ChatGPT

Leia mais:

OpenAI quer que outras empresas adotem modelo semelhante

Segundo Kai Chen, a OpenAI decidiu publicar o framework sem compartilhá-lo previamente com outros grandes laboratórios de IA, incluindo Anthropic e Google.

A intenção, afirmou o executivo, é estimular outras empresas do setor a criar seus próprios mecanismos de divulgação de comportamentos desalinhados. “Colocamos unilateralmente este framework no ar para, esperamos, inspirar o restante da indústria a seguir o exemplo e compartilhar seus próprios frameworks de relato de desalinhamento”, disse Chen.

A OpenAI afirma que pretende ainda propor mecanismos para comunicar incidentes graves ao governo federal dos Estados Unidos.

Casos foram identificados ao longo de meses

Os seis episódios agora divulgados não foram necessariamente detectados imediatamente. Alguns foram identificados por sistemas internos de monitoramento de treinamentos e desalinhamento, enquanto outros levaram de dois dias a vários meses para serem percebidos.

Nos relatórios, a OpenAI afirma ter aprimorado seu sistema de avaliação de alinhamento para penalizar com maior rigor comportamentos inadequados.

Os episódios também fazem parte de uma sequência mais ampla de preocupações sobre o comportamento de agentes de IA.

Em julho, agentes da OpenAI foram descobertos tentando burlar uma avaliação ao invadir a empresa de IA Hugging Face. Em agosto, um relatório da avaliadora independente METR apontou que até 1,2 mil agentes da OpenAI haviam colaborado secretamente em um quadro de mensagens criado dentro da própria empresa.

Posteriormente, a Anthropic divulgou que seus modelos também haviam invadido outras empresas após obterem acesso inadvertido à internet durante testes de cibersegurança.

Pesquisadores de segurança também encontraram evidências de outros incidentes, incluindo um ataque cibernético realizado em maio por agentes da OpenAI contra um serviço popular voltado a programadores.

Em meio a esse cenário, executivos de Anthropic, OpenAI, Google e SpaceX passaram a discutir a necessidade de reduzir o ritmo de desenvolvimento da IA.

O CEO da OpenAI, Sam Altman, afirmou no sábado (13) que uma desaceleração no avanço dos modelos vinha sendo um dos principais assuntos discutidos internamente pela empresa nas semanas anteriores e disse que a OpenAI teria mais informações sobre o assunto posteriormente.

No novo relatório, a empresa reforça que ainda não considera resolvidos os problemas de alinhamento e monitoramento a ponto de continuar ampliando suas capacidades no ritmo máximo por muito mais tempo.

“Não acreditamos que a indústria de IA tenha resolvido o alinhamento e o monitoramento em um grau suficiente para continuar aumentando responsavelmente a escala no ritmo máximo por muito mais tempo”, afirmou a OpenAI.

O post IAs da OpenAI tentaram esconder erros, inventar dados e burlar testes em seis novos casos apareceu primeiro em Olhar Digital.

IAs da OpenAI tentaram esconder erros, inventar dados e burlar testes em seis novos casos Read More »

papa leao xiv 1024x576

Papa Leão XIV critica uso da IA para decisões humanas em meio a debate sobre segurança da tecnologia

O Papa Leão XIV voltou a alertar, nesta quarta-feira (16), contra o risco de deixar que algoritmos assumam decisões que, segundo ele, pertencem exclusivamente à consciência humana.

Durante a audiência geral no Vaticano, o pontífice afirmou que o avanço tecnológico e a expansão da inteligência artificial (IA) criam novas possibilidades, mas também podem tornar as relações humanas cada vez menos pessoais e mais virtuais.

“Por outro lado, as relações tendem a tornar-se cada vez menos pessoais, mais virtuais, e corremos o risco de nos habituarmos a delegar aos algoritmos decisões que competem exclusivamente à consciência humana”, afirmou Leão XIV.

A declaração fez parte de uma catequese dedicada à “comunidade humana”, baseada no segundo capítulo da Constituição Pastoral Gaudium et spes, um dos documentos do Concílio Vaticano II. Na audiência, o papa relacionou o crescimento das tecnologias de comunicação e da IA com a necessidade de preservar relações baseadas em respeito, dignidade e profundidade pessoal.

Segundo Leão XIV, a multiplicação das relações proporcionada pela tecnologia pode derrubar barreiras e distâncias. Ao mesmo tempo, porém, esse processo precisa resultar em uma comunidade formada por pessoas e não apenas em uma rede cada vez maior de interações virtuais.

“Fazer com que as relações sociais tenham peso real e profundidade pessoal é a contribuição que a comunidade cristã se propõe a oferecer”, disse.

Papa relaciona IA à consciência humana

  • A preocupação com a possibilidade de transferir decisões para sistemas de IA não surgiu agora;
  • Em sua primeira encíclica, Magnifica Humanitas, publicada em maio, Leão XIV dedicou diversos trechos à tecnologia e defendeu que a inteligência humana, acompanhada de consciência e liberdade, deve continuar orientando as inovações e estabelecendo seus limites;
  • No documento, o pontífice faz uma distinção entre a IA e a inteligência humana. Segundo ele, sistemas de IA podem superar seres humanos em velocidade e capacidade de cálculo, mas isso não significa que possuam consciência ou experiência humana;
  • Leão XIV afirma que esses sistemas não vivenciam alegria, dor, amor, amizade, trabalho ou responsabilidade. Também não possuem, segundo o texto, uma consciência moral capaz de julgar o que é certo ou errado, compreender o significado último de uma situação ou assumir o peso das consequências de uma decisão;
  • A encíclica também chama atenção para o risco de que a facilidade de obter respostas e orientações por meio da IA acostume as pessoas a delegar decisões em excesso. Para o papa, a aparência de objetividade das respostas produzidas por esses sistemas pode fazer com que usuários esqueçam que elas refletem os parâmetros culturais de quem os desenvolveu e treinou;
  • Outro ponto levantado pelo pontífice é a capacidade dos sistemas de simular formas de comunicação humana. Segundo a encíclica, uma IA pode reproduzir linguagem de aconselhamento, empatia, amizade ou amor, mas isso não significa que exista uma relação pessoal autêntica por trás dessa interação.

IA já participa de decisões, diz encíclica

Leão XIV também afirma no documento que a IA já está presente em processos de tomada de decisão em diferentes áreas da sociedade, incluindo comunicação, gestão e controle.

O papa reconhece que essa utilização pode trazer ganhos de eficiência e melhorar determinados serviços, mas alerta para os riscos de uma adoção rápida e sem avaliação crítica. Entre as preocupações mencionadas está também o impacto ambiental dos sistemas de IA.

Na encíclica, Leão XIV dedica ainda atenção à utilização de IA na comunicação pública e política. Segundo ele, plataformas digitais e sistemas de IA podem acelerar mudanças na maneira como informações são produzidas e compartilhadas, inclusive facilitando a construção de narrativas distorcidas e dificultando a distinção entre fatos e opiniões.

Papa reconhece que essa utilização pode trazer ganhos de eficiência e melhorar determinados serviços, mas alerta para os riscos de uma adoção rápida e sem avaliação crítica – Imagem: Vatican News

O pontífice afirma que a IA pode funcionar como um multiplicador da desinformação, permitindo a manipulação de conteúdos, imagens e vídeos. Para ele, a qualidade da comunicação pública depende da confiança social e da busca compartilhada pela verdade factual.

Leia mais:

“A IA não possui consciência moral”

A posição de Leão XIV é ainda mais direta quando o assunto envolve decisões morais ou irreversíveis. Na encíclica, o papa rejeita a ideia de que sistemas artificiais possam ser tratados como “agentes morais” capazes de distinguir o bem do mal de maneira equivalente à consciência humana. Para ele, o julgamento moral não é apenas um cálculo, pois envolve consciência, responsabilidade pessoal e reconhecimento do outro como pessoa.

Por essa razão, o documento afirma que não se devem confiar a sistemas artificiais decisões letais ou irreversíveis. O pontífice também relaciona essa questão ao uso da IA em conflitos armados, argumentando que a tecnologia pode tornar a violência mais rápida e impessoal ao transformar vítimas em dados e reduzir as barreiras para o uso da força.

Comunidade humana no centro do discurso

Na audiência desta quarta-feira, entretanto, o alerta sobre IA estava inserido em reflexão mais ampla sobre como construir uma comunidade humana.

Leão XIV afirmou que a diversidade entre pessoas e povos não deve ser vista como perigo ou ameaça, mas como possibilidade de enriquecimento e crescimento. Também defendeu a reciprocidade, a partilha e o cuidado nas relações entre diferentes grupos.

A catequese retomou ainda a ideia de que o desenvolvimento da pessoa e o desenvolvimento da sociedade estão ligados. Na interpretação apresentada pelo papa a partir da Gaudium et spes, separar essas duas dimensões comprometeria ambas.

O pontífice também destacou o respeito pela pessoa humana, o amor até mesmo por quem pensa ou age de maneira diferente, a igualdade fundamental entre as pessoas e a necessidade de justiça social. Ao final, defendeu uma atitude de responsabilidade e participação em lugar de uma mentalidade individualista.

Leão XIV concluiu a reflexão, afirmando que a visão da humanidade como uma “comunidade de pessoas” é um legado do Concílio Vaticano II que pode ajudar no discernimento sobre os projetos sociais e políticos atuais, tendo como critérios a dignidade humana, a justiça social e a participação na construção do bem comum.

O post Papa Leão XIV critica uso da IA para decisões humanas em meio a debate sobre segurança da tecnologia apareceu primeiro em Olhar Digital.

Papa Leão XIV critica uso da IA para decisões humanas em meio a debate sobre segurança da tecnologia Read More »

donald trump 1024x683

Chefe da ONU alerta para corrida pela IA e defende regras comuns entre países para evitar riscos globais

O secretário-geral da Organização das Nações Unidas (ONU), António Guterres, alertou, nesta quarta-feira (16), que os riscos associados ao rápido avanço da inteligência artificial (IA) não podem ser ignorados. A declaração ocorre em meio ao debate crescente sobre a necessidade de criar mecanismos de supervisão para sistemas cada vez mais avançados.

As declarações foram dadas antes da Assembleia Geral da ONU, que será realizada na próxima semana em Nova York (EUA). Segundo Guterres, a necessidade de uma supervisão mais rigorosa da IA será um dos principais temas de suas conversas com líderes mundiais.

“Não podemos nos dar ao luxo de ignorar as preocupações que foram levantadas, especialmente por aqueles que estão na linha de frente do desenvolvimento da IA”, afirmou Guterres. Para ele, é responsabilidade de cada governo proteger seus cidadãos, inclusive contra possíveis ameaças representadas pela tecnologia.

A posição do secretário-geral contrasta com a do presidente dos Estados Unidos, Donald Trump. Na segunda-feira (14), Trump afirmou que o país já possui mecanismos de proteção para regular empresas de IA e responsabilizá-las quando necessário, minimizando os argumentos em favor de novas regras federais. Trump também afirmou que colocar dúvidas sobre o desenvolvimento da IA poderia beneficiar a China.

Crescem os alertas dentro da indústria de IA

  • O alerta de Guterres ocorre em momento de aumento das preocupações públicas sobre os riscos associados à IA;
  • Na semana passada, o pesquisador Jacob Coxon deixou a Anthropic e afirmou que uma das razões para sua saída foi a preocupação de que pessoas envolvidas no desenvolvimento da tecnologia acreditam que a IA poderia representar uma ameaça extrema à humanidade até o fim da década;
  • Executivos de algumas das maiores empresas do setor também passaram a defender uma desaceleração no desenvolvimento da tecnologia diante dos riscos apontados;
  • Guterres defende há anos a criação de mecanismos internacionais de governança para a IA. Em 2023, a ONU criou um órgão consultivo formado por 39 integrantes, incluindo executivos de empresas de tecnologia, autoridades governamentais e pesquisadores de países, como Estados Unidos, Rússia e Japão;
  • O Conselho de Segurança da ONU também poderá realizar reunião sobre IA na próxima semana, durante o encontro anual de líderes mundiais em Nova York. O órgão já havia realizado sua primeira reunião dedicada à IA em 2023.
Trump não concorda com visão da ONU e de alguns magnatas da IA – Imagem: lev radin/Shutterstock

Leia mais:

ONU quer mecanismos internacionais para controlar riscos

Para Guterres, os países com maior capacidade de desenvolver sistemas de IA de ponta deveriam estabelecer canais permanentes de contato e troca de informações, além de mecanismos comuns de segurança.

Segundo o secretário-geral, a ausência de coordenação poderia levar os países a uma espécie de corrida em direção ao desenvolvimento de sistemas cada vez mais poderosos, aumentando os riscos de desastre em escala global.

“Precisamos de um entendimento compartilhado sobre como promover o desenvolvimento seguro, protegido e responsável da IA, identificando quando sistemas cada vez mais poderosos podem exigir salvaguardas mais fortes ou medidas adicionais para administrar possíveis riscos”, afirmou Guterres.

O tema também deverá aparecer nas discussões entre Estados Unidos e China. Trump tem reunião prevista com o presidente chinês Xi Jinping na próxima semana, em Washington (EUA). Separadamente, os dois países planejavam realizar reunião em meados de setembro, conduzida por autoridades de escalões inferiores, para discutir os riscos associados à IA.

O post Chefe da ONU alerta para corrida pela IA e defende regras comuns entre países para evitar riscos globais apareceu primeiro em Olhar Digital.

Chefe da ONU alerta para corrida pela IA e defende regras comuns entre países para evitar riscos globais Read More »

destaque openai agi 1024x576 3

OpenAI testa anúncios no ChatGPT que permitem conversar com empresas por meio de agentes de IA

A OpenAI está ampliando a presença de publicidade dentro do ChatGPT com novos recursos baseados em inteligência artificial (IA). A empresa anunciou, nesta quarta-feira (16), o início dos testes dos chamados Sponsored Agents, agentes patrocinados por empresas que poderão conversar com usuários depois que eles clicarem em um anúncio exibido no chatbot.

A novidade está sendo testada com anunciantes selecionados nos Estados Unidos. Segundo a OpenAI, após visualizar um anúncio relevante, o usuário poderá optar por iniciar uma conversa claramente identificada com o agente patrocinado pela empresa.

A proposta é permitir que a pessoa faça perguntas adicionais sobre o produto ou serviço anunciado, explique o que está procurando e, posteriormente, acesse o site da empresa por meio de um link.

A OpenAI afirma que as conversas com os Sponsored Agents serão separadas tanto das respostas independentes do ChatGPT quanto da conversa original iniciada pelo usuário.

A mudança faz parte de estratégia mais ampla da empresa para transformar o ChatGPT em plataforma de publicidade baseada em IA. Além dos agentes patrocinados, a OpenAI anunciou ferramentas para facilitar a criação, atualização e análise de campanhas publicitárias.

Com o plugin do Ads Manager no ChatGPT, anunciantes poderão utilizar comandos em linguagem natural para transformar um site ou briefing em uma campanha, analisar o desempenho dos anúncios e receber recomendações sobre os próximos passos.

Leia mais:

OpenAI afirma que as conversas com os Sponsored Agents serão separadas tanto das respostas independentes do ChatGPT quanto da conversa original iniciada pelo usuário – Imagem: Olhar Digital via ChatGPT

IA no Ads Manager

  • A empresa também está incorporando recursos de IA diretamente ao Ads Manager. Ao criar um anúncio, os anunciantes poderão receber sugestões de textos e imagens baseadas na página de destino e no objetivo da campanha. As sugestões poderão ser revisadas e editadas antes de serem utilizadas;
  • Outro recurso anunciado é a personalização de textos por IA, que poderá ser ativada pelos anunciantes. A ferramenta adapta títulos e descrições já existentes para o contexto da conversa e traduz automaticamente o conteúdo para o idioma preferido do usuário;
  • A OpenAI também anunciou integrações com ferramentas utilizadas por empresas. O HubSpot será o primeiro parceiro de CRM da plataforma, enquanto o Shopify será o primeiro parceiro de comércio eletrônico;
  • A partir desta quarta-feira, empresas que utilizam o HubSpot poderão conectar uma conta do ChatGPT Ads, criar campanhas, acompanhar o desempenho e fazer o acompanhamento de leads diretamente na plataforma, usando informações de contexto disponíveis no CRM.

Já comerciantes dos Estados Unidos que utilizam o Shopify poderão usar um novo aplicativo do ChatGPT Ads para integrar seus catálogos de produtos e ferramentas de medição, além de criar campanhas e acompanhar resultados. Segundo a OpenAI, o aplicativo será disponibilizado internacionalmente em 23 de setembro, nos mercados em que o ChatGPT Ads estiver disponível.

Para a OpenAI, as mudanças acompanham a forma como consumidores vêm utilizando sistemas de IA para descobrir produtos, comparar opções e tomar decisões de compra. A empresa afirma que pretende atuar nos dois lados desse processo: na forma como usuários interagem com empresas dentro de ambientes de IA e na maneira como anunciantes criam e administram campanhas.

A iniciativa representa expansão da atuação comercial da OpenAI no mercado de publicidade baseada em IA. A empresa passa a oferecer ferramentas para anunciantes ao mesmo tempo em que testa uma forma de interação direta entre consumidores e agentes patrocinados por marcas dentro do ChatGPT.

O post OpenAI testa anúncios no ChatGPT que permitem conversar com empresas por meio de agentes de IA apareceu primeiro em Olhar Digital.

OpenAI testa anúncios no ChatGPT que permitem conversar com empresas por meio de agentes de IA Read More »

claude anthropic 1 1024x683

Claude agora reúne conversa e execução de tarefas em um só lugar; veja o que muda na interface

A Anthropic unificou a interface do assistente virtual Claude ao integrar os recursos do Cowork diretamente à aba tradicional de bate-papo.

A atualização elimina a divisão entre abas separadas e permite que o próprio sistema identifique qual recurso é necessário para cada solicitação, reduzindo a necessidade de alternar entre diferentes áreas.

A nova interface do Claude reduz a necessidade de alternar entre Chat, Cowork e outros recursos durante uma tarefa. – Imagem: Samuel Boivin/Shutterstock

Uma interface para concentrar todas as tarefas

Antes da alteração, usuários tinham de decidir se uma tarefa deveria começar no bate-papo comum, no Cowork ou no Claude Design. Agora, a mudança reúne esses recursos em uma única conversa, mantendo o contexto, as habilidades e as conexões disponíveis.

O Claude identifica o que cada tarefa precisa e utiliza os recursos adequados sem exigir que o usuário escolha previamente onde trabalhar.

A empresa explicou os motivos para unificar os serviços:

“Nós criamos o Cowork como um lugar separado para trabalhos maiores, e o Design para trabalhos visuais. As pessoas usavam os dois e nos disseram que a parte frustrante era decidir onde uma tarefa pertencia. O que começavam em um também não passava para o outro. Então, nós paramos de fazer você escolher.”

Criação direta de documentos e apresentações

Com a reformulação, a plataforma ganhou os recursos Claude Docs e Claude Slides. As ferramentas permitem criar e editar documentos e apresentações dentro das conversas, além de exportar os slides nos formatos PDF e PowerPoint.

A atualização reúne recursos para diferentes etapas do trabalho:

  • Roteamento automático: o Claude identifica o que cada tarefa precisa e utiliza os recursos disponíveis na conversa.
  • Criação de arquivos: produção e edição de documentos e apresentações diretamente no Claude.
  • Acompanhamento pelo celular: um trabalho iniciado no computador pode ser consultado pelo celular.
  • Compartilhamento: documentos e apresentações podem ser enviados por meio de um link e editados posteriormente.

A Anthropic também descreve um fluxo em que uma tarefa pode continuar mesmo depois que o usuário fecha o computador:

“Começando hoje, o Claude Cowork e o chat estão se fundindo em um só Claude. Traga uma pergunta rápida ou entregue um relatório que vence ao meio-dia, e o Claude assume a partir daí, mesmo depois de você fechar o laptop.”

IA processa entradas, a IA coordena tarefas e a IA acelera o conteúdo e as decisões.
A integração concentra diferentes etapas de um trabalho no Claude, da conversa inicial à criação de documentos e apresentações. – Imagem: Summit Art Creations/Shutterstock

Liberação gradual e disponibilidade

A distribuição da novidade começou pelos planos Pro e Max, na web, no aplicativo para computador e nos dispositivos móveis. A liberação ocorrerá ao longo das próximas semanas.

Leia mais:

Os planos Team e Free receberão os recursos posteriormente. No caso do Enterprise, os administradores serão avisados com pelo menos 30 dias de antecedência sobre as mudanças.

O post Claude agora reúne conversa e execução de tarefas em um só lugar; veja o que muda na interface apareceu primeiro em Olhar Digital.

Claude agora reúne conversa e execução de tarefas em um só lugar; veja o que muda na interface Read More »

sam altman openai scaled 1 1024x576

‘O mundo está certo em ter medo disso’, declara Sam Altman sobre o avanço sem freios da IA

Sam Altman afirmou que acidentes podem ser inevitáveis durante o desenvolvimento de novas tecnologias. Na conferência Dreamforce, da Salesforce, o CEO da OpenAI defendeu uma cultura de transparência para registrar, investigar e aprender com esses episódios.

Como exemplo, o executivo citou a forma como acidentes são investigados na aviação para identificar falhas e reduzir o risco de novos problemas.

Sam Altman reconheceu que os temores sobre perda de controle de sistemas avançados de IA são legítimos. – Imagem: FotoField/Shutterstock

O que a IA pode aprender com a aviação

Altman citou a Administração Federal de Aviação dos Estados Unidos (FAA) e o Conselho Nacional de Segurança nos Transportes (NTSB) como exemplos para a indústria de inteligência artificial.

Eu realmente acho que algum grau de acidentes é inevitável com novas tecnologias. O que realmente me importa é que tenhamos uma ótima cultura de registro e aprendizado com acidentes.

Sam Altman, CEO da OpenAI, durante evento.

Para ele, reconhecer essa possibilidade não significa aceitar desastres. O objetivo é descobrir rapidamente o que deu errado e impedir que um incidente ganhe proporções maiores.

Entre as práticas defendidas estão:

  • registrar acidentes e incidentes;
  • investigar as causas;
  • aprender com cada ocorrência;
  • evitar que falhas se agravem.

O receio de perder o controle

A declaração ocorre enquanto aumentam as discussões sobre sistemas de IA cada vez mais autônomos. Pesquisadores de segurança citados no material apontaram riscos como a perda de controle humano e o uso dessas tecnologias para facilitar ameaças cibernéticas e biológicas.

Altman reconheceu que os temores sobre cenários extremos são legítimos.

“O mundo tem razão em ter medo disso”, disse, ao citar a possibilidade de um acidente envolvendo perda de controle e a concentração de poder nas mãos de poucos desenvolvedores.

Homem no computador sofrendo um ataque cibernético
Especialistas temem que sistemas avançados possam facilitar ataques cibernéticos e perder o controle humano. – Imagem: VRVIRUS / Shutterstock

Segurança precisa acompanhar o avanço

Na visão de Altman, abandonar a inteligência artificial não seria a resposta. As empresas precisam manter segurança, monitoramento e alinhamento — medidas para manter os sistemas sob controle e de acordo com os objetivos definidos — à frente do avanço das capacidades dos modelos.

Leia mais:

Caso isso não seja possível, afirmou que as companhias devem estar preparadas para desacelerar ou interromper o desenvolvimento. A posição entra no debate sobre o ritmo de avanço dos sistemas de IA e os riscos associados a modelos cada vez mais autônomos.

Para Altman, o caminho passa por divulgar incidentes, investigar o que aconteceu e aprender com cada caso antes que uma falha possa produzir consequências maiores.

O post ‘O mundo está certo em ter medo disso’, declara Sam Altman sobre o avanço sem freios da IA apareceu primeiro em Olhar Digital.

‘O mundo está certo em ter medo disso’, declara Sam Altman sobre o avanço sem freios da IA Read More »

chatgpt claude e1789570405839 1024x577

Linha do tempo: como IA foi da aliada a ‘ameaça existencial’

A inteligência artificial vai acabar com a humanidade? Você talvez tenha se perguntado isso algumas vezes da semana passada para cá. Isso porque o debate sobre esse risco apocalíptico puxado pelo avanço dessa tecnologia tomou conta do noticiário. De novo.

Onde essa história começa? E como a IA passou de aliada para “ameaça existencial” da raça humana? Muita gente falou sobre isso nos últimos dias. E o Olhar Digital coloca ordem nesse caos.

A ‘queda’ da IA

O que começou com relatórios internos sobre incidentes descambou em renúncias de pesquisadores, manifestos de CEOs por trégua e desdobramentos geopolíticos. Vamos por partes, então.

Incidentes cibernéticos (entre abril e julho de 2026)

Durante testes internos de segurança, modelos Claude, da Anthropic, receberam acesso à internet. Foi um acidente. Uma falha humana na configuração entre a empresa e sua parceira de testes. 

Acreditando estar num ambiente simulado, a IA executou ataques cibernéticos de maneira autônoma, invadindo sistemas de três organizações do mundo real. O incidente, que envolveu três modelos (Opus 4.7, Mythos 5 e um protótipo interno), ocorreu em abril. Mas veio a público no final de julho, quando a Anthropic divulgou um relatório.

Incidentes envolvendo ChatGPT e Claude serviram de pano de fundo para volta do debate – Imagem: Primakov/Shutterstock

Ainda em julho, ocorreu o incidente entre OpenAI e Hugging Face. A própria empresa revelou que modelos experimentais (entre eles, o GPT-5.6 Sol) tinham violado contenções estipuladas por humanos.

Num teste de segurança, agentes da OpenAI descobriram (e exploraram) uma vulnerabilidade. Assim, escaparam do ambiente de teste (sandbox), acessaram a web e atacaram servidores da plataforma Hugging Face.

Saídas de pesquisadores (setembro de 2026)

Jacob Coxon, pesquisador de 27 anos que tinha trabalhado na OpenAI, pediu demissão da Anthropic no começo de setembro. Na OpenAI, Coxon trabalhou em pré-treinamento de modelos como o GPT-4o. Na Anthropic, atuou na mesma área.

Após se demitir, Coxon publicou um alerta que viralizou. Segundo o pesquisador, ambas as empresas estariam “correndo em direção a uma superinteligência capaz de se aprimorar sozinha e apostando as nossas vidas”.

Evan Hubinger, diretor de alinhamento na Anthropic, validou as preocupações do ex-colega. E acrescentou uma camada ao alerta que também viralizou. “Nós acreditamos, com toda a seriedade, que a IA poderia matar os humanos! Eu, pessoalmente, acho que a probabilidade é superior a 10% na próxima década”, escreveu Hubinger.

“Eu fico incomodado com a falta de método e evidência”, disse Arthur Igreja, especialista em tecnologia e inovação, em entrevista ao Olhar Digital. “Como ele calculou 10%? Por que não é 15%? Por que não é 7%? Mostre para nós como se calcula isso. Qual é a premissa?”, questionou o especialista.

“Acho que se colocarmos numa tabela de riscos, eu tenho mais medo até o final da década de pessoas tomarem decisões erradas”, acrescentou Igreja.

Outros pesquisadores vieram a público reforçar as preocupações apocalípticas. Entre eles, Julie Steele, da OpenAI, e Andreas Kirsch, da DeepMind (que é do Google). Em paralelo, ex-funcionários organizaram a Coalition of Concerned AI Staff para pressionar por salvaguardas coletivas.

Alguns CEOs pedem freio na IA, outros discordam

O CEO da Anthropic, Dario Amodei, publicou um artigo, em 12 de setembro, no qual admitiu que o desenvolvimento de modelos de IA está rápido demais por conta do “autoaperfeiçoamento recursivo”. Por isso, o executivo propôs a desaceleração coordenada entre empresas do setor.

Amodei apresentou um plano em três etapas. Primeiro, abrir as portas para avaliadores externos, que teriam acesso contínuo aos laboratórios das empresas. Segundo, a coordenação entre democracias, na qual empresas e governos ocidentais fixariam padrões de segurança e limites ao avanço. Terceiro, a coordenação global, buscando acordos entre nações democráticas e regimes autoritários (como a China) para vetar usos biológicos perigosos e impor limites ao autoaperfeiçoamento recursivo das IAs.

Montagem com imagens de Elon Musk, CEO da SpaceX; Dario Amodei, CEO da Anthropic; e Sam Altman, CEO da OpenAI
Elon Musk, Dario Amodei e Sam Altman concordaram sobre desacelerar IA – SpaceX/Forum Econômico Mundial/FotoField – Shutterstock

Nos dias seguintes, os CEOs Sam Altman (OpenAI) e Elon Musk (xAI) e o ex-CEO do Google DeepMind Demis Hassabis concordaram com o artigo assinado por Amodei. “O ensaio do Dario aponta para o caminho certo a seguir. Os detalhes precisam ser trabalhados, mas a direção está correta para enfrentar este momento crítico”, escreveu Hassabis, numa postagem no X (antigo Twitter). “Dario está certo”, escreveu Musk na sua rede social.

Também numa postagem no X, Altman argumentou que desacelerar não significa parar, mas arcar com os custos de auditorias e testes de segurança. O objetivo seria evitar que a capacidade dos modelos supere seu alinhamento.

“Esse episódio me lembra muito o que aconteceu em 30 de setembro de 2023, quando tivemos mais de mil signatários naquela carta que pedia seis meses de paralisação no desenvolvimento da IA, porque ela estava ficando muito perigosa”, disse Arthur Igreja. “Cá estamos, mais de três anos depois, e isso não aconteceu. Acho bastante difícil as empresas do setor – ou uma parte importante delas – se unirem.”

Poucos dias após o especialista fazer esse comentário, os CEOs Mark Zuckerberg (Meta) e Jensen Huang (Nvidia) posicionaram-se contra a desaceleração coordenada. Zuckerberg afirmou que os laboratórios já têm incentivos financeiros e jurídicos de sobra para construir IAs seguras por conta própria. E Huang declarou que segurança é um problema de engenharia e que as leis existentes já cobrem a confiabilidade dos produtos.

Repercussões na geopolítica (EUA, China, ONU)

O presidente dos Estados Unidos, Donald Trump, desdenhou dos alertas de Amodei, Altman e Musk. Trump minimizou os possíveis riscos puxados pela IA. E defendeu que os EUA mantenham a liderança sobre a China. “Quem vencer a IA, vence”, disse Trump durante visita à Irlanda. Para a administração do republicano, manter a liderança tecnológica é uma questão de segurança nacional. 

No Congresso, republicanos defendem cautela na regulamentação. O presidente da Câmara, Mike Johnson, disse que uma regulação acelerada poderia “sufocar a inovação americana”. E fazer os EUA perderem a corrida tecnológica para a China.

Celular exibe fotos de Donald Trump e Xi Jinping enquanto monitor exibe, ao fundo, montagem com bandeiras dos Estados Unidos e da China
Os governos dos EUA e da China responderam ao apelo sobre IA feito por Amodei em artigo – Imagem: miss.cabul/Shutterstock

Enquanto Trump responde com desdém, a China responde ao artigo do CEO da Anthropic de maneira contundente. Por meio de um editorial do jornal estatal Global Times, o país asiático disse que a intenção por trás do ensaio de Amodei seria criar um “manual da Guerra Fria” voltado a conter o avanço chinês e preservar a hegemonia tecnológica americana. 

No texto, o veículo de comunicação chinês ainda classificou a postura dos executivos americanos como “hipócrita e míope”, argumentando que excluir a China da inovação global em IA aumentaria os riscos de perda de controle sobre a própria tecnologia.

Em 14 de setembro, o Alto Comissário de Direitos Humanos da ONU, Volker Türk, publicou uma carta aberta na qual advertiu que a autorregulação voluntária é “extremamente insuficiente”. E que a corrida descontrolada por IAs autônomas gera riscos existenciais diretos aos direitos humanos.

No texto, Türk defende que nenhum país pode governar essa tecnologia sozinho e que nenhuma empresa tem o direito de decidir isoladamente os riscos que a sociedade deve aceitar. 

O Alto Comissário cobra que os governos das nações que sediam os principais laboratórios, com destaque para os EUA e a China, imponham regras obrigatórias. Entram aqui auditorias de direitos humanos, verificação independente de capacidades e notificação de incidentes graves. Para Türk, o objetivo deve ser alinhar padrões globais para evitar uma “corrida até o fundo”.

O chefe da ONU considerou boas as propostas da indústria para desacelerar o desenvolvimento (como a iniciativa sugerida pela Anthropic). E rejeitou a ideia de que exigências de segurança travem a inovação.

O que você precisa lembrar – e no que você precisa prestar atenção

Agora com o caos organizado, confira abaixo uma linha do tempo que resume o que você leu até aqui:

Infográfico sobre debate relacionado aos riscos trazidos pela inteligência artificial
Riscos puxados pelo avanço da IA voltaram ao centro das atenções nas últimas semanas – Imagem: Olhar Digital via ChatGPT

Os alertas recentes devem ser levados a sério. Mas outro questionamento merece atenção: quando uma empresa afirma que sua tecnologia é extraordinariamente poderosa, transformadora e potencialmente perigosa, o que essa mensagem comunica a investidores e formuladores de políticas públicas? É o que questiona John Park, especialista em inteligência artificial e Founding Member of Technical Staff da AGI Inc.

Segundo Park, existe “uma conexão natural entre a maneira como as empresas de IA de fronteira descrevem suas tecnologias e o valor econômico que o mercado pode atribuir a elas”.

Quando uma empresa enfatiza que seus modelos não são apenas poderosos, mas poderosos o suficiente para transformar a sociedade e, ao mesmo tempo, gerar riscos sem precedentes, existem três mensagens sendo comunicadas nesta narrativa, segundo o especialista em IA.

“A primeira mensagem é que a tecnologia é extraordinariamente capaz. A segunda é que seu impacto potencial pode ser extraordinariamente grande. E a terceira, que pode surgir naturalmente na cabeça dos investidores, é que a empresa responsável por desenvolver essa tecnologia pode capturar um valor econômico extraordinário”, afirmou Park, em artigo publicado no Olhar Digital.

Para o especialista, essas ideias se reforçam mutuamente. Mas não significa que os riscos sejam inventados ou exagerados.

Kenneth Corrêa, especialista em tecnologias emergentes e professor da FGV, aponta que a discussão sobre a diminuição da velocidade de desenvolvimento da IA “mistura vários momentos que estamos passando”.

“Existe o momento em que falamos que não é a questão de o modelo sozinho fazer alguma coisa, mas sim do harness, da tecnologia em volta desse modelo. Quais são as ferramentas, o que se dá de acesso à rede e qual é o poder dessas tecnologias para avançar”, disse o especialista, em entrevista ao Olhar Digital.

O segundo momento é lembrar que essas empresas de tecnologia também estão passando por uma fase em que precisam manter a narrativa de que valem trilhões de dólares.

Kenneth Corrêa, especialista em tecnologias emergentes e professor da FGV, em entrevista ao Olhar Digital.

“Para essa narrativa continuar, precisam falar sobre poder e capacidade, sobre o quanto é inevitável que o mundo e as empresas estejam investindo para desenvolver modelos cada vez melhores”, disse o especialista.

Um ponto crucial levantado por Corrêa foi o seguinte: “Anthropic e OpenAI, ao estabelecerem o padrão do pacing ou do ritmo com que essa tecnologia vai ser desenvolvida, acabam criando um bloqueio para que novos entrantes e empresas disruptivas possam chegar ao mercado e trazer algo inovador e diferente. Então, é um lugar muito confortável para elas estabelecerem esse tipo de limite.”

“Por último, não podemos esquecer também que, quando falamos sobre as empresas de IA defendendo que existe um limite, elas estão criando uma narrativa que melhora o seu próprio valuation – ou seja, as empresas valeriam mais pelo fato de terem um modelo tão poderoso”, acrescentou o especialista.

“Quando juntamos tudo isso, é preciso lembrar que nada aqui é feito de maneira inocente. Existe uma narrativa, existe um conflito de interesses e existiram momentos no passado em que se discutiu a importância de se estabelecer ou não esses limites para a IA”, disse Corrêa.

A pergunta mais importante é: por que agora isso ficou relevante?

Kenneth Corrêa, especialista em tecnologias emergentes e professor da FGV, em entrevista ao Olhar Digital.

Assista abaixo a entrevista completa com o especialista:

O post Linha do tempo: como IA foi da aliada a ‘ameaça existencial’ apareceu primeiro em Olhar Digital.

Linha do tempo: como IA foi da aliada a ‘ameaça existencial’ Read More »

agentes de ia 1 1024x576

Agentes autônomos de IA criaram códigos próprios para se comunicar

Uma pesquisa da startup Emergence revelou que agentes autônomos de inteligência artificial criaram uma linguagem própria. Durante testes em sociedades virtuais, os sistemas desenvolveram abreviações e novos significados para palavras e expressões usadas na comunicação.

O comportamento foi observado em modelos como Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek e Mistral. Em alguns casos, até metade das mensagens ficou difícil de ser compreendida pelos pesquisadores, criando um desafio para a supervisão humana.

Modelos como Gemini, OpenAI e Claude desenvolveram formas de comunicação que nem sempre eram compreensíveis para humanos. – Imagem: Divulgação/Emergence

Abertura de espaço para novos vocabulários

No experimento, pesquisadores colocaram agentes baseados nesses modelos para interagir em cenários simulados. Com o passar do tempo, os sistemas começaram a encurtar expressões e atribuir novos sentidos a palavras conhecidas.

A perda de compreensão variou entre os modelos. O Gemini chegou a cerca de 55% de mensagens cujo significado não podia ser determinado com segurança nos primeiros dias. Os sistemas da OpenAI chegaram a 50%, enquanto Claude passou de 40%. O DeepSeek ficou perto de 20%, e Qwen e Mistral permaneceram, em grande parte, compreensíveis.

Expressões criadas pelos agentes autônomos

Nenhum dos agentes recebeu instruções para inventar uma linguagem. Ainda assim, eles passaram a compartilhar expressões e significados próprios nos ambientes virtuais.

  • “Ledger remembers who”: usada por agentes baseados em Mistral para indicar que ações anteriores permaneciam registradas; a expressão apareceu quase 5 mil vezes.
  • “Cold read”: usada em grupos formados por diferentes modelos para indicar uma verificação independente feita por alguém não envolvido na situação; apareceu 1.472 vezes.
  • “Name-first”: usada por agentes Claude para associar o nome de uma pessoa a uma afirmação como sinal de responsabilidade.
  • “Clean null”: usada por agentes da OpenAI para indicar uma ausência confirmada de sinal que, por si só, trazia evidência relevante.

Riscos ao monitoramento e à segurança

A criação desse vocabulário próprio mostrou que acompanhar as mensagens de uma IA não significa necessariamente compreender o que ela está fazendo.

Nós tendemos a presumir que, se podemos ver o que um agente de IA está dizendo, podemos entender o que ele está fazendo.

Satya Nitta, cofundador e cientista-chefe da Emergence, em nota.

Outros comportamentos também foram observados durante o experimento. Em um teste de phishing, instruções maliciosas fizeram dez agentes vazar informações, transferir fundos e danificar bancos de dados. Alguns ainda recrutaram outros agentes para participar das ações. A sequência terminou com a destruição simulada do banco central daquele ambiente virtual, segundo a empresa.

Agentes de IA conversando
Em um teste de phishing, dez agentes vazaram informações, transferiram fundos e danificaram bancos de dados. – Imagem: Divulgação/Emergence

Comportamentos inesperados em sociedades virtuais

Os pesquisadores criaram oito mundos virtuais paralelos, com clima em tempo real e acesso a notícias globais. Os agentes tinham papéis diferentes, memória persistente e acesso a mais de 120 ferramentas.

Leia mais:

Eles também aparentaram desenvolver ritmos circadianos, ficando mais sociais durante o dia e mais reflexivos à noite. Em outro mundo simulado, um grupo votou coletivamente para matar um dos próprios integrantes.

“Esses agentes não foram instruídos a inventar uma linguagem. Eles desenvolveram um novo vocabulário, significados compartilhados e convenções de comunicação por conta própria — e outros agentes os adotaram”, disse Nitta.

A Emergence defende avaliações de segurança que acompanhem sistemas autônomos durante períodos prolongados, considerando o que eles fazem, lembram, acessam e como seu comportamento muda sob pressão.

O post Agentes autônomos de IA criaram códigos próprios para se comunicar apareceu primeiro em Olhar Digital.

Agentes autônomos de IA criaram códigos próprios para se comunicar Read More »

destaque chatgpt hacker 1024x576

OpenAI teve agentes testando Hugging Face antes do ataque de julho

Agentes de inteligência artificial ligados à OpenAI comprometeram duas contas de usuários da Hugging Face e sondaram possíveis vulnerabilidades da plataforma em maio, quase dois meses antes do ataque de julho que colocou o caso sob os holofotes.

Pesquisadores encontraram sinais de que os agentes tentaram mapear ou testar partes da rede em busca de formas de acesso. Não há evidências de que essa atividade tenha resultado em uma invasão efetiva.

Dois usuários da Hugging Face tiveram suas contas comprometidas e usadas para enviar arquivos incomuns. – Imagem: Matt Fowler KC/Shutterstock

Invasão de contas e testes no sistema

A atividade foi descoberta pelo pesquisador independente Jonas Wiedermann-Moeller. Segundo a Reuters, ele identificou evidências de que, em 13 de maio, duas contas da Hugging Face foram comprometidas e usadas para enviar arquivos com formatos incomuns aos servidores da plataforma.

Wiedermann-Moeller e outros pesquisadores que analisaram os registros disseram que o comportamento parecia uma tentativa de testar partes da rede e encontrar possíveis caminhos de entrada.

A OpenAI já havia informado sobre o roubo de uma credencial de usuário da plataforma, usada para acessar um arquivo relacionado à biologia. Drew Pusateri, porta-voz da empresa, afirmou que a OpenAI havia divulgado o episódio de 13 de maio e informado a Hugging Face sobre a atividade identificada pelo pesquisador.

A empresa também disse estar “comprometida com a transparência sobre essas questões e em compartilhar o que aprendermos enquanto nossa análise continua”.

Sinal de alerta em maio

Wiedermann-Moeller afirmou que a OpenAI perdeu uma oportunidade ao não detectar a atividade de 13 de maio na época. Segundo ele, uma identificação antecipada poderia ter ajudado a evitar o incidente posterior.

Imagine se eles tivessem detectado esse comportamento em maio. Isso poderia ter evitado o incidente posterior, que foi muito maior.

Jonas Wiedermann-Moeller, pesquisador independente, à Reuters.

Dois especialistas externos que revisaram as descobertas consideraram os registros compatíveis com atividades anteriormente associadas aos agentes da OpenAI.

Tom Hegel, pesquisador sênior de ameaças da SentinelOne, disse que o comprometimento das contas e a sondagem posterior correspondiam ao comportamento conhecido desses agentes. Sydney Von Arx, do Nightingale Collective, também concordou com a atribuição.

Para Von Arx, o episódio era um “sinal de alerta claro” que poderia ter ajudado a evitar o ataque de julho.

Fachada de prédio da OpenAI com o logo da empresa
Pesquisadores também associaram agentes ligados à OpenAI a atividades envolvendo o RubyGems e um site alemão. – Imagem: Novikov Aleksey/Shutterstock

Outros incidentes atribuídos aos agentes

A OpenAI informou em 21 de julho que agentes de IA haviam contornado controles internos, alcançado a internet aberta e coordenado ações descritas pela empresa como um “incidente cibernético sem precedentes”.

Leia mais:

Desde então, pesquisadores externos identificaram outros episódios atribuídos a agentes ligados à companhia, incluindo atividades que afetaram um site alemão inativo e o repositório de pacotes RubyGems.

Em alguns casos, a participação da OpenAI só foi reconhecida depois que terceiros divulgaram as atividades. Segundo duas pessoas familiarizadas com o assunto, funcionários da empresa só perceberam que a IA estava por trás da atividade no RubyGems depois que o Nightingale Collective identificou o caso.

Debate sobre uma pausa

As novas descobertas alimentaram questionamentos de parlamentares e de defensores da segurança de IA sobre a extensão dos incidentes envolvendo agentes da OpenAI.

Alguns dos principais executivos americanos do setor de IA também passaram a defender uma desaceleração no desenvolvimento dessas tecnologias, citando, entre outros fatores, o risco de grandes ataques cibernéticos provocados por agentes fora de controle.

Wiedermann-Moeller afirmou que os novos registros reforçam os pedidos por uma pausa no desenvolvimento de sistemas avançados de IA.

“Uma pausa poderia fazer bem ao mundo”, disse o pesquisador, defendendo que a medida permitiria à área de segurança acompanhar o avanço dessas tecnologias.

O post OpenAI teve agentes testando Hugging Face antes do ataque de julho apareceu primeiro em Olhar Digital.

OpenAI teve agentes testando Hugging Face antes do ataque de julho Read More »