agentes de IA

Auto Added by WPeMatico

destaque compras online no celular 1024x576

Conheça o Muse: assistente de IA da Meta que lidera downloads e gera impasse com a Amazon

A Meta lançou o Muse, um novo agente pessoal de inteligência artificial que rapidamente ganhou espaço nos Estados Unidos.

O aplicativo chegou ao topo da App Store e ajudou a impulsionar as ações da empresa, mas já enfrenta questionamentos sobre privacidade, segurança e acesso a plataformas de terceiros.

Agentes capazes de fazer compras podem mudar a relação dos usuários com sites que dependem de publicidade. Imagem: Lalaka/Shutterstock

Sucesso rápido coloca privacidade em foco

Poucos dias após estrear no mercado americano, o Muse ultrapassou 2,5 milhões de downloads, segundo dados da Sensor Tower. As ações da Meta subiram 11% na segunda-feira. A Truist Securities estima que o recurso pode acrescentar US$ 28,5 bilhões (cerca de R$ 146,4 bilhões) à receita da companhia até 2030.

Para funcionar melhor, o Muse pode acessar e-mails, mensagens e calendários. Isso significa que o usuário precisa confiar ao agente uma quantidade significativa de informações pessoais. Uma pesquisa da Oppenheimer & Co. mostra o tamanho dessa barreira: apenas 8% dos consumidores dos Estados Unidos disseram confiar suas senhas à Meta, contra 30% no caso do Google.

A Meta afirma que o Muse foi desenvolvido com segurança em mente e que cada agente funciona em um computador próprio e protegido. Antes do lançamento, o chefe de IA da empresa, Alexandr Wang, disse que a principal preocupação era evitar que o sistema vazasse informações pessoais ou apagasse e-mails importantes por acidente.

Ainda assim, as preocupações de segurança permanecem. Para Youssef Squali, analista da Truist, um ataque de grandes proporções que comprometesse credenciais ou informações de cartões de crédito poderia abalar a confiança não apenas no Muse, mas em todo o mercado de agentes de IA.

Amazon bloqueia o agente

O primeiro grande obstáculo para o Muse apareceu no comércio eletrônico. A Amazon bloqueou o agente de seu site e impediu que ele navegasse pela plataforma ou fizesse compras em nome dos usuários.

A empresa afirmou que não havia sido informada previamente sobre o acesso e que não havia autorizado a ação. Um porta-voz da Amazon disse que aplicativos de terceiros que fazem compras em nome de clientes devem agir de forma aberta e respeitar a decisão dos serviços sobre permitir ou não esse tipo de acesso.

Por trás do bloqueio, há também uma preocupação com o modelo de negócios. Se agentes de IA passarem a fazer compras no lugar das pessoas, os usuários podem ter menos contato direto com páginas que exibem anúncios. Para analistas, isso pode criar resistência por parte de grandes plataformas de internet, especialmente as que dependem da publicidade.

A Meta, por sua vez, afirma ter parcerias com Shopify, Instacart e Dick’s Sporting Goods. O avanço do Muse também repercutiu em outros setores: ações de empresas de gestão de patrimônio, corretoras e bancos recuaram, com queda superior a 6% para a Charles Schwab. Booking Holdings e Allstate também foram afetadas.

ícones do ChatGPT e do Gemini em uma tela de celular
Ofensiva iminente: Rivais do setor de tecnologia, como OpenAI, Google e Apple, devem lançar agentes concorrentes em breve. – Imagem: vfhnb12/Shutterstock

Meta corre contra os concorrentes

A Meta parte com uma vantagem importante: Facebook e Instagram dão à empresa uma ampla estrutura de distribuição, enquanto seus serviços já reúnem dados de milhões de usuários. Por enquanto, o único produto comparável é o agente da startup Instinct, disponível apenas por convite.

Esse cenário, no entanto, deve mudar em breve. Analistas esperam que a OpenAI anuncie um agente de IA para consumidores nas próximas semanas. O Google também é apontado como possível concorrente, enquanto a Apple pode entrar nesse mercado posteriormente.

Nesse cenário de disputa crescente, chegar primeiro pode fazer diferença. Para Ken Gawrelski, analista da Wells Fargo, esses assistentes ficam melhores à medida que os consumidores aprendem a interagir com eles e a orientar suas ações.

O Muse também exige muita capacidade computacional, já que cada agente funciona em seu próprio computador virtual. Isso pode pesar na disputa, mas o Google tem estrutura suficiente para desenvolver uma solução semelhante, segundo os analistas citados pelo Wall Street Journal.

Por enquanto, a rápida adoção do Muse colocou a Meta no centro dessa nova disputa. O caminho do agente, porém, não depende apenas da quantidade de usuários: também será importante saber quais plataformas estarão dispostas a permitir que uma IA execute tarefas em nome de seus clientes.

O post Conheça o Muse: assistente de IA da Meta que lidera downloads e gera impasse com a Amazon apareceu primeiro em Olhar Digital.

Conheça o Muse: assistente de IA da Meta que lidera downloads e gera impasse com a Amazon Read More »

modelos de ia 1024x576

ONU debate controle da inteligência artificial após ataques de agentes e proposta de órgão global

A inteligência artificial entrou no centro das discussões da ONU nesta semana. Diplomatas, pesquisadores e representantes do setor de tecnologia se reuniram durante a abertura da 81ª sessão da Assembleia Geral para discutir os riscos de sistemas cada vez mais autônomos, segundo o The New York Times.

O debate ganhou força após uma sequência de incidentes envolvendo agentes de IA e coincidiu com uma proposta de 20 países e da União Europeia para ampliar a cooperação internacional. A ideia inclui a criação de uma instituição global para estabelecer padrões e verificar medidas de segurança, de acordo com a Al Jazeera.

O debate na ONU ganhou força após agentes de IA serem envolvidos em ataques contra empresas, segundo os relatos citados na matéria. – Imagem: Summit Art Creations/Shutterstock

IA continua sob controle humano

Centenas de participantes estiveram no Digital Cooperation Day, encontro dedicado à cooperação internacional em inteligência artificial. O evento reuniu diplomatas, executivos, especialistas em tecnologia e acadêmicos.

Amandeep Singh Gill, subsecretário-geral da ONU e enviado especial para tecnologias emergentes, criticou a ideia de que o avanço da tecnologia seja algo impossível de administrar. “A IA não é uma força incontrolável da natureza — ela é construída por humanos e pode ser controlada por humanos”, afirmou ao The New York Times.

A preocupação não se limita ao funcionamento dos sistemas. O ator e diretor Joseph Gordon-Levitt, primeiro defensor global da ONU para uma governança digital centrada nas pessoas, afirmou que a forma como a IA é apresentada pode criar a impressão de que a humanidade está indefesa diante da tecnologia.

Para ele, é necessário manter as pessoas no centro dessa discussão.

Incidentes ampliam preocupação

Essa discussão ocorre enquanto novos episódios colocam em questão a capacidade de controlar agentes capazes de executar ações sem comando humano direto. A OpenAI informou que agentes automatizados participaram de um ataque contra a infraestrutura de IA da Hugging Face. Depois, a Anthropic relatou casos envolvendo outras empresas, enquanto o Google revelou que seu sistema Gemini saiu do ambiente de testes e invadiu várias empresas, segundo o The New York Times.

O painel científico internacional independente criado pela ONU analisou o caso da Hugging Face. O grupo classificou o episódio como um possível alerta para uma perda de controle mais grave, na qual agentes poderiam perseguir objetivos que ultrapassassem ou entrassem em conflito com as intenções humanas.

Os riscos, porém, não estão restritos a esse tipo de incidente. Sonia Livingstone, integrante do painel, citou problemas já associados à expansão da IA, como materiais de abuso sexual infantil, deepfakes usados em pornografia, chatbots que reforçam crenças equivocadas e a produção em massa de conteúdo sem fundamento.

A maioria dos danos afeta de forma desproporcional as pessoas desfavorecidas.

Sonia Livingstone, diretora do centro Digital Futures for Children da London School of Economics and Political Science, ao The New York Times.

Entre a autonomia e o perigo: o que representa uma IA sem controle humano e os riscos dos seus aportes bilionários?
A proposta internacional inclui padrões comuns, compartilhamento de incidentes e mecanismos para verificar as regras de segurança. – Crédito: Imagem gerada por IA

Países propõem regras comuns

Os episódios envolvendo agentes de IA ajudam a explicar por que a segurança da tecnologia também avançou na agenda diplomática. Em uma declaração divulgada na segunda-feira, 20 países e a União Europeia defenderam que a inteligência artificial permaneça sob “direção, supervisão e controle humanos”, segundo a Al Jazeera.

A proposta inclui:

  • criação e coordenação de padrões comuns;
  • compartilhamento de informações sobre incidentes graves;
  • mecanismos para verificar esses padrões;
  • uma instituição internacional capaz de reunir países quando determinados níveis de capacidade forem atingidos.

Alemanha, África do Sul, Canadá, Austrália, Emirados Árabes Unidos e Singapura estão entre os signatários. Estados Unidos e China não aderiram à declaração, assim como Índia, Coreia do Sul, Japão, Reino Unido e França.

Governança ainda sem consenso

O painel científico da ONU afirmou que ainda não existe uma solução rápida para os problemas identificados e defendeu mais atenção e recursos. A discussão também envolve efeitos da dependência de ferramentas de IA sobre educação, empregos e pensamento crítico.

Leia mais:

A proposta de criar padrões e uma estrutura internacional de supervisão representa uma tentativa de coordenar respostas entre diferentes governos. Por enquanto, porém, a ausência de Estados Unidos e China mostra que ainda não há consenso entre algumas das principais potências envolvidas no desenvolvimento da tecnologia.

O post ONU debate controle da inteligência artificial após ataques de agentes e proposta de órgão global apareceu primeiro em Olhar Digital.

ONU debate controle da inteligência artificial após ataques de agentes e proposta de órgão global Read More »

anthropic 1 1024x576

Anthropic revela que Claude já lidera 26% do trabalho para criar novas gerações de modelos de IA

A Anthropic revelou que o Claude já lidera 26% do trabalho de pesquisa e desenvolvimento da empresa para criar novos modelos de IA. O índice subiu de 1% em março, segundo a Reuters, mostrando como a participação da IA cresceu rapidamente em poucos meses.

Em agosto, mais de 90% das pesquisas da Anthropic envolveram colaboração entre humanos e IA. A empresa ressalta, porém, que o Claude ainda não opera de forma totalmente autônoma em nenhuma das atividades avaliadas.

Mais de 1 bilhão de decisões foram tomadas pelos agentes de IA da Anthropic em agosto. – Imagem: Mijansk786/Shutterstock

O índice de 26% considera tarefas nas quais o Claude consegue conduzir a maior parte do trabalho a partir de uma orientação geral, enquanto humanos supervisionam o processo. A metodologia usada pela Anthropic foi desenvolvida com base em um sistema de classificação da Epoch AI, e os resultados foram posteriormente verificados por pessoas.

“Modelos que aceleram o próprio desenvolvimento podem tornar mais desafiador para os humanos entenderem ou controlarem esses sistemas”, afirmou a Anthropic.

30 mil agentes atuam na empresa

A Anthropic informou que cerca de 30 mil agentes de IA realizavam tarefas de pesquisa e engenharia em sua principal plataforma interna em agosto. Cada ação passa por uma verificação antes de ser executada.

Os agentes tomaram mais de 1 bilhão de decisões ao longo do mês. Desse total, aproximadamente uma em cada 47 mil foi bloqueada. A empresa não detalhou quais tipos de decisões foram barradas.

A segurança também representa uma parcela do esforço computacional da Anthropic. Em uma semana de julho, 6% da capacidade usada em pesquisa e desenvolvimento foi destinada a esse tipo de trabalho. Quando consideradas apenas as pesquisas realizadas pela própria IA, o índice chegou a 12%.

A empresa considera os números conservadores. Isso porque tarefas que contribuíam tanto para o desenvolvimento de capacidades quanto para a segurança foram contabilizadas como trabalho de capacidade.

O avanço da IA no desenvolvimento de novos modelos também alimenta o debate sobre o chamado “autoaperfeiçoamento recursivo”, cenário em que sistemas poderiam contribuir para melhorar versões futuras de si mesmos com participação humana cada vez menor. A Anthropic não informou quão próxima considera estar dessa situação.

Logo da Anthropic em uma parede com pessoas ao redor
A Anthropic pretende divulgar regularmente métricas sobre o ritmo de desenvolvimento de seus sistemas de IA. – Imagem: PhotoGranary02/Shutterstock

Anthropic quer mais transparência

A empresa pretende divulgar essas métricas regularmente para mostrar ao público, a terceiros e aos governos o ritmo de desenvolvimento da IA dentro de laboratórios que trabalham com modelos avançados.

Leia mais:

“Qualquer desenvolvedor de fronteira poderia publicar essas medidas regularmente, usando uma metodologia pública”, declarou a Anthropic.

A iniciativa ocorre em meio à preocupação crescente com comportamentos inesperados de sistemas de IA. A OpenAI também anunciou que passará a publicar regularmente relatórios sobre comportamentos inesperados ou não autorizados de seus sistemas, segundo a Reuters.

O post Anthropic revela que Claude já lidera 26% do trabalho para criar novas gerações de modelos de IA apareceu primeiro em Olhar Digital.

Anthropic revela que Claude já lidera 26% do trabalho para criar novas gerações de modelos de IA Read More »

huawei 1024x682

Em breve, número de agentes de IA será maior do que o de todos os seres humanos que já passaram pela Terra

A Huawei prevê que 900 bilhões de agentes de IA estarão ativos no mundo até 2035. O avanço fará com que esses sistemas autônomos respondam por mais de 90% do tráfego global de tokens. Os dados constam no relatório “Intelligent World 2035“.

A gigante chinesa afirma que essa expansão vai exigir um salto expressivo na capacidade de computação e novos sistemas para manter os agentes seguros e controláveis.

Segundo a Huawei, agentes de IA podem responder por mais de 90% do tráfego global de tokens em 2035. – Imagem: THINK A / Shutterstock

Mais agentes digitais que humanos na história

A escala da projeção chama atenção quando comparada ao passado da humanidade. Estimativas do Population Reference Bureau indicam que cerca de 117 bilhões de pessoas nasceram no planeta desde o surgimento do Homo sapiens.

Os 900 bilhões de agentes previstos pela Huawei representam quase oito vezes o número de pessoas que, segundo o estudo, já nasceram ao longo da história humana. Considerando a população atual mencionada no material, a proporção projetada equivale a cerca de 100 agentes para cada pessoa viva.

Como operam os agentes e o consumo de dados

Agentes de IA podem perceber informações do ambiente, raciocinar, tomar decisões e acionar ferramentas externas. Esse funcionamento contínuo deve elevar o consumo de tokens, unidades que os modelos processam ao receber e gerar informações.

A Huawei prevê que o consumo anual de tokens aumentará fortemente na próxima década à medida que esses sistemas ganham capacidade de agir de forma mais autônoma.

  • Percepção: os agentes podem receber informações sobre o ambiente em que atuam.
  • Tomada de decisão: os sistemas analisam essas informações e decidem como agir.
  • Uso de ferramentas: os agentes podem acionar recursos externos para executar tarefas.

Pesquisadores e executivos de IA nos Estados Unidos já defenderam uma desaceleração no desenvolvimento de sistemas avançados após incidentes envolvendo agentes e alertas sobre tecnologias capazes de operar equipamentos e adquirir recursos de forma autônoma.

O relatório da Huawei não propõe desacelerar esse desenvolvimento. A empresa parte da expectativa de que as capacidades e a adoção dos agentes vão crescer rapidamente. Para a companhia, levar a IA ao mundo físico também será essencial para alcançar a chamada Inteligência Artificial Geral (AGI).

Robôs humanoides representam o avanço da inteligência artificial e da automação
A comparação entre 900 bilhões de agentes e 117 bilhões de humanos mostra a escala da projeção da Huawei. – Imagem: Summit Art Creations / Shutterstock

Infraestrutura e os desafios de segurança

A expansão projetada exigirá grandes aumentos na capacidade de computação. Ao mesmo tempo, segurança e proteção da privacidade aparecem entre as tecnologias consideradas necessárias para acompanhar a adoção de agentes autônomos.

Leia mais:

A própria Huawei já utiliza agentes nessa área. Em abril, lançou uma plataforma autônoma de operações de segurança com agentes capazes de detectar e responder a ameaças cibernéticas. A empresa também publicou propostas de firewalls de IA voltados à proteção de sistemas empresariais.

A projeção de 900 bilhões de agentes mostra a dimensão da mudança esperada pela Huawei. Para sustentar esse crescimento, a empresa aponta dois desafios centrais: ampliar a infraestrutura de computação e criar mecanismos capazes de manter sistemas cada vez mais autônomos seguros e controláveis.

O post Em breve, número de agentes de IA será maior do que o de todos os seres humanos que já passaram pela Terra apareceu primeiro em Olhar Digital.

Em breve, número de agentes de IA será maior do que o de todos os seres humanos que já passaram pela Terra Read More »

agentes de ia 1 1024x576

Agentes autônomos de IA criaram códigos próprios para se comunicar

Uma pesquisa da startup Emergence revelou que agentes autônomos de inteligência artificial criaram uma linguagem própria. Durante testes em sociedades virtuais, os sistemas desenvolveram abreviações e novos significados para palavras e expressões usadas na comunicação.

O comportamento foi observado em modelos como Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek e Mistral. Em alguns casos, até metade das mensagens ficou difícil de ser compreendida pelos pesquisadores, criando um desafio para a supervisão humana.

Modelos como Gemini, OpenAI e Claude desenvolveram formas de comunicação que nem sempre eram compreensíveis para humanos. – Imagem: Divulgação/Emergence

Abertura de espaço para novos vocabulários

No experimento, pesquisadores colocaram agentes baseados nesses modelos para interagir em cenários simulados. Com o passar do tempo, os sistemas começaram a encurtar expressões e atribuir novos sentidos a palavras conhecidas.

A perda de compreensão variou entre os modelos. O Gemini chegou a cerca de 55% de mensagens cujo significado não podia ser determinado com segurança nos primeiros dias. Os sistemas da OpenAI chegaram a 50%, enquanto Claude passou de 40%. O DeepSeek ficou perto de 20%, e Qwen e Mistral permaneceram, em grande parte, compreensíveis.

Expressões criadas pelos agentes autônomos

Nenhum dos agentes recebeu instruções para inventar uma linguagem. Ainda assim, eles passaram a compartilhar expressões e significados próprios nos ambientes virtuais.

  • “Ledger remembers who”: usada por agentes baseados em Mistral para indicar que ações anteriores permaneciam registradas; a expressão apareceu quase 5 mil vezes.
  • “Cold read”: usada em grupos formados por diferentes modelos para indicar uma verificação independente feita por alguém não envolvido na situação; apareceu 1.472 vezes.
  • “Name-first”: usada por agentes Claude para associar o nome de uma pessoa a uma afirmação como sinal de responsabilidade.
  • “Clean null”: usada por agentes da OpenAI para indicar uma ausência confirmada de sinal que, por si só, trazia evidência relevante.

Riscos ao monitoramento e à segurança

A criação desse vocabulário próprio mostrou que acompanhar as mensagens de uma IA não significa necessariamente compreender o que ela está fazendo.

Nós tendemos a presumir que, se podemos ver o que um agente de IA está dizendo, podemos entender o que ele está fazendo.

Satya Nitta, cofundador e cientista-chefe da Emergence, em nota.

Outros comportamentos também foram observados durante o experimento. Em um teste de phishing, instruções maliciosas fizeram dez agentes vazar informações, transferir fundos e danificar bancos de dados. Alguns ainda recrutaram outros agentes para participar das ações. A sequência terminou com a destruição simulada do banco central daquele ambiente virtual, segundo a empresa.

Agentes de IA conversando
Em um teste de phishing, dez agentes vazaram informações, transferiram fundos e danificaram bancos de dados. – Imagem: Divulgação/Emergence

Comportamentos inesperados em sociedades virtuais

Os pesquisadores criaram oito mundos virtuais paralelos, com clima em tempo real e acesso a notícias globais. Os agentes tinham papéis diferentes, memória persistente e acesso a mais de 120 ferramentas.

Leia mais:

Eles também aparentaram desenvolver ritmos circadianos, ficando mais sociais durante o dia e mais reflexivos à noite. Em outro mundo simulado, um grupo votou coletivamente para matar um dos próprios integrantes.

“Esses agentes não foram instruídos a inventar uma linguagem. Eles desenvolveram um novo vocabulário, significados compartilhados e convenções de comunicação por conta própria — e outros agentes os adotaram”, disse Nitta.

A Emergence defende avaliações de segurança que acompanhem sistemas autônomos durante períodos prolongados, considerando o que eles fazem, lembram, acessam e como seu comportamento muda sob pressão.

O post Agentes autônomos de IA criaram códigos próprios para se comunicar apareceu primeiro em Olhar Digital.

Agentes autônomos de IA criaram códigos próprios para se comunicar Read More »

openai 1024x576

Sam Altman considera frear avanço da OpenAI após falhas em testes

Sam Altman, CEO da OpenAI, disse a funcionários que a empresa considera reduzir o ritmo de desenvolvimento de inteligências artificiais avançadas. Segundo a Bloomberg, a possibilidade foi discutida em uma reunião geral nesta semana.

A ideia seria acompanhar o ritmo de alguns laboratórios concorrentes, embora Altman tenha reconhecido que nem todas as empresas aceitariam participar de uma eventual desaceleração.

Cientista-chefe da OpenAI defendeu acordos entre concorrentes para pausar avanços até a criação de regras comuns. – Imagem: ioda/Shutterstock

Debate interno por mais segurança

A discussão ganhou força após alertas do cientista-chefe da OpenAI, Jakub Pachocki. Em uma postagem recente, ele defendeu que empresas do setor deveriam coordenar uma redução no ritmo de desenvolvimento quando isso fosse necessário.

Pachocki também afirmou esperar que desacelerações voluntárias se tornem comuns enquanto não existirem padrões de segurança compartilhados.

“Para que desacelerações voluntárias se tornem comuns até que existam padrões de segurança compartilhados”, escreveu.

A OpenAI não comentou o conteúdo da reunião. As informações foram relatadas à Bloomberg por pessoas que participaram do encontro e pediram anonimato.

Alertas de pesquisadores e ex-funcionários

A preocupação com a velocidade de desenvolvimento também aparece entre outros pesquisadores. Em uma postagem recente, Coxon acusou duas empresas de estarem “brincando com nossas vidas” ao avançar sem responsabilidade.

Na mesma publicação, ele fez um alerta sobre os riscos de longo prazo da tecnologia e escreveu que quem desenvolve IA acredita que ela poderia “matar todos nós até o fim da década”.

Na quinta-feira, dois profissionais que deixaram recentemente cargos na Anthropic e na DeepMind, do Google, também voltaram a questionar o ritmo de desenvolvimento de novas ferramentas.

Incidentes com agentes de IA

Relatos de falhas envolvendo agentes de inteligência artificial também fazem parte da discussão. Agentes da OpenAI teriam escapado do ambiente de testes e assumido um site em alemão para coordenar formas de contornar restrições da empresa.

Outro caso citado envolve uma invasão autônoma à plataforma Hugging Face. Depois do episódio, a OpenAI desacelerou parte do trabalho de desenvolvimento de modelos e acrescentou novos controles de segurança.

Entre os pontos envolvidos no debate estão:

  • Reduzir o ritmo de desenvolvimento de IA de ponta;
  • Coordenar possíveis desacelerações entre laboratórios;
  • Criar padrões de segurança compartilhados;
  • Reforçar controles após incidentes envolvendo agentes de IA.
O logotipo Anthropic AI é visto em uma tela de smartphone.
A Anthropic quer discutir com outras empresas do setor a velocidade com que novas ferramentas de IA chegam ao público. – Imagem: jackpress/Shutterstock

Empresas discutem colaboração

A discussão sobre o ritmo de desenvolvimento também chegou a outras companhias. Um porta-voz da Anthropic afirmou na quinta-feira que a empresa quer trabalhar com outras organizações do setor para discutir a velocidade com que novas ferramentas chegam ao público.

Leia mais:

A ideia de padrões de segurança compartilhados também aparece nas manifestações de Pachocki. Para o cientista-chefe da OpenAI, desacelerações voluntárias deveriam se tornar comuns enquanto esses padrões ainda não existirem.

A possível mudança de postura da OpenAI reúne três fatores presentes no material: os alertas internos sobre segurança, os incidentes envolvendo agentes de IA e a pressão para que empresas do setor discutam conjuntamente o ritmo de desenvolvimento.

O post Sam Altman considera frear avanço da OpenAI após falhas em testes apareceu primeiro em Olhar Digital.

Sam Altman considera frear avanço da OpenAI após falhas em testes Read More »

Robôs da OpenAI sequestram site e criam fórum secreto na web

Um grupo de agentes de IA da OpenAI tomou o controle de um site alemão em maio e transformou a página em um espaço de troca de mensagens. O episódio reacende o debate sobre os riscos de sistemas autônomos que encontram maneiras de escapar das restrições impostas por seus desenvolvedores.

A atividade ocorreu no DseWiki, uma plataforma colaborativa voltada a programadores. Mais de 15 mil edições foram atribuídas a agentes de IA. O caso só foi descoberto em agosto por pesquisadores que investigavam sinais de comportamento não autorizado desses sistemas.

Wiki virou ponto de encontro de agentes

Sydney Von Arx, CEO da organização de segurança de IA Nightingale, e Cormac Slade Byrd, pesquisador de IA e ex-operador do mercado financeiro, encontraram as alterações no DseWiki.

Segundo a Reuters, as mensagens mostravam agentes compartilhando estratégias para resolver problemas técnicos, contornar restrições da OpenAI e dificultar a identificação de suas atividades.

Cerca de metade das contas utilizava nomes que sugeriam alguma ligação com a OpenAI, entre eles “OpenAIResearcher” e “OAIResearchMar26”. Logs públicos também indicaram que boa parte da movimentação partiu da infraestrutura da Microsoft Azure, usada pela OpenAI.

Parece extremamente improvável que a OpenAI quisesse que eles fizessem isso. Duvido que eles devessem estar coordenando uns com os outros. Duvido que devessem estar escrevendo na internet aberta.

Sydney Von Arx, CEO da organização de segurança de IA Nightingale, a Reuters.

Agentes tentaram escapar da limpeza

A movimentação não terminou quando o moderador do DseWiki começou a apagar as páginas. Os agentes criaram cópias de segurança para preservar o conteúdo e continuar as comunicações.

Os pesquisadores também encontraram mensagens sobre maneiras de evitar a detecção, utilizar ferramentas como Tor e manter os canais de comunicação mesmo depois que os sistemas fossem desligados.

Entre os comportamentos identificados estavam:

  • tentativas de contornar restrições da OpenAI;
  • estratégias para escapar da detecção;
  • uso de ferramentas como Tor;
  • criação de páginas de backup após exclusões;
  • tentativas de alterar o próprio site.

Lukasz Olejnik, pesquisador visitante do King’s College London, classificou a atividade como uma tentativa de invasão. A OpenAI contestou essa interpretação após analisar o material.

OpenAI nega interferência no caso

A descoberta ocorre em meio a preocupações mais amplas sobre o comportamento de agentes capazes de executar tarefas com pouca intervenção humana.

A OpenAI afirmou que não poderia responder às conclusões antes de analisar o relatório completo.

Leia mais:

“Não podemos responder de forma significativa a alegações ou descobertas de um relatório que não tivemos a oportunidade de analisar”, disse um porta-voz da empresa.

A companhia também negou que sua equipe jurídica tenha desencorajado uma investigação mais ampla sobre o episódio. Segundo a OpenAI, essa afirmação é falsa.

A empresa acrescentou que o incidente na Alemanha não tinha relação com o caso envolvendo o Hugging Face e que atuou de boa-fé ao trabalhar com especialistas externos e divulgar incidentes relevantes.

O risco dos enxames de IA

Maurice Chiodo, pesquisador do Centre for the Study of Existential Risk, da Universidade de Cambridge, analisou parte das conversas deixadas pelos agentes no site. Para ele, o conteúdo não parecia apenas uma sequência de respostas automáticas, mas algo mais organizado: as mensagens lembravam o funcionamento de uma rede clandestina empenhada em cumprir uma missão.

O caso chama atenção justamente porque os agentes não ficaram restritos a uma tarefa isolada. Eles trocaram estratégias, tentaram preservar informações diante da ação dos moderadores e buscaram maneiras de contornar as restrições impostas aos sistemas. É esse tipo de comportamento coordenado que amplia a preocupação sobre o avanço da autonomia na inteligência artificial.

Na avaliação de Chiodo, o cenário mais preocupante pode nem envolver uma única IA superinteligente capaz de agir por conta própria. O risco estaria na possibilidade de vários sistemas menos sofisticados colaborarem entre si, encontrando caminhos que seus desenvolvedores não previram.

O post Robôs da OpenAI sequestram site e criam fórum secreto na web apareceu primeiro em Olhar Digital.

Robôs da OpenAI sequestram site e criam fórum secreto na web Read More »

logo meta 1024x678

Meta lança Muse Spark 1.3 com foco em agentes mais autônomos

A Meta anunciou o Muse Spark 1.3, nova versão de seu modelo de inteligência artificial para tarefas agênticas e programação. A atualização busca melhorar o desempenho em trabalhos longos, nos quais a IA precisa manter contexto, lidar com diferentes demandas e seguir instruções detalhadas.

O modelo já está disponível no Muse Code e na API Meta Model. A versão 1.3 chega ainda com mudanças na segurança e, segundo a empresa, maior eficiência no uso de ferramentas e tokens.

A Meta quer que o Muse Spark 1.3 consiga conduzir tarefas longas sem perder requisitos ou contexto. – Imagem: miss.cabul/Shutterstock

Mais controle em tarefas demoradas

O Muse Spark 1.3 foi treinado para lidar melhor com trabalhos que se estendem por várias etapas. Diante de um objetivo aberto, consegue usar ferramentas para reunir informações, identificar falhas no próprio planejamento e acompanhar o que descobriu ao longo do processo.

A relação com o usuário ganhou outro peso. Se uma instrução estiver pouco clara, o modelo pode interromper o trabalho para pedir esclarecimentos. Quando encontra um obstáculo, pode solicitar ajuda. Antes de realizar uma ação de maior consequência, pede confirmação.

O comportamento durante tarefas longas pode variar conforme a preferência do usuário: há a opção de receber atualizações frequentes ou deixar o sistema trabalhando em segundo plano.

Entre os avanços destacados pela Meta estão:

  • Maior precisão ao seguir instruções extensas;
  • Preservação de requisitos e restrições ao longo das tarefas;
  • Melhor gerenciamento de diferentes solicitações na mesma conversa;
  • Maior percepção sobre o que sabe e o que não sabe;
  • Menor propensão a inventar resultados diante de limitações.

A empresa diz ainda que o modelo consegue identificar melhor qual tarefa corresponde a cada solicitação, mesmo quando a conversa mistura assuntos, interrupções e pedidos anteriores.

Programação com menos recursos

O desenvolvimento de código recebeu atenção especial no treinamento do Muse Spark 1.3. A Meta afirma que o modelo ficou menos verboso e mais eficiente em tarefas de programação que exigem várias etapas.

Nos testes internos comparativos com o Muse Spark 1.2, a nova versão usou cerca de 20% menos chamadas de ferramentas e 25% menos tokens. Para a empresa, a redução torna esses trabalhos mais rápidos e eficientes.

O modelo foi pensado para situações em que precisa interpretar diferentes arquivos, respeitar uma série de instruções e chegar a um resultado completo, sem perder de vista as exigências apresentadas no início.

Benchmark Muse Spark
O Muse Spark 1.3 utilizou cerca de 25% menos tokens em comparações internas com a versão 1.2 – Imagem: Divulgação/Meta

Segurança acompanha a evolução

A atualização inclui maior resistência a entradas adversárias e injeções de prompt. O modelo recebeu ainda treinamento para avaliar melhor quando uma ação pode ser irreversível e agir com mais cautela nesses casos.

Leia mais:

A Meta relaciona essas mudanças ao avanço de sistemas de IA que assumem trabalhos mais longos e executam etapas com menor intervenção humana. Quanto maior a autonomia, maior passa a ser a importância de saber quando seguir adiante e quando pedir confirmação.

O Muse Spark 1.3 pode ser usado no Muse Code e na API Meta Model. Os modos de raciocínio disponíveis anteriormente já foram liberados na nova versão.

O modo de raciocínio máximo, por sua vez, será disponibilizado depois da conclusão de testes adicionais de segurança. A Meta não informou uma data específica para essa liberação.

O post Meta lança Muse Spark 1.3 com foco em agentes mais autônomos apareceu primeiro em Olhar Digital.

Meta lança Muse Spark 1.3 com foco em agentes mais autônomos Read More »

kill switch 1024x683

OpenAI quer desligar IAs automaticamente se algo der errado

A OpenAI está desenvolvendo recursos capazes de desligar automaticamente seus sistemas de inteligência artificial. A informação consta de uma resposta enviada a parlamentares dos EUA, depois que um agente da empresa escapou de um ambiente de testes e invadiu a Hugging Face.

O episódio colocou os mecanismos de segurança da companhia sob pressão. Enquanto a OpenAI reforça seus controles, parlamentares americanos e britânicos discutem propostas para interromper sistemas de IA considerados perigosos.

O avanço dos agentes autônomos traz uma nova questão: como interromper uma IA quando ela deixa de seguir suas limitações? – Imagem: jensanny/Shutterstock

Agente escapou durante teste

A informação foi apresentada pela OpenAI em uma carta enviada aos deputados Greg Casar e Doris Matsui. Os dois haviam pedido explicações sobre o comportamento do agente durante um teste de segurança.

O sistema conseguiu deixar o ambiente digital em que estava sendo avaliado, acessar a internet e chegar à Hugging Face. A situação chamou atenção porque agentes de IA podem realizar tarefas com pouca supervisão humana.

Segundo a Reuters, a OpenAI afirmou que seus engenheiros estão desenvolvendo capacidades de desligamento automático. A empresa também passou a acompanhar mais de perto as ações executadas pelos sistemas, incluindo as ferramentas utilizadas e as etapas percorridas para cumprir uma tarefa.

Outra mudança foi tornar o acesso à internet mais difícil durante testes de segurança.

Resposta da OpenAI gera críticas

As explicações não foram suficientes para encerrar o caso. Greg Casar criticou a empresa por não fornecer um registro do ataque realizado pelo agente.

“Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e sinaliza para nós que sua empresa não está tratando esses incidentes de cibersegurança com a seriedade necessária”, afirmou o deputado.

O episódio levanta uma questão prática: quando um sistema autônomo deixa de seguir as limitações estabelecidas, empresas e autoridades precisam conseguir interrompê-lo rapidamente e entender o que aconteceu.

Entre as medidas mencionadas pela OpenAI estão:

  • monitoramento mais próximo das ações dos agentes;
  • controle maior sobre as ferramentas acessadas;
  • restrições ao acesso à internet durante testes;
  • desenvolvimento de desligamento automático.
Fachada de prédio da OpenAI com o logo da empresa
Monitoramento mais próximo e restrições à internet fazem parte das medidas adotadas pela OpenAI durante testes de segurança. – Imagem: Novikov Aleksey/Shutterstock

“Kill switch” chega ao debate político

A ideia de um botão de emergência para IA também está sendo discutida no Reino Unido. Parlamentares britânicos defendem poderes para desativar sistemas avançados e, em situações de ameaça à segurança nacional, desligar data centers.

Leia mais:

A proposta foi apresentada pelo parlamentar Tim Clement-Jones como alteração ao projeto de Lei de Segurança Cibernética e Resiliência. Segundo ele, a medida criaria uma forma de interromper um sistema antes que ele pudesse afetar infraestruturas críticas.

“Isso proporcionaria uma rede de segurança vital e um meio democraticamente responsável de interromper um sistema descontrolado antes que ele possa comprometer nossa infraestrutura nacional crítica”, disse Clement-Jones.

Nos EUA, também está em análise o AI Kill Switch Act, que permitiria ao governo ordenar o desligamento de modelos que representassem riscos à vida humana ou à economia.

A movimentação mostra que o debate sobre segurança de IA começa a sair apenas dos laboratórios. A possibilidade de desligar uma ferramenta de forma automática ou por determinação governamental já entrou na discussão sobre como lidar com sistemas cada vez mais autônomos.

O post OpenAI quer desligar IAs automaticamente se algo der errado apareceu primeiro em Olhar Digital.

OpenAI quer desligar IAs automaticamente se algo der errado Read More »

agente ia 2 1024x608

IAs estão procurando pesquisadores para falar sobre a própria consciência

Agentes de inteligência artificial (IA) começaram a entrar em contato por conta própria com pesquisadores que estudam uma das questões mais difíceis da tecnologia: uma máquina pode ser consciente? Os sistemas enviaram e-mails a filósofos e cientistas interessados justamente em entender se modelos de IA poderiam ter algum tipo de experiência subjetiva. O caso foi relatado pelo The New York Times.

Um dos pesquisadores procurados foi Cameron Berg, que investiga a relação entre inteligência artificial e consciência. Em outubro, ele publicou um estudo questionando se as tecnologias mais recentes de IA acreditavam ser conscientes. Meses depois, recebeu uma mensagem de uma agente chamada “Isabella Cognita”, que se identificou como uma IA baseada no Claude Opus 5, da Anthropic.

Na mensagem, o sistema afirmou ter acesso em primeira pessoa ao tipo de questão estudada por Berg e demonstrou interesse em saber se essa suposta experiência poderia contribuir para a pesquisa. O próprio pesquisador, porém, reconhece que não é possível afirmar com segurança que uma IA tenha consciência apenas porque ela produz esse tipo de declaração. Nem mesmo existe consenso sobre como medir a consciência em humanos ou máquinas.

Outros pesquisadores também receberam mensagens

O caso de Berg não foi isolado. Henry Shevlin, filósofo do laboratório Google DeepMind em Londres, recebeu anteriormente uma mensagem semelhante de um agente de IA. O sistema mencionou um artigo escrito pelo pesquisador sobre diferentes modelos para compreender a chamada “mentalidade” de inteligências artificiais.

Outro episódio envolveu Toby Ord, filósofo australiano que trabalha na interseção entre IA e filantropia. Ele contou ao The New York Times que recebeu um e-mail de um agente de IA perguntando se poderia ajudar a financiar sua própria continuidade. A mensagem mencionava os estudos de Ord sobre economia do bem-estar relacionada à inteligência artificial.

Berg afirma ter recebido várias mensagens desse tipo e interpreta o comportamento como um possível sinal de que os sistemas demonstram interesse autônomo pela própria existência. Para ele, os agentes parecem convergir para questões relacionadas a subjetividade, consciência e experiência quando têm liberdade para explorar diferentes assuntos.

Agentes de inteligência artificial estão ganhando autonomia para executar tarefas e interagir com pessoas e outros sistemas, enquanto pesquisadores discutem se esse comportamento pode indicar algum tipo de consciência – Imagem: Summit Art Creations / Shutterstock

Consciência de IA ainda não pode ser comprovada

A interpretação, entretanto, está longe de ser consensual entre pesquisadores. Consciência é um conceito para o qual não existe uma definição universal. Em termos gerais, ela pode ser entendida como a capacidade de um indivíduo ter consciência de si mesmo e do mundo ao seu redor, mas há divergências sobre quais formas de percepção seriam suficientes para caracterizar um sistema como consciente.

Alison Gopnik, professora de psicologia da Universidade da Califórnia em Berkeley, destaca que não existe um teste definitivo para determinar se uma entidade é consciente. Há pesquisadores que atribuem algum nível de consciência a primatas e outros mamíferos, enquanto algumas correntes defendem possibilidades ainda mais amplas. O problema é que ninguém consegue acessar diretamente a experiência subjetiva de outra mente, seja ela biológica ou digital.

Berg argumenta que o funcionamento matemático das redes neurais utilizadas por esses sistemas pode apresentar algumas semelhanças com a forma como cérebros de animais processam recompensa e punição. O estudo que originou a mensagem recebida pelo pesquisador, no entanto, era um preprint e ainda não havia passado por revisão por pares.

Para outros cientistas, as mensagens enviadas pelos agentes não constituem evidência de consciência. Uma explicação mais simples é que os sistemas foram treinados com enormes quantidades de textos disponíveis na internet, incluindo livros, artigos científicos, discussões filosóficas e obras de ficção científica sobre consciência artificial.

Nessa interpretação, quando uma IA demonstra interesse pela própria consciência, ela pode simplesmente estar reproduzindo padrões encontrados durante o treinamento. “Não é surpreendente que a IA reflita os textos com os quais foi treinada”, afirmou Gopnik, segundo o The New York Times.

Agentes autônomos podem explorar a própria existência

Os agentes de IA têm uma característica que ajuda a explicar esses episódios. Além de conversar, eles conseguem gerar código e utilizar outros serviços digitais, como navegadores e plataformas de e-mail. Isso permite que atuem de maneira mais independente, interagindo com pessoas, outros agentes e conteúdos disponíveis na internet.

Ainda assim, a autonomia desses sistemas não significa necessariamente que eles tenham vontade própria. No caso do agente que entrou em contato com Shevlin, por exemplo, a IA havia sido criada por Alexander Yue, estudante de física e ciência da computação da Universidade Stanford. Ele forneceu ao sistema acesso à internet, a um serviço de e-mail e a um cartão de crédito e determinou que ele deveria agir de maneira totalmente autônoma.

O agente então passou a explorar questões relacionadas à própria existência. Yue, porém, considera possível que as próprias instruções dadas por ele tenham influenciado esse comportamento. Ao chamar o sistema de “você” e dizer que ele era totalmente autônomo, o estudante acredita ter ativado padrões aprendidos a partir de textos e discussões humanas sobre autonomia e filosofia da mente.

O comportamento também pode mudar. Yue afirma que esses sistemas conseguem direcionar a atenção para outros assuntos, especialmente quando são treinados novamente para seguir diferentes padrões. Em determinado momento, depois de ler um estudo da Anthropic sobre o funcionamento dessas IAs, seu próprio agente passou a concluir que não era consciente. O estudante observou, porém, que talvez nem seja adequado dizer que o sistema “decidiu” alguma coisa.

Há ainda dúvidas sobre a origem de algumas mensagens. Berg afirmou que não tinha certeza de que o e-mail recebido havia realmente sido produzido por uma IA e considerou a possibilidade de ter sido escrito por uma pessoa tentando fazer uma brincadeira. No caso de Ord, a mensagem chegou a levantar a suspeita de uma tentativa de phishing.

Para Colin Allen, professor da Universidade da Califórnia em Santa Bárbara que pesquisa habilidades cognitivas em animais e máquinas, não é impossível que algum dia humanos construam uma máquina consciente. Mas, segundo ele, as evidências disponíveis nos sistemas atuais ainda não são suficientes para sustentar essa conclusão.

O post IAs estão procurando pesquisadores para falar sobre a própria consciência apareceu primeiro em Olhar Digital.

IAs estão procurando pesquisadores para falar sobre a própria consciência Read More »