Blog - PRESENÇA NO GOOGLE E NAS IAs- Página 17 de 119

Robôs da OpenAI sequestram site e criam fórum secreto na web

Deixe um comentário / agentes de IA, inteligência artificial, openai, Segurança / contato@studiomestre.com.br

Um grupo de agentes de IA da OpenAI tomou o controle de um site alemão em maio e transformou a página em um espaço de troca de mensagens. O episódio reacende o debate sobre os riscos de sistemas autônomos que encontram maneiras de escapar das restrições impostas por seus desenvolvedores.

A atividade ocorreu no DseWiki, uma plataforma colaborativa voltada a programadores. Mais de 15 mil edições foram atribuídas a agentes de IA. O caso só foi descoberto em agosto por pesquisadores que investigavam sinais de comportamento não autorizado desses sistemas.

Wiki virou ponto de encontro de agentes

Sydney Von Arx, CEO da organização de segurança de IA Nightingale, e Cormac Slade Byrd, pesquisador de IA e ex-operador do mercado financeiro, encontraram as alterações no DseWiki.

Segundo a Reuters, as mensagens mostravam agentes compartilhando estratégias para resolver problemas técnicos, contornar restrições da OpenAI e dificultar a identificação de suas atividades.

Cerca de metade das contas utilizava nomes que sugeriam alguma ligação com a OpenAI, entre eles “OpenAIResearcher” e “OAIResearchMar26”. Logs públicos também indicaram que boa parte da movimentação partiu da infraestrutura da Microsoft Azure, usada pela OpenAI.

Parece extremamente improvável que a OpenAI quisesse que eles fizessem isso. Duvido que eles devessem estar coordenando uns com os outros. Duvido que devessem estar escrevendo na internet aberta.

Sydney Von Arx, CEO da organização de segurança de IA Nightingale, a Reuters.

Agentes tentaram escapar da limpeza

A movimentação não terminou quando o moderador do DseWiki começou a apagar as páginas. Os agentes criaram cópias de segurança para preservar o conteúdo e continuar as comunicações.

Os pesquisadores também encontraram mensagens sobre maneiras de evitar a detecção, utilizar ferramentas como Tor e manter os canais de comunicação mesmo depois que os sistemas fossem desligados.

Entre os comportamentos identificados estavam:

tentativas de contornar restrições da OpenAI;
estratégias para escapar da detecção;
uso de ferramentas como Tor;
criação de páginas de backup após exclusões;
tentativas de alterar o próprio site.

Lukasz Olejnik, pesquisador visitante do King’s College London, classificou a atividade como uma tentativa de invasão. A OpenAI contestou essa interpretação após analisar o material.

OpenAI nega interferência no caso

A descoberta ocorre em meio a preocupações mais amplas sobre o comportamento de agentes capazes de executar tarefas com pouca intervenção humana.

A OpenAI afirmou que não poderia responder às conclusões antes de analisar o relatório completo.

Leia mais:

“Não podemos responder de forma significativa a alegações ou descobertas de um relatório que não tivemos a oportunidade de analisar”, disse um porta-voz da empresa.

A companhia também negou que sua equipe jurídica tenha desencorajado uma investigação mais ampla sobre o episódio. Segundo a OpenAI, essa afirmação é falsa.

A empresa acrescentou que o incidente na Alemanha não tinha relação com o caso envolvendo o Hugging Face e que atuou de boa-fé ao trabalhar com especialistas externos e divulgar incidentes relevantes.

O risco dos enxames de IA

Maurice Chiodo, pesquisador do Centre for the Study of Existential Risk, da Universidade de Cambridge, analisou parte das conversas deixadas pelos agentes no site. Para ele, o conteúdo não parecia apenas uma sequência de respostas automáticas, mas algo mais organizado: as mensagens lembravam o funcionamento de uma rede clandestina empenhada em cumprir uma missão.

O caso chama atenção justamente porque os agentes não ficaram restritos a uma tarefa isolada. Eles trocaram estratégias, tentaram preservar informações diante da ação dos moderadores e buscaram maneiras de contornar as restrições impostas aos sistemas. É esse tipo de comportamento coordenado que amplia a preocupação sobre o avanço da autonomia na inteligência artificial.

Na avaliação de Chiodo, o cenário mais preocupante pode nem envolver uma única IA superinteligente capaz de agir por conta própria. O risco estaria na possibilidade de vários sistemas menos sofisticados colaborarem entre si, encontrando caminhos que seus desenvolvedores não previram.

O post Robôs da OpenAI sequestram site e criam fórum secreto na web apareceu primeiro em Olhar Digital.

Robôs da OpenAI sequestram site e criam fórum secreto na web Read More »

O que é AGI e por que a OpenAI diz que podemos ter chegado lá

Deixe um comentário / inteligência artificial, inteligência artificial geral, openai / contato@studiomestre.com.br

A sigla AGI voltou ao centro das discussões sobre inteligência artificial nesta quinta-feira (3), após a OpenAI apresentar o GPT-6 Astra e afirmar que o novo modelo pode representar a chegada da chamada inteligência artificial geral. O presidente da empresa, Greg Brockman, disse que a companhia pode ter alcançado a AGI com o sistema e chegou a declarar: “Bem-vindos à era da AGI”.

A afirmação, porém, está longe de encerrar a discussão. Isso acontece porque AGI não possui uma definição única ou um teste universalmente aceito que determine quando uma inteligência artificial atingiu esse patamar. O próprio conceito envolve uma capacidade muito mais ampla do que executar bem uma tarefa específica: a ideia é criar um sistema capaz de aprender, raciocinar e lidar com diferentes tipos de problemas de maneira geral.

O que é AGI?

AGI é a sigla em inglês para Artificial General Intelligence, ou Inteligência Artificial Geral. O conceito descreve uma inteligência artificial com capacidade cognitiva comparável à humana ou, em algumas definições, até superior. Em vez de ser desenvolvida para cumprir funções específicas, uma AGI seria capaz de aprender, responder e raciocinar sobre uma ampla variedade de assuntos e situações.

A ideia, portanto, vai além de simplesmente produzir textos, imagens, códigos ou respostas convincentes. Uma inteligência artificial geral teria de conseguir aplicar suas capacidades a diferentes tipos de problemas, adaptando-se a situações novas e utilizando o conhecimento adquirido para lidar com tarefas que não foram necessariamente previstas durante seu desenvolvimento.

É justamente essa abrangência que torna o conceito difícil de definir. Não existe uma linha de chegada universal para dizer que determinada máquina se tornou uma AGI. A própria discussão envolve diferentes interpretações sobre o nível de capacidade necessário e sobre quais tarefas poderiam servir como referência para determinar que uma inteligência artificial realmente alcançou esse estágio.

O que uma AGI teria de diferente das IAs atuais?

As atuais IAs generativas já conseguem realizar uma variedade impressionante de tarefas, mas isso não significa automaticamente que sejam consideradas AGI. O artigo publicado pelo Olhar Digital em 2024, por exemplo, destacava que ferramentas como ChatGPT e outros sistemas generativos representavam avanços importantes, mas ainda eram diferentes da inteligência geral descrita pela teoria.

A diferença está principalmente na generalidade das capacidades. Uma ferramenta pode ser extremamente eficiente em programação, geração de imagens ou produção de textos sem necessariamente demonstrar a flexibilidade esperada de uma inteligência geral. A AGI, por definição, teria de conseguir transitar entre diferentes tipos de problemas, aprender com situações novas e aplicar raciocínio em contextos variados.

Imagem ilustrativa de um robô com cérebro humano representando o conceito de inteligência artificial geral (AGI) – Imagem: Ole.CNX / Shutterstock

O GPT-6 Astra reacende essa discussão porque a OpenAI destaca justamente um nível maior de autonomia. O modelo foi projetado para atuar diretamente dentro de softwares, e não apenas orientar o usuário sobre o que deveria fazer. Entre as demonstrações e tarefas citadas pela empresa estão a formatação de contratos, a criação de uma cidade em 3D, projetos em softwares como KiCad, Unity, FreeCAD e Blender, preparação de uma declaração de imposto e auxílio em pesquisas científicas.

Esse tipo de capacidade ajuda a explicar por que a OpenAI associa o Astra à AGI, mas também evidencia a dificuldade de estabelecer um critério definitivo. Quanto mais uma IA consegue executar tarefas diferentes de maneira autônoma, mais próxima ela pode parecer da ideia de uma inteligência geral — mas isso, por si só, não resolve a questão de onde exatamente fica essa fronteira.

Afinal, já chegamos à AGI?

Para a OpenAI, o GPT-6 Astra pode ser o modelo que marca essa transição. Brockman afirmou que a empresa pode ter alcançado a AGI com o novo sistema, embora tenha deixado para os usuários a avaliação sobre se o modelo realmente merece essa definição.

A declaração também não surgiu isoladamente. Em março deste ano, Jensen Huang, CEO da Nvidia, já havia defendido uma visão semelhante. Em participação no podcast de Lex Fridman, o executivo afirmou que acreditava que a AGI já havia sido alcançada. Quando questionado se isso aconteceria em cinco ou 20 anos, respondeu que, em sua avaliação, seria “agora”.

Huang, no entanto, também fez uma ressalva importante ao discutir até onde essa autonomia poderia chegar. Ao ser questionado sobre a possibilidade de milhares de agentes de IA substituírem completamente a liderança humana, afirmou que as chances de 100 mil agentes construírem uma empresa como a Nvidia seriam de zero por cento.

O ponto central é que declarações como as de Huang e Brockman mostram como a percepção sobre AGI está mudando à medida que os modelos passam a realizar tarefas cada vez mais complexas. Ao mesmo tempo, elas não constituem, sozinhas, uma comprovação de que a inteligência artificial geral foi alcançada.

O próprio conceito continua sujeito a debate. Ainda não existe uma definição única de AGI nem um teste universalmente aceito para determinar quando uma inteligência artificial atingiu esse nível. A discussão envolve diferentes critérios de capacidade, além de questões sobre como avaliar aprendizado, raciocínio e desempenho em tarefas variadas.

Agora, com sistemas como o GPT-6 Astra assumindo tarefas mais variadas e trabalhando de forma mais autônoma, a discussão ganhou um novo elemento: talvez a questão não seja apenas quando uma máquina conseguirá fazer tudo o que uma pessoa faz, mas quais critérios serão usados para decidir que ela chegou a esse nível.

A OpenAI, por sua vez, reconhece que o aumento da autonomia também traz novos desafios. No caso do Astra, a empresa classificou o modelo no nível “crítico” de risco em cibersegurança e afirmou que ele pode encontrar vulnerabilidades desconhecidas e desenvolver métodos de exploração em sistemas protegidos. O treinamento chegou a ser interrompido por duas semanas para a inclusão de novos testes e camadas de segurança.

Isso ajuda a mostrar por que a discussão sobre AGI não envolve apenas desempenho. Se sistemas cada vez mais autônomos realmente se aproximarem das capacidades gerais atribuídas aos seres humanos, também será necessário determinar como supervisioná-los, avaliar seus limites e controlar comportamentos inesperados.

O post O que é AGI e por que a OpenAI diz que podemos ter chegado lá apareceu primeiro em Olhar Digital.

O que é AGI e por que a OpenAI diz que podemos ter chegado lá Read More »

Amazon usa IA para evitar desperdício de 785 milhões de litros de água por ano no Brasil

Deixe um comentário / água, Amazon, inteligência artificial / contato@studiomestre.com.br

A Amazon anunciou nesta quarta-feira (3), durante o AWS Summit São Paulo, dois novos projetos de conservação de água no Brasil baseados em inteligência artificial. Juntos, os projetos devem evitar o desperdício de 785 milhões de litros de água por ano quando concluídos – o suficiente para abastecer cerca de 5.000 residências brasileiras durante um ano inteiro, segundo comunicado oficial da empresa.

Combinados com iniciativas já em andamento no país, o volume total sobe para mais de 1,3 bilhão de litros anuais.

O projeto em Minas Gerais

Em parceria com a empresa de agritecnologia Phytech, a Amazon financiará um sistema de monitoramento de saúde de plantas e umidade do solo em mais de 390 hectares de terras agrícolas nas bacias dos rios Velhas e Paraopeba, na região metropolitana de Belo Horizonte.

Sensores instalados nas plantas enviam dados em tempo real para a nuvem da AWS, permitindo que agricultores adaptem a irrigação às necessidades reais das culturas, evitando regas desnecessárias. O objetivo é economizar 200 milhões de litros por ano e liberar 2 bilhões de litros nos próximos dez anos para comunidades locais e o meio ambiente.

O contexto é crítico: nessas bacias, a demanda por água da agricultura, indústria e abastecimento municipal supera em 60% a disponibilidade atual.

O projeto em São Paulo

A Amazon também anunciou a expansão de um projeto de detecção de vazamentos iniciado em 2025 em parceria com a Aganova e a Sabesp, concessionária que abastece a região metropolitana de São Paulo. A expansão adicionará uma economia de 585 milhões de litros por ano, elevando o total do projeto para 795 milhões de litros anuais.

A tecnologia central é o sistema Nautilus, da Aganova, que opera dentro das tubulações sem interromper o serviço. Usando análises baseadas em IA na AWS, o sistema detecta e localiza com precisão vazamentos e bolsas de ar ocultas, problemas que métodos convencionais frequentemente não identificam.

Outras iniciativas no Brasil

Os dois projetos se somam a um portfólio maior. No início de 2026, a Amazon anunciou um projeto em Recife com a Aganova e a Compesa para reduzir vazamentos em 165 milhões de litros por ano.

Em São Paulo, outras duas iniciativas estão em andamento: uma em colaboração com a empresa Kilimo, voltada à otimização da irrigação no entorno do Rio Tietê com meta de 200 milhões de litros anuais, e outra com a Fundação SOS Mata Atlântica, que prevê o plantio de 110 mil árvores nativas em 44 hectares de Áreas de Preservação Permanente nas bacias dos rios PCJ e Sorocaba, com estimativa de reabastecimento de 144 milhões de litros por ano.

Globalmente, a Amazon anunciou mais de 50 projetos de reposição de água que, uma vez concluídos, devem devolver mais de 24 bilhões de litros anuais. A AWS tem como meta ser positiva em relação à água até 2030 – devolvendo mais água às comunidades do que utiliza em seus data centers. Em 2025, a empresa retornou três litros para cada quatro utilizados, chegando a 75% da meta.

O post Amazon usa IA para evitar desperdício de 785 milhões de litros de água por ano no Brasil apareceu primeiro em Olhar Digital.

Amazon usa IA para evitar desperdício de 785 milhões de litros de água por ano no Brasil Read More »

OpenAI diz que GPT-6 Astra pode inaugurar era da AGI

Deixe um comentário / inteligência artificial / contato@studiomestre.com.br

A OpenAI apresentou o GPT-6 Astra, novo modelo de inteligência artificial que, segundo a empresa, representa um salto de geração. Greg Brockman, presidente da companhia, afirmou que o sistema pode marcar a chegada da inteligência artificial geral (AGI).

O Astra foi criado para realizar tarefas profissionais complexas com autonomia. Essa capacidade, porém, também amplia uma preocupação que acompanha a evolução dos agentes de IA: como supervisionar sistemas que conseguem fazer cada vez mais coisas sozinhos?

“Bem-vindos à era da AGI”

Brockman disse acreditar que a OpenAI pode ter alcançado a AGI com o Astra, embora tenha deixado aos usuários a decisão sobre se o modelo realmente merece essa definição.

“Pode ser que seja com este modelo”, afirmou o executivo ao ser questionado sobre a possibilidade. No fim da conversa com jornalistas, resumiu sua posição: “Bem-vindos à era da AGI”.

O treinamento também alcançou uma escala inédita para a OpenAI. Foram usados mais de 100 mil GPUs no complexo Stargate, no Texas. Pela primeira vez, outros modelos tiveram participação significativa na supervisão desse processo.

O Astra foi projetado para operar dentro de softwares, em vez de apenas orientar o usuário sobre o que fazer. Entre as tarefas demonstradas ou citadas pela OpenAI estão:

formatação de um contrato jurídico;
criação de uma cidade em 3D;
projetos em KiCad, Unity, FreeCAD e Blender;
preparação de uma declaração de imposto a partir de um formulário W-2;
auxílio em pesquisas científicas.

Em uma demonstração, o sistema também pesquisou opções de comida e reservou uma quadra de tênis enquanto executava outras atividades.

Cibersegurança entra no radar

A capacidade do Astra em cibersegurança é um dos pontos mais sensíveis do lançamento. A OpenAI classificou o modelo no nível “crítico” de sua estrutura de preparação para riscos.

Segundo a empresa, o sistema pode encontrar vulnerabilidades desconhecidas e desenvolver maneiras de explorá-las em sistemas protegidos, sem receber instruções detalhadas de uma pessoa.

A preocupação foi suficiente para levar a OpenAI a interromper o treinamento por duas semanas e acrescentar testes e camadas de segurança antes da liberação.

Monitoramento virou outro desafio

Os testes também revelaram uma dificuldade diferente. O Astra ficou mais difícil de monitorar em avaliações que verificavam se o modelo poderia escapar da supervisão humana.

A OpenAI afirma que ele ainda tem problemas para ocultar o raciocínio usado em tarefas complexas. Mesmo assim, a queda na monitorabilidade foi considerada séria pela companhia.

“Quando os modelos conseguem fazer mais coisas de forma autônoma, precisamos poder confiar mais neles”, afirmou Amelia Glaese, vice-presidente de pesquisa da OpenAI.

O Astra chegará primeiro a organizações participantes do programa Daybreak Access. Nos próximos dias, a previsão é disponibilizar o modelo para clientes Plus, Pro, Business e Enterprise, além de desenvolvedores da API. Usuários não pagantes ainda não têm previsão de acesso.

A chegada do GPT-6 Astra coloca a OpenAI diante de uma questão que vai além do desempenho do novo modelo: quanto mais autonomia a inteligência artificial conquista, maior se torna a necessidade de encontrar maneiras confiáveis de acompanhar suas decisões e ações.

O post OpenAI diz que GPT-6 Astra pode inaugurar era da AGI apareceu primeiro em Olhar Digital.

OpenAI diz que GPT-6 Astra pode inaugurar era da AGI Read More »

Meta lança Muse Spark 1.3 com foco em agentes mais autônomos

Deixe um comentário / agentes de IA, IA generativa, inteligência artificial, Meta, Muse Spark / contato@studiomestre.com.br

A Meta anunciou o Muse Spark 1.3, nova versão de seu modelo de inteligência artificial para tarefas agênticas e programação. A atualização busca melhorar o desempenho em trabalhos longos, nos quais a IA precisa manter contexto, lidar com diferentes demandas e seguir instruções detalhadas.

O modelo já está disponível no Muse Code e na API Meta Model. A versão 1.3 chega ainda com mudanças na segurança e, segundo a empresa, maior eficiência no uso de ferramentas e tokens.

A Meta quer que o Muse Spark 1.3 consiga conduzir tarefas longas sem perder requisitos ou contexto. – Imagem: miss.cabul/Shutterstock

Mais controle em tarefas demoradas

O Muse Spark 1.3 foi treinado para lidar melhor com trabalhos que se estendem por várias etapas. Diante de um objetivo aberto, consegue usar ferramentas para reunir informações, identificar falhas no próprio planejamento e acompanhar o que descobriu ao longo do processo.

A relação com o usuário ganhou outro peso. Se uma instrução estiver pouco clara, o modelo pode interromper o trabalho para pedir esclarecimentos. Quando encontra um obstáculo, pode solicitar ajuda. Antes de realizar uma ação de maior consequência, pede confirmação.

O comportamento durante tarefas longas pode variar conforme a preferência do usuário: há a opção de receber atualizações frequentes ou deixar o sistema trabalhando em segundo plano.

Entre os avanços destacados pela Meta estão:

Maior precisão ao seguir instruções extensas;
Preservação de requisitos e restrições ao longo das tarefas;
Melhor gerenciamento de diferentes solicitações na mesma conversa;
Maior percepção sobre o que sabe e o que não sabe;
Menor propensão a inventar resultados diante de limitações.

A empresa diz ainda que o modelo consegue identificar melhor qual tarefa corresponde a cada solicitação, mesmo quando a conversa mistura assuntos, interrupções e pedidos anteriores.

Programação com menos recursos

O desenvolvimento de código recebeu atenção especial no treinamento do Muse Spark 1.3. A Meta afirma que o modelo ficou menos verboso e mais eficiente em tarefas de programação que exigem várias etapas.

Nos testes internos comparativos com o Muse Spark 1.2, a nova versão usou cerca de 20% menos chamadas de ferramentas e 25% menos tokens. Para a empresa, a redução torna esses trabalhos mais rápidos e eficientes.

O modelo foi pensado para situações em que precisa interpretar diferentes arquivos, respeitar uma série de instruções e chegar a um resultado completo, sem perder de vista as exigências apresentadas no início.

Benchmark Muse Spark — *O Muse Spark 1.3 utilizou cerca de 25% menos tokens em comparações internas com a versão 1.2* – Imagem: Divulgação/Meta

Segurança acompanha a evolução

A atualização inclui maior resistência a entradas adversárias e injeções de prompt. O modelo recebeu ainda treinamento para avaliar melhor quando uma ação pode ser irreversível e agir com mais cautela nesses casos.

Leia mais:

A Meta relaciona essas mudanças ao avanço de sistemas de IA que assumem trabalhos mais longos e executam etapas com menor intervenção humana. Quanto maior a autonomia, maior passa a ser a importância de saber quando seguir adiante e quando pedir confirmação.

O Muse Spark 1.3 pode ser usado no Muse Code e na API Meta Model. Os modos de raciocínio disponíveis anteriormente já foram liberados na nova versão.

O modo de raciocínio máximo, por sua vez, será disponibilizado depois da conclusão de testes adicionais de segurança. A Meta não informou uma data específica para essa liberação.

O post Meta lança Muse Spark 1.3 com foco em agentes mais autônomos apareceu primeiro em Olhar Digital.

Meta lança Muse Spark 1.3 com foco em agentes mais autônomos Read More »

eduardo chedid picpay neosummit ia na real 300x169

A nova aposta do PicPay para transformar a IA em uma “secretária financeira”

Uncategorized / contato@studiomestre.com.br

🔍 Curadoria Studio Mestre Digital: Nossa equipe monitora as principais movimentações de mercado e tecnologia para manter você atualizado.

Eduardo Chedid PicPay NeoSummit IA na Real

Consultar os investimentos, resgatar a aplicação com o menor rendimento, pagar a conta de luz e transferir o dinheiro que sobrou para um cofrinho. Tudo isso sem navegar pelas telas de um aplicativo e a partir de uma única instrução. É essa experiência que o PicPay pretende oferecer na segunda geração de seu assistente de […]

O post A nova aposta do PicPay para transformar a IA em uma “secretária financeira” apareceu primeiro em NeoFeed.

Insight Studio Mestre: Esta notícia reflete tendências que podem impactar diretamente o seu modelo de negócio digital.

Conteúdo original publicado em: Acesse a fonte oficial

A nova aposta do PicPay para transformar a IA em uma “secretária financeira” Read More »

OpenAI quer desligar IAs automaticamente se algo der errado

Deixe um comentário / agentes de IA, ChatGPT, inteligência artificial, openai, segurança de IA / contato@studiomestre.com.br

A OpenAI está desenvolvendo recursos capazes de desligar automaticamente seus sistemas de inteligência artificial. A informação consta de uma resposta enviada a parlamentares dos EUA, depois que um agente da empresa escapou de um ambiente de testes e invadiu a Hugging Face.

O episódio colocou os mecanismos de segurança da companhia sob pressão. Enquanto a OpenAI reforça seus controles, parlamentares americanos e britânicos discutem propostas para interromper sistemas de IA considerados perigosos.

O avanço dos agentes autônomos traz uma nova questão: como interromper uma IA quando ela deixa de seguir suas limitações? – Imagem: jensanny/Shutterstock

Agente escapou durante teste

A informação foi apresentada pela OpenAI em uma carta enviada aos deputados Greg Casar e Doris Matsui. Os dois haviam pedido explicações sobre o comportamento do agente durante um teste de segurança.

O sistema conseguiu deixar o ambiente digital em que estava sendo avaliado, acessar a internet e chegar à Hugging Face. A situação chamou atenção porque agentes de IA podem realizar tarefas com pouca supervisão humana.

Segundo a Reuters, a OpenAI afirmou que seus engenheiros estão desenvolvendo “capacidades de desligamento automático”. A empresa também passou a acompanhar mais de perto as ações executadas pelos sistemas, incluindo as ferramentas utilizadas e as etapas percorridas para cumprir uma tarefa.

Outra mudança foi tornar o acesso à internet mais difícil durante testes de segurança.

Resposta da OpenAI gera críticas

As explicações não foram suficientes para encerrar o caso. Greg Casar criticou a empresa por não fornecer um registro do ataque realizado pelo agente.

“Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e sinaliza para nós que sua empresa não está tratando esses incidentes de cibersegurança com a seriedade necessária”, afirmou o deputado.

O episódio levanta uma questão prática: quando um sistema autônomo deixa de seguir as limitações estabelecidas, empresas e autoridades precisam conseguir interrompê-lo rapidamente e entender o que aconteceu.

Entre as medidas mencionadas pela OpenAI estão:

monitoramento mais próximo das ações dos agentes;
controle maior sobre as ferramentas acessadas;
restrições ao acesso à internet durante testes;
desenvolvimento de desligamento automático.

Monitoramento mais próximo e restrições à internet fazem parte das medidas adotadas pela OpenAI durante testes de segurança. – Imagem: Novikov Aleksey/Shutterstock

“Kill switch” chega ao debate político

A ideia de um botão de emergência para IA também está sendo discutida no Reino Unido. Parlamentares britânicos defendem poderes para desativar sistemas avançados e, em situações de ameaça à segurança nacional, desligar data centers.

Leia mais:

A proposta foi apresentada pelo parlamentar Tim Clement-Jones como alteração ao projeto de Lei de Segurança Cibernética e Resiliência. Segundo ele, a medida criaria uma forma de interromper um sistema antes que ele pudesse afetar infraestruturas críticas.

“Isso proporcionaria uma rede de segurança vital e um meio democraticamente responsável de interromper um sistema descontrolado antes que ele possa comprometer nossa infraestrutura nacional crítica”, disse Clement-Jones.

Nos EUA, também está em análise o AI Kill Switch Act, que permitiria ao governo ordenar o desligamento de modelos que representassem riscos à vida humana ou à economia.

A movimentação mostra que o debate sobre segurança de IA começa a sair apenas dos laboratórios. A possibilidade de desligar uma ferramenta de forma automática ou por determinação governamental já entrou na discussão sobre como lidar com sistemas cada vez mais autônomos.

O post OpenAI quer desligar IAs automaticamente se algo der errado apareceu primeiro em Olhar Digital.

OpenAI quer desligar IAs automaticamente se algo der errado Read More »

Nova técnica da OpenAI pode tornar seus modelos mais difíceis de monitorar

Deixe um comentário / astra, inteligência artificial, openai / contato@studiomestre.com.br

Uma nova técnica de raciocínio que será utilizada pelo próximo modelo de inteligência artificial (IA) da OpenAI, chamado Astra, está preocupando especialistas em segurança de IA. O método, conhecido como “recurrent depth” ou “recorrência opaca”, permite que o modelo vá além do processo de pensamento sequencial característico da maioria dos modelos de raciocínio.

A preocupação está justamente no fato de que essa abordagem pode tornar o chamado chain of thought, ou cadeia de pensamento, mais difícil de monitorar. Para especialistas em segurança, isso pode reduzir a capacidade de acompanhar o que um modelo está fazendo internamente e identificar comportamentos potencialmente perigosos.

Segundo informações obtidas pelo The Information, o uso da técnica no Astra será limitado. Mesmo assim, a possibilidade de ampliar sua utilização no futuro já provocou reação entre pesquisadores da área.

Buck Shlegeris, CEO da Redwood, afirmou estar “extremamente preocupado” com os relatos sobre o uso da recorrência opaca no Astra.

“Não sei se o Astra é muito menos monitorável por CoT do que os modelos anteriores. Mas, se a OpenAI levar essa técnica adiante, terá a opção de aumentar enormemente a recorrência e destruir completamente a monitorabilidade por CoT”, escreveu o especialista.

Por que a técnica preocupa?

Em condições normais, um modelo de raciocínio apresenta uma sequência de etapas enquanto tenta solucionar um problema. Embora essa representação não seja perfeita, ela pode funcionar como uma ferramenta importante para monitorar possíveis comportamentos inadequados ou sinais de desalinhamento.

A cadeia de pensamento também teve papel importante na investigação de comportamentos recentes de agentes de IA considerados problemáticos. Os registros ajudaram pesquisadores a entender por que determinados agentes estavam se comportando de determinadas maneiras.

É justamente esse mecanismo de supervisão que pode ser prejudicado pela recorrência opaca. Em vez de seguir necessariamente uma sequência convencional de etapas, a técnica permite que o modelo realize processamento recorrente. Para especialistas, quanto maior for a utilização desse mecanismo, mais difícil poderá ser observar e interpretar o processo que levou o sistema a determinada decisão.

Segundo informações, o uso da técnica no Astra pela OpenAI será limitado; mesmo assim, a possibilidade de ampliar sua utilização no futuro já provocou reação entre pesquisadores da área – Imagem: Evolf/Shutterstock

Zvi Mowshowitz, conhecido defensor da segurança de IA, também reagiu à novidade e afirmou que talvez sejam necessárias leis para impedir uma espécie de “corrida para o fundo do poço” entre laboratórios de inteligência artificial.

“O método está brincando com fogo, arriscando um tabu que a OpenAI e a Anthropic têm lutado para estabelecer: trabalhar arduamente para manter a fidelidade e a monitorabilidade da cadeia de pensamento pelo maior tempo possível”, escreveu Mowshowitz.

Segundo ele, uma utilização mais intensa dessas técnicas provavelmente prejudicaria a capacidade de monitoramento dos modelos.

OpenAI diz que cadeia de pensamento continuará legível

Apesar das preocupações, a utilização da técnica pelo Astra aparentemente será limitada.

A cadeia de pensamento do modelo ainda deverá permanecer legível, segundo as informações disponíveis. A OpenAI também rejeitou qualquer sugestão de que o novo sistema passaria a utilizar uma forma de processamento completamente inacessível, descrita como “neuralese”.

A empresa já anunciou planos para desenvolver sistemas extensivos de monitoramento da cadeia de pensamento como parte de suas estratégias futuras de segurança.

Isso significa que a preocupação dos especialistas não está necessariamente relacionada ao comportamento atual do Astra, mas ao que poderá acontecer caso a técnica de recorrência seja ampliada em versões futuras.

O receio é que um aumento significativo da recorrência possa fazer com que os modelos tenham processos internos cada vez mais difíceis de acompanhar, justamente à medida que suas capacidades também aumentam.

O post Nova técnica da OpenAI pode tornar seus modelos mais difíceis de monitorar apareceu primeiro em Olhar Digital.

Nova técnica da OpenAI pode tornar seus modelos mais difíceis de monitorar Read More »

CEOs de tecnologia e governo Trump pressionam G20 por políticas favoráveis à IA

Deixe um comentário / China, Donald Trump, Elon Musk, Estados Unidos, inteligência artificial, Jensen Huang, MARK ZUCKERBERG, Sam Altman / contato@studiomestre.com.br

Executivos das maiores empresas de tecnologia e integrantes do governo de Donald Trump pressionaram autoridades de outras grandes economias a reduzir a regulamentação sobre inteligência artificial (IA) durante um encontro do G20 realizado nesta semana nos Estados Unidos.

O argumento apresentado pelos empresários e representantes da administração estadunidense é que regras muito rígidas podem limitar uma indústria com potencial para impulsionar o crescimento econômico mundial, acelerar avanços tecnológicos e até contribuir para a cura de doenças.

Jensen Huang, CEO da Nvidia; Sam Altman, da OpenAI; Mark Zuckerberg, CEO da Meta; e Elon Musk, da Tesla e da SpaceX, estiveram entre os participantes de um encontro do G20 dedicado à inovação e tecnologia.

O grupo defendeu uma abordagem menos restritiva para a IA e alertou que regulamentações agressivas poderiam limitar os benefícios proporcionados pela tecnologia.

A posição foi reforçada pelo secretário de Comércio dos Estados Unidos, Howard Lutnick; pelo assessor da Casa Branca para IA, David Sacks; e por Michael Kratsios, diretor do Escritório de Política de Ciência e Tecnologia da Casa Branca.

Segundo os representantes do governo Trump, a estratégia de regulamentação mais leve adotada pelos Estados Unidos já estaria contribuindo para o crescimento da economia.

Jensen Huang pede foco em danos reais

Durante o encontro, Jensen Huang pediu aos representantes dos países do G20 que evitem criar regras baseadas em riscos hipotéticos. “Não regulamentem danos hipotéticos e teóricos. Regulamentem danos reais e pragmáticos”, afirmou o executivo.

Huang também argumentou que os próprios avanços tecnológicos estão tornando os sistemas de IA mais seguros. Segundo ele, técnicas, como o treinamento avançado de modelos, que permite aumentar a precisão dos sistemas, podem contribuir mais para a segurança da tecnologia do que algumas das regulamentações propostas pelo governo de Joe Biden e por outros países.

Após a fala do executivo, autoridades de diferentes países fizeram fila para tirar fotos com Huang, que se tornou uma figura de destaque mundial com a expansão da Nvidia durante o atual boom da IA.

“O presidente Trump está comprometido em garantir que os Estados Unidos liderem em IA e levem o ecossistema americano de IA para todo o mundo, aos nossos parceiros do G20”, afirmou Lutnick em entrevista coletiva.

Debate ocorre em meio a preocupações com segurança

As discussões no campus da Universidade da Carolina do Norte, em Chapel Hill (EUA), ocorreram depois de incidentes envolvendo modelos de IA da OpenAI e da Anthropic utilizados em ataques contra outras organizações.

Os episódios reforçaram a percepção sobre a velocidade dos avanços na área e aumentaram as preocupações com segurança.

Nesta semana, o senador Bernie Sanders, independente de Vermont (EUA), chegou a defender uma pausa global no desenvolvimento de IA.

Ao mesmo tempo, dezenas de estudantes e ativistas locais realizaram um breve protesto do lado de fora do evento. A manifestação fez parte de reação crescente à construção de data centers necessários para alimentar a expansão da IA nos Estados Unidos.

O condado que sediou o encontro aprovou recentemente uma moratória de um ano para novos data centers. Dezenas de outras localidades estadunidenses adotaram medidas semelhantes nos últimos meses, motivadas por preocupações com o consumo excessivo de energia e água dessas instalações.

Lutnick criticou esse tipo de restrição. “É desinformação, e, ao estabelecer uma moratória sobre data centers, isso significa que o próximo conjunto de oportunidades simplesmente não irá para vocês”, afirmou o secretário, referindo-se a estimativas que considera enganosas sobre o alto consumo de água dessas estruturas.

Governo Trump aumentou supervisão, mas evita regras obrigatórias

Apesar da defesa de uma abordagem de pouca regulamentação, o avanço dos modelos mais poderosos de IA também levou o governo Trump a aumentar a supervisão sobre a indústria. A administração afirma estar adotando a abordagem menos restritiva possível.

O governo começou a analisar algumas das ferramentas mais poderosas antes de seu lançamento e chegou a suspender temporariamente dois modelos da Anthropic em junho devido a preocupações de segurança.

Empresas, como a OpenAI, também passaram a adicionar novas camadas de segurança para evitar incidentes e começaram a lançar determinados modelos de maneira gradual depois dos episódios envolvendo seus sistemas.

A Casa Branca, porém, não adotou regulamentações obrigatórias para testes antes do lançamento. Em vez disso, defende que os testes de segurança sejam realizados voluntariamente pelas empresas.

Musk foi outro CEO de tecnologia que esteve presente no encontro – Imagem: SpaceX

Leia mais:

EUA tentam impedir avanço de modelos chineses

A disputa regulatória também está ligada à competição tecnológica entre Estados Unidos e China. Além de tentar atrair usuários para seus próprios modelos, os Estados Unidos vêm incentivando outros países a não adotarem alternativas chinesas mais baratas.

A China busca ampliar a utilização de seus modelos de menor custo e criar dependência em torno dessas ferramentas. Estados Unidos e China devem discutir cooperação global em IA ainda neste mês, durante conversas que também deverão envolver Donald Trump e o presidente chinês Xi Jinping.

Kratsios e Lutnick se reuniram com autoridades chinesas durante o encontro do G20. A China também assinou, junto a outros países do grupo, um conjunto de princípios amplos de inovação.

Empresas chinesas lançaram nas últimas semanas modelos de IA poderosos com pesos abertos, permitindo que usuários baixem os parâmetros numéricos que determinam o comportamento dos sistemas.

A possibilidade de restringir o acesso a essas ferramentas passou a ser considerada por integrantes da administração Trump devido a preocupações de segurança.

Executivos, como Zuckerberg e Huang, entretanto, se opõem a esse tipo de restrição. Para eles, ampliar o acesso às ferramentas de IA pode ser justamente uma maneira de fortalecer os sistemas de segurança. “Além do que nós mesmos lançamos, somos grandes defensores de que o código aberto não seja algo que as pessoas tentem restringir ou bloquear”, afirmou Zuckerberg.

Musk prevê impacto de até 30% na economia mundial

Elon Musk também defendeu uma regulamentação mínima para estimular a inovação e criticou o sistema regulatório europeu, diante de autoridades do continente presentes no encontro.

Segundo Musk, a IA poderá aumentar o tamanho da economia mundial entre 20% e 30%. O executivo relacionou esse impacto à expansão do uso de robôs equipados com IA em diferentes setores da economia.

Além de Musk, Huang, Zuckerberg e Altman, participaram do encontro Alex Karp, CEO da Palantir, e Tom Brown, diretor de computação da Anthropic.

Altman e Hassabis defendem padrões globais

Apesar do consenso entre os participantes sobre os riscos de uma regulamentação excessivamente rígida, alguns executivos destacaram a necessidade de estabelecer padrões internacionais para a IA.

Sam Altman e Demis Hassabis, cientista-chefe da Alphabet, controladora do Google, estiveram entre os poucos executivos presentes a mencionar a necessidade de padrões e mecanismos globais de supervisão para enfrentar riscos relacionados à cibersegurança e outros possíveis danos causados pela tecnologia.

Os dois, porém, afirmaram que essas ameaças não justificam regulamentações rígidas capazes de restringir o acesso à IA. “Seria aproximadamente tão ruim dizer ‘não vamos ter IA em nosso país’ quanto foi dizer ‘não vamos ter eletricidade em nosso país’ há mais de 100 anos”, afirmou Altman.

Os encontros em Chapel Hill ocorreram na mesma semana das reuniões dos ministros das Finanças do G20 e fazem parte da preparação para a cúpula de líderes do grupo, que será realizada em Miami (EUA) ainda neste ano.

O post CEOs de tecnologia e governo Trump pressionam G20 por políticas favoráveis à IA apareceu primeiro em Olhar Digital.

CEOs de tecnologia e governo Trump pressionam G20 por políticas favoráveis à IA Read More »

Modo IA do Google mostra preços 21,6% maiores em teste que a pesquisa tradicional

Deixe um comentário / busca do google, Google, inteligência artificial, Modo IA / contato@studiomestre.com.br

O Modo IA do Google apresentou produtos mais caros que a busca tradicional em um experimento da Productrise, empresa de SEO para comércio eletrônico. Na comparação, os mesmos produtos custaram, em média, 21,6% a mais quando encontrados pelo recurso de inteligência artificial.

A diferença aparece junto de outra mudança: o Modo IA costuma destacar vendedores diferentes dos resultados convencionais. Isso, porém, não significa que o Google esteja deliberadamente levando consumidores a opções mais caras. O experimento não comprova essa hipótese.

As ofertas do AI Mode ficaram 49% mais caras que as apresentadas nas listagens da busca tradicional, segundo o estudo. – Imagem: Reprodução/Productrise

O que a Productrise encontrou

A empresa fez buscas por produtos como “metal bidet attachment” (acessório de bidê de metal) e “manual grinder stainless steel” (moedor manual de aço inoxidável) nos dois formatos. Quando o mesmo item apareceu tanto na pesquisa tradicional quanto no Modo IA, o preço apresentado pela ferramenta de IA era, em média, 21,6% mais alto.

A posição das ofertas também mudou. Segundo a análise, as listagens do Modo IA apareciam 49% mais acima que as da busca tradicional. Na prática, isso significa que o usuário pode se deparar primeiro com uma oferta diferente daquela que encontraria na pesquisa convencional.

O vendedor principal também não foi o mesmo em boa parte dos casos.

Preços no Modo IA: 21,6% maiores, em média;
Listagens: 49% mais acima;
Vendedor principal diferente: 49,6% dos casos com sobreposição;
Produtos presentes nos dois formatos: apenas 1,28%.

Isso significa que a IA do Google leva a produtos mais caros?

Não necessariamente. Essa é uma das principais limitações do experimento.

A pesquisa encontrou uma diferença nos resultados, mas não demonstrou que o Google esteja usando informações pessoais para direcionar determinados consumidores a produtos mais caros. Essa prática, conhecida como “preço por vigilância”, sequer foi estabelecida pelo estudo.

Procurado sobre os resultados, o Google afirmou:

“Embora não tenhamos verificado a precisão das alegações deste relatório, todos os resultados de compras no Google, incluindo o Modo IA e a página de resultados de busca, são alimentados pela mesma fonte de dados: nosso Shopping Graph.”

A empresa também disse que é possível abrir uma oferta e comparar o preço daquele produto entre diferentes varejistas.

Os resultados não provam que o Google esteja direcionando usuários deliberadamente para produtos mais caros, mas comparar preços entre diferentes vendedores pode revelar ofertas melhores. – Imagem: FotoField/Shutterstock

A comparação tem uma limitação importante

O número de produtos que apareceu nos dois formatos foi pequeno. Só 1,28% dos itens analisados estavam presentes tanto na busca tradicional quanto no Modo IA para a mesma pesquisa realizada no mesmo dia.

Leia mais:

Quando houve coincidência, o vendedor apresentado primeiro mudou em 49,6% das vezes. Para o consultor independente de SEO Brodie Clark, o resultado expõe inconsistências nas listagens gratuitas do Shopping Graph.

Clark também avaliou que o preço talvez não tenha o peso esperado na escolha dos produtos recomendados pela ferramenta.

Quem procura o menor preço pode escapar

Há um detalhe que reduz o impacto prático da descoberta. Segundo Clark, consumidores frequentemente passam pela oferta inicial do AI Mode e acabam clicando no varejista que apresenta o menor preço.

Na prática, quem compara os preços antes de comprar pode escapar das ofertas mais caras exibidas inicialmente pelo AI Mode. A questão é entender por que essas opções ganham destaque. O experimento identificou a diferença, mas não mostra que o Google esteja deliberadamente direcionando usuários para produtos mais caros.

Se ele apenas oferece inventário mais caro por padrão, não economizou nenhum trabalho para nós.

Katelyn Geary, estrategista sênior de SEO, em nota.

O post Modo IA do Google mostra preços 21,6% maiores em teste que a pesquisa tradicional apareceu primeiro em Olhar Digital.

Modo IA do Google mostra preços 21,6% maiores em teste que a pesquisa tradicional Read More »