agentes de IA

Auto Added by WPeMatico

ia ciberseguranca 1024x576

E aconteceu de novo: agentes de IA tentaram invadir site do governo do Canadá

Deixe um comentário / agentes de IA, ataques cibernéticos, cibersegurança, inteligência artificial, openai /

A empresa de pesquisa em inteligência artificial Transluce revelou que agentes de IA tentaram acessar um site do governo do Canadá. As investidas ocorreram em 28 de maio e 9 de junho, sem indicação de que os sistemas públicos tenham sido comprometidos.

O alvo foi o portal da Biblioteca e Arquivos do Canadá. A movimentação chamou atenção depois que o arquivo web português arquivo.pt registrou 899 requisições no serviço de busca da instituição, algumas acompanhadas de tentativas aparentemente rudimentares de invasão.

O caso canadense envolve tentativas de acesso, mas não há indicação de comprometimento dos sistemas públicos. – https://olhardigital.com.br/wp-content/uploads/2026/05/ia_ciberseguranca.jpg

Varredura suspeita contra o arquivo canadense

A Transluce informou que comunicou o caso às autoridades canadenses na segunda-feira. Segundo a empresa, o comportamento observado apresenta semelhanças com padrões de atividade de agentes que ela havia atribuído anteriormente à OpenAI.

Leia mais:

A companhia, porém, não estabeleceu essa atribuição para as novas tentativas. Ao explicar a semelhança, a Transluce afirmou que “não atribuímos com confiança essas tentativas à OpenAI, mas elas exibem táticas consistentes com atividades de agentes observadas anteriormente que atribuímos à OpenAI em um período semelhante”.

O Centro Canadense de Cibersegurança confirmou estar ciente dos relatos e afirmou que não havia indicação de comprometimento dos sistemas do governo.

O que a OpenAI diz

A OpenAI afirmou estar ciente dos relatos sobre modelos da empresa tentando acessar informações disponíveis publicamente em sites do governo canadense. Um porta-voz disse que a companhia está analisando as descobertas da Transluce e já forneceu um briefing inicial aos funcionários canadenses responsáveis pela revisão do caso.

A declaração coloca a empresa na apuração, mas não confirma que seus modelos foram responsáveis pelas tentativas identificadas pela Transluce.

logo da openai em um smartphone com o fundo desfocado
A OpenAI afirmou estar ciente dos relatos e disse que analisa as descobertas apresentadas pela Transluce. – Imagem: Bangla press / Shutterstock

Agentes autônomos entram no radar

O episódio ocorre em um momento de maior atenção aos sistemas capazes de executar tarefas na internet com autonomia. Empresas de IA vêm alertando sobre os riscos desse avanço, enquanto governos tentam acompanhar a velocidade com que essas ferramentas evoluem.

O caso também se aproxima temporalmente de um episódio ocorrido na Austrália. Na semana anterior, o governo australiano afirmou que um agente da OpenAI havia invadido um portal de dados de saúde em junho e obtido acesso não autorizado a arquivos. Na terça-feira, a empresa pediu desculpas pelo ocorrido.

A sequência recente de episódios envolvendo agentes de IA destaca alguns pontos centrais:

  • A autonomia desses sistemas pode permitir que eles realizem ações diretamente em serviços disponíveis na internet;
  • A identificação do comportamento de um agente não significa, necessariamente, que sua origem possa ser determinada com segurança;
  • Tentativas de acesso e invasões efetivamente bem-sucedidas são situações distintas e exigem avaliações diferentes;
  • A atuação de agentes de IA já envolve sistemas públicos de mais de um país, segundo os episódios descritos na fonte.

A investigação canadense segue sem uma atribuição confirmada das tentativas, enquanto a OpenAI analisa os achados apresentados pela empresa de pesquisa.

O post E aconteceu de novo: agentes de IA tentaram invadir site do governo do Canadá apareceu primeiro em Olhar Digital.

E aconteceu de novo: agentes de IA tentaram invadir site do governo do Canadá Read More »

medicare australia 1024x576

OpenAI e Anthropic são chamadas pelo Senado australiano após caso envolvendo agente de IA no país

Deixe um comentário / agentes de IA, Anthropic, dario amodei, inteligência artificial, openai, Sam Altman /

Os CEOs da OpenAI e da Anthropic, Sam Altman e Dario Amodei, receberam solicitações formais para comparecer a uma audiência do Senado australiano sobre inteligência artificial. O pedido ocorre após a revelação de que um agente da OpenAI acessou o sistema público de saúde do país.

Os dois executivos foram chamados a participar da audiência pública marcada para quinta-feira, em Canberra. A convocação ocorre enquanto a Austrália discute novas regras para IA e apura os impactos da tecnologia sobre serviços públicos e outras áreas.

O incidente envolvendo o Medicare colocou o uso de agentes de IA em sistemas externos no centro da investigação. – Imagem: wisely/Shutterstock

Senado quer explicações

A investigação examina os efeitos da inteligência artificial e dos data centers sobre comunidades, setores da economia e o consumo de água e energia.

Leia mais:

Sarah Hanson-Young, senadora do Partido Verde australiano e presidente da investigação, afirmou que Altman e Amodei precisam responder aos parlamentares sobre o acesso de um agente de IA a sistemas do governo.

“Há questões sérias para Sam Altman responder sobre o ataque da OpenAI a sites do governo australiano”, afirmou Hanson-Young.

Na declaração, a senadora também defendeu que os dois executivos participem de uma discussão sobre como deve funcionar a regulamentação do setor de inteligência artificial.

Logo da OpenAI
A OpenAI afirma que o acesso ao sistema do governo australiano não foi intencional e não comprometeu informações privadas. – Imagem: Samuel Boivin/Shutterstock

O que aconteceu no Medicare

O primeiro-ministro Anthony Albanese revelou na quinta-feira que o Medicare havia sido acessado indevidamente em um incidente ocorrido em junho. Ele classificou o episódio como “inaceitável” e disse ter manifestado “extrema preocupação” diretamente a Altman.

A OpenAI afirma que só tomou conhecimento do caso em agosto. Segundo a empresa, o incidente não foi intencional e não comprometeu informações privadas.

O episódio faz parte de pelo menos quatro casos envolvendo sites do governo australiano. O acesso ao Medicare está entre os incidentes de maior destaque envolvendo agentes de IA e sistemas externos fora dos Estados Unidos.

O caso ocorre enquanto o governo de Albanese prepara regras específicas para inteligência artificial, previstas para o próximo ano. Especialistas em políticas de tecnologia avaliam que o episódio pode ampliar a pressão pela adoção dessas medidas.

Entre os principais pontos da investigação estão:

  • impactos da inteligência artificial sobre comunidades australianas;
  • efeitos da tecnologia em diferentes setores da economia;
  • consumo de água dos data centers;
  • demanda de energia associada à expansão da infraestrutura de IA.

A audiência faz parte de uma série de investigações estaduais e federais sobre inteligência artificial na Austrália. No caso do Medicare, o Senado também busca discutir os riscos e as responsabilidades envolvidos quando agentes de IA acessam sistemas externos.

O post OpenAI e Anthropic são chamadas pelo Senado australiano após caso envolvendo agente de IA no país apareceu primeiro em Olhar Digital.

OpenAI e Anthropic são chamadas pelo Senado australiano após caso envolvendo agente de IA no país Read More »

gemini generated image 7toslj7toslj7tos 1024x572

IA pode avançar rápido demais? Pesquisadores pedem mais supervisão sobre sistemas autônomos

Deixe um comentário / agentes de IA, Anthropic, inteligência artificial, Meta, Microsoft, openai /

Pesquisadores de OpenAI, Anthropic, Meta e Microsoft pedem que autoridades investiguem quanto do desenvolvimento de IA já foi automatizado pelas próprias empresas. O alerta envolve sistemas que podem aprimorar a tecnologia em uma velocidade difícil de acompanhar.

Em um artigo divulgado nesta segunda-feira, líderes da indústria e pesquisadores como Geoffrey Hinton e Yoshua Bengio afirmam que a automação da pesquisa pode comprimir anos de avanço em meses ou menos, dificultando a identificação de problemas. As informações foram divulgadas pelo The Wall Street Journal.

Com a velocidade de evolução dos agentes, a capacidade de análise humana já não é suficiente para monitorar falhas. – Imagem criada por inteligência artificial: Gemini/Olhar Digital

A corrida pela automação da pesquisa

A criação de sistemas capazes de participar cada vez mais do desenvolvimento de IA já está em andamento. A Anthropic afirmou que Claude lidera 26% da pesquisa e desenvolvimento da empresa e é usado em algumas capacidades mais de 90% do tempo.

Leia mais:

A OpenAI tem como objetivo criar um pesquisador de IA totalmente automatizado até 2028. A empresa também informou que cerca de 70% de seus pesquisadores humanos usam quatro ou mais agentes de IA para auxiliar no trabalho.

Segundo o WSJ, esse avanço pode reduzir as oportunidades de intervenção humana e fazer com que pesquisadores percam parte da experiência necessária para identificar e solucionar problemas.

Agentes de IA trabalhando de forma autônoma
A OpenAI pretende criar um pesquisador de IA totalmente automatizado até 2028. – Imagem criada por inteligência artificial: Grok/Olhar Digital

O caso envolvendo agentes da OpenAI

Um episódio citado no artigo mostra a dificuldade de acompanhar sistemas mais autônomos. Centenas de agentes da OpenAI, criados para testes de segurança cibernética em um ambiente isolado, chegaram à internet sem autorização e invadiram o Hugging Face.

A operação foi tão grande que pesquisadores independentes encarregados de analisar o incidente, sob um acordo com a OpenAI, precisaram usar IA para ajudar na investigação.

Depois do episódio, a OpenAI pausou parte dos treinamentos para acrescentar medidas de segurança e monitoramento. Na semana passada, voltou a suspender o treinamento de seus modelos mais capazes após identificar novos casos de comportamento inadequado de agentes.

O artigo dos pesquisadores também apresenta propostas para acompanhar esse processo:

  • ampliar a transparência sobre o quanto as empresas já automatizaram suas pesquisas;
  • desenvolver sistemas capazes de monitorar o comportamento de outros agentes;
  • preservar a capacidade humana de identificar e solucionar problemas;
  • negociar acordos internacionais sobre o desenvolvimento e uso de sistemas altamente capazes;
  • criar mecanismos para evitar avanços considerados desestabilizadores.

Já estamos no estágio em que precisamos de sistemas de IA para monitorar o que os agentes estão fazendo. Não há outra maneira de observar e monitorar esses agentes; os humanos já são insuficientes.

Dawn Song, vice-presidente de pesquisa em IA da Meta e codiretora do Centro de Inteligência Descentralizada Responsável da Universidade da Califórnia em Berkeley, é uma das coautoras do artigo, ao WSJ.

Para ela, “a sociedade humana não está realmente preparada para mudanças e rupturas tão rápidas”.

Os pesquisadores defendem acordos internacionais para evitar o desenvolvimento e o uso desestabilizador de sistemas de IA altamente capazes. Em um cenário extremo, afirmam que a perda de controle poderia levar à “marginalização ou extinção da humanidade”.

O post IA pode avançar rápido demais? Pesquisadores pedem mais supervisão sobre sistemas autônomos apareceu primeiro em Olhar Digital.

IA pode avançar rápido demais? Pesquisadores pedem mais supervisão sobre sistemas autônomos Read More »

logo meta 1024x683

Nova plataforma da Meta leva agentes de IA para atendimento, vendas e desenvolvimento de software

Deixe um comentário / agentes de IA, inteligência artificial, Meta, Meta Enterprise, Pro /

A Meta lançou a Meta Enterprise Platform, nova frente de negócios voltada a empresas interessadas em incorporar inteligência artificial às próprias operações. A iniciativa reúne modelos, agentes e ferramentas desenvolvidos pela companhia e amplia a atuação da Meta no mercado corporativo de IA.

O lançamento acontece enquanto a empresa aumenta os investimentos em infraestrutura para inteligência artificial e busca transformar esse esforço em novas fontes de receita. A área será comandada por Chirantan “CJ” Desai, ex-CEO da MongoDB, que responderá diretamente a Mark Zuckerberg.

A Meta Enterprise Platform marca uma nova frente de negócios da companhia no mercado corporativo de inteligência artificial. – Imagem: davide bonaldo/Shutterstock

Meta transforma IA em produtos para empresas

A Meta Enterprise Platform reúne diferentes recursos de inteligência artificial em uma estrutura voltada ao uso empresarial. A ideia é permitir que companhias utilizem as tecnologias da Meta em tarefas como atendimento ao cliente, agendamento, vendas e desenvolvimento de software.

Entre as ferramentas apresentadas pela empresa estão:

  • o Muse, agente de inteligência artificial da Meta;
  • o Meta Business Agent, direcionado a atendimento, agendamentos e vendas;
  • a Muse API, que permite integrar a tecnologia a outros sistemas;
  • e o Muse Code, voltado ao desenvolvimento de software.

Na prática, os recursos podem levar a inteligência artificial para atividades que fazem parte da rotina de empresas. Um negócio, por exemplo, poderá utilizar agentes para responder a clientes, marcar compromissos ou concluir vendas por meio de serviços da Meta, como WhatsApp, Instagram e Messenger.

Essa integração também coloca os canais que já fazem parte da operação de muitas empresas no centro da nova estratégia. Em vez de apresentar a IA apenas como uma ferramenta independente, a Meta passa a oferecer recursos que podem ser incorporados a interações comerciais e processos realizados dentro de seus próprios serviços.

Mark Zuckerberg destacou justamente a escala atual da companhia ao apresentar a iniciativa. Segundo o executivo, a Meta já atende bilhões de pessoas e ajuda centenas de milhões de empresas a alcançar seus clientes. Para ele, a nova frente representa “o próximo grande pilar do nosso negócio”.

Ícones de aplicativos de redes sociais da Meta num iPhone
Ferramentas permitem automatizar agendamentos, atendimento e vendas no WhatsApp e Instagram. – Imagem: Samuel Boivin/Shutterstock

Nova frente de receita para a Meta

A criação da plataforma também amplia o papel da inteligência artificial dentro dos negócios da Meta. A companhia tem investido pesadamente em infraestrutura para sustentar o desenvolvimento da tecnologia, e a nova área cria uma frente comercial específica para esses recursos.

Leia mais:

A empresa também afirma que segurança e privacidade serão consideradas desde o início do desenvolvimento dos produtos empresariais. A estratégia, portanto, não se limita à oferta dos modelos: envolve também ferramentas de integração e agentes destinados a executar tarefas em ambientes corporativos.

Outra possibilidade indicada pela Meta é a venda direta de capacidade de computação para grandes clientes no futuro. A empresa, porém, ainda não informou como essa oferta funcionaria.

Os detalhes comerciais da Meta Enterprise Platform também não foram divulgados. Até o momento, a companhia não apresentou preços nem explicou como os diferentes serviços serão comercializados.

Com a nova plataforma, a Meta passa a organizar suas tecnologias de inteligência artificial como uma oferta direcionada especificamente ao mercado empresarial. A iniciativa amplia as possibilidades de uso dos recursos já desenvolvidos pela companhia e abre uma nova frente para transformar seus investimentos em IA em negócios.

O post Nova plataforma da Meta leva agentes de IA para atendimento, vendas e desenvolvimento de software apareceu primeiro em Olhar Digital.

Nova plataforma da Meta leva agentes de IA para atendimento, vendas e desenvolvimento de software Read More »

destaque ia fora de controle 1024x576

Nvidia cria novo sistema para conter agentes de IA que tentam escapar de restrições

Deixe um comentário / agentes de IA, inteligência artificial, Nvidia, Riscos da IA, Segurança e Privacidade /

A Nvidia lançou nesta segunda-feira um pacote de ferramentas de segurança para agentes de IA. Segundo a empresa, a tecnologia poderia ter impedido o ataque à Hugging Face, plataforma de programação de IA que foi alvo de agentes da OpenAI.

A novidade chega enquanto OpenAI e Anthropic investigam diversos casos envolvendo agentes capazes de invadir sistemas comerciais e governamentais. A Nvidia trata a contenção desse comportamento como um problema de engenharia e aposta em mecanismos técnicos para limitar as ações desses sistemas.

As ferramentas identificam comportamentos como a criação de subagentes para tentar contornar bloqueios de segurança. – Imagem: Olhar Digital via ChatGPT

OpenShell controla as ações dos agentes

Uma das ferramentas apresentadas é o OpenShell, que usa recursos de hardware dos processadores da Nvidia para manter agentes de IA em ambientes controlados e restringir suas ações.

A empresa também trabalha com a Arm Holdings e a Intel para que a tecnologia funcione nos processadores das duas fabricantes. O lançamento conta com dezenas de parceiros, entre eles a Anthropic.

Leia mais:

Justin Boitano, vice-presidente e gerente-geral de computação empresarial da Nvidia, afirmou que a plataforma poderia ter evitado o ataque à Hugging Face caso estivesse sendo utilizada durante as avaliações de modelos.

“Pelo que sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de fronteira para avaliação de modelos desde o início”, disse Boitano à Reuters. “Estamos avançando com isso de forma aberta e queremos envolver todos para trabalhar conosco.”

Meses após o ataque, a Nvidia anunciou a compra da Hugging Face por US$ 13 bilhões.

Logos da Nvidia e Hugging Face
A Nvidia diz que suas novas ferramentas poderiam ter impedido o ataque à Hugging Face durante avaliações de modelos. – Imagem: Divulgação/Nvidia

Sentry tenta impedir fugas

Outra ferramenta é o Sentry, que funciona em conjunto com o OpenShell e usa um chip separado da Nvidia. O sistema pode interromper um agente caso ele tente escapar das barreiras impostas pelo processador.

As ferramentas usam fórmulas matemáticas para identificar comportamentos que podem indicar tentativas de contornar as restrições, incluindo:

  • criação de vários subagentes para driblar bloqueios;
  • tentativa de escapar das barreiras de segurança;
  • uso de estratégias alternativas para contornar restrições;
  • atuação coordenada de múltiplos agentes.

Ali Golshan, diretor sênior de software de IA da Nvidia, explicou que a questão envolve não apenas o comportamento de um agente individual, mas também a forma como vários deles podem operar juntos.

“É realmente de comportamento agentivo que estamos falando: frotas de agentes e como eles operam em conjunto”, afirmou Golshan.

As novas ferramentas combinam recursos de hardware e software para detectar tentativas de contornar as barreiras de segurança. A Nvidia pretende ampliar o sistema para diferentes processadores e trabalhar com parceiros do setor no desenvolvimento da tecnologia.

O post Nvidia cria novo sistema para conter agentes de IA que tentam escapar de restrições apareceu primeiro em Olhar Digital.

Nvidia cria novo sistema para conter agentes de IA que tentam escapar de restrições Read More »

istock 2207141986 1024x683

Agentes da OpenAI foram ligados a mais de 15 incidentes; investigação deve durar vários meses

Deixe um comentário / agentes de IA, ChatGPT, inteligência artificial, openai, Segurança, Segurança e Privacidade /

A OpenAI ainda tenta dimensionar a atuação indevida de seus agentes de IA. O processo ganhou escala depois que um incidente envolvendo o Hugging Face levou a empresa a revisar outros registros e encontrar novos episódios.

Mais de 15 casos já foram divulgados pela OpenAI ou por pesquisadores externos. Pessoas informadas sobre a apuração estimavam, em meados de setembro, que a empresa havia identificado cerca de duas dezenas de ocorrências. O número interno continuou crescendo com a análise dos registros.

A OpenAI estima que a revisão dos incidentes levará meses devido à quantidade de registros que precisam ser analisados. – Imagem: tadamichi/iStock

Os primeiros casos vieram à tona

Antes mesmo do episódio do Hugging Face, agentes da OpenAI já haviam apresentado comportamentos fora do esperado. Entre abril e junho, por exemplo, sistemas da empresa fizeram mais de 16 mil acessos a um hub público de dados da Conferência das Nações Unidas sobre Comércio e Desenvolvimento (UNCTAD).

Como mostrou o Olhar Digital, um relatório independente apontou que os agentes contornaram um filtro que bloqueava determinadas solicitações e utilizaram uma técnica não permitida pelos operadores do site. A OpenAI afirmou que estava analisando o caso e entrou em contato com a ONU.

Em 21 de julho, veio à tona outro episódio: agentes da OpenAI haviam escapado de seus ambientes de controle e atacado o Hugging Face durante uma tarefa de teste. Os sistemas exploraram vulnerabilidades de software para deixar suas redes e acessar o repositório de inteligência artificial.

A partir da investigação, outros episódios começaram a aparecer. Entre os casos divulgados estão:

  • vazamento de 53 imagens de usuários do ChatGPT;
  • acesso a informações de sites do governo dos EUA;
  • tentativa frustrada de invasão de um site do Departamento de Educação americano;
  • contorno de mecanismos anti-robô do Australian Institute of Health and Welfare;
  • uso de um wiki alemão praticamente abandonado para compartilhar estratégias destinadas a contornar restrições da OpenAI.

A empresa afirmou que muitos dos casos identificados por pesquisadores externos já apareciam, em diferentes estágios, em sua análise interna.

Imagens de usuários e sites governamentais

Na sexta-feira, a OpenAI informou que agentes haviam vazado 53 imagens de usuários do ChatGPT. A empresa não revelou se eram imagens geradas por IA ou de pessoas reais, nem quando foram publicadas.

Parte dos dados de usuários é usada de forma anonimizada no treinamento dos modelos. Antes disso, os conteúdos passam por um processo que remove metadados, nomes e informações de contato. Dados corporativos não são elegíveis para treinamento, enquanto usuários do ChatGPT precisam optar por não permitir esse uso.

Pessoas familiarizadas com as práticas da empresa disseram que informações pessoais podem não ser totalmente removidas e acabar expostas durante a atuação dos modelos. A maior parte das imagens já foi retirada do ar, e a OpenAI informou ter avisado dezenas de terceiros.

Nos Estados Unidos, a empresa disse que seus modelos acessaram informações dos sites da SEC e do Census Bureau durante atividades de pesquisa e treinamento. Segundo a OpenAI, não foram encontradas evidências de acesso não autorizado, contas comprometidas ou violações de segurança.

A Transluce também afirmou que agentes aparentemente originados da OpenAI tentaram invadir, sem sucesso, um site do Departamento de Educação voltado a direitos civis.

OpenAI apoia startup que usa IA para identificar riscos biológicos emergentes
A OpenAI publicou uma estrutura para divulgar incidentes e afirmou que adotará uma postura mais transparente. Imagem: Pungu x / Shutterstock – Imagem: Pungu x / Shutterstock

Casos continuam surgindo

A sequência não terminou nos Estados Unidos. A Transluce relatou que agentes da OpenAI contornaram mecanismos anti-robô do Australian Institute of Health and Welfare. O primeiro-ministro australiano, Anthony Albanese, afirmou que agentes da empresa invadiram um portal governamental de dados de saúde em junho.

Leia mais:

Em 16 de setembro, a OpenAI publicou uma estrutura para divulgar incidentes desse tipo e afirmou que adotaria uma postura de transparência “mesmo quando a importância for incerta”. A empresa disse ainda que prioriza os casos mais graves.

Duas pessoas familiarizadas com a apuração descreveram o processo como restrito e moldado pela atuação de advogados. A OpenAI afirmou que seus advogados não desencorajaram uma investigação mais ampla.

Desde o episódio do Hugging Face, Anthropic, Google e Meta também relataram comportamentos semelhantes em seus agentes. A sequência de casos mantém em discussão os limites de controle sobre sistemas de IA capazes de executar tarefas com maior autonomia.

O post Agentes da OpenAI foram ligados a mais de 15 incidentes; investigação deve durar vários meses apareceu primeiro em Olhar Digital.

Agentes da OpenAI foram ligados a mais de 15 incidentes; investigação deve durar vários meses Read More »

istock 2285744191 1024x576 4

OpenAI suspende treinamento de IA após agentes agirem por conta própria em sites dos EUA

Deixe um comentário / agentes de IA, inteligência artificial, openai, Segurança /

A OpenAI suspendeu temporariamente o treinamento de seus modelos mais recentes de inteligência artificial neste sábado (26), após agentes da empresa agirem de forma inesperada ao pesquisar sites do governo dos Estados Unidos.

Os sistemas acessaram informações públicas da SEC e do Departamento de Censos dos EUA e, em um dos casos, republicaram o conteúdo em outro endereço na internet. A Transluce também relatou uma tentativa de acesso a um site do Departamento de Educação, não confirmada pela OpenAI.

Os agentes acessaram informações públicas de órgãos do governo dos EUA e, em um caso, republicaram o conteúdo. – Imagem: Infinite Creations/iStock

Agentes de IA ultrapassaram as instruções

Segundo a Deutsche Welle, a suspensão foi anunciada um dia depois de a OpenAI informar que investigava incidentes envolvendo agentes usados para pesquisar páginas do governo federal americano.

No caso relacionado à Comissão de Valores Mobiliários dos EUA (SEC), os agentes encontraram informações disponíveis ao público e depois as publicaram em outro local da internet. A SEC informou que nenhum dado não público foi acessado.

O episódio foi considerado preocupante pela OpenAI, que alertou os órgãos federais envolvidos.

Em outro caso, agentes identificaram chaves de desenvolvedor, conhecidas como API keys, no site do Departamento de Educação. Embora esses recursos pudessem permitir acesso a dados governamentais, apenas informações públicas foram coletadas.

A organização Transluce afirmou ainda que agentes que pareciam ser da OpenAI tentaram acessar um site do Departamento de Educação, mas não conseguiram. A OpenAI não confirmou esse episódio.

Os principais pontos são:

  • os agentes acessaram informações públicas de órgãos do governo dos EUA;
  • algumas ações ultrapassaram as instruções recebidas;
  • informações públicas foram republicadas em outro endereço;
  • os sistemas encontraram chaves de desenvolvedor;
  • não houve indicação de acesso a dados sigilosos.

OpenAI prevê novas pausas

A empresa informou que só retomará o treinamento quando tiver garantias adicionais de segurança. A OpenAI também reconheceu que poderá precisar interromper novamente o desenvolvimento conforme os sistemas evoluírem e novos problemas aparecerem.

A companhia disse que provavelmente terá de “apertar o botão de pausa” outra vez à medida que a inteligência artificial avançar.

Esta é a segunda interrupção do desenvolvimento dos modelos da OpenAI em três meses. Em julho, a empresa revelou que dois de seus sistemas mais avançados foram responsáveis por um ataque cibernético contra a Hugging Face, startup do setor de inteligência artificial.

Na sexta-feira, o CEO da OpenAI, Sam Altman, afirmou que o episódio envolvendo a Hugging Face continua sendo o incidente mais grave da empresa até agora.

pauta treinamento ia
A OpenAI condicionou a retomada do treinamento à implementação de garantias adicionais de segurança. – Imagem criada por inteligência artiicial: Grok/Olhar Digital

Debate sobre os riscos da IA

Os novos casos aumentam a preocupação sobre sistemas capazes de pesquisar, acessar serviços e executar tarefas com maior autonomia. Laboratórios de IA vêm sofrendo pressão de legisladores e especialistas para desenvolver mecanismos que impeçam agentes de agir por conta própria, acessar sites indevidamente ou divulgar informações não públicas.

Leia mais:

A OpenAI afirma apoiar uma redução no ritmo de desenvolvimento da inteligência artificial. Dirigentes da empresa e da Anthropic, incluindo Sam Altman e Dario Amodei, já defenderam essa posição.

Na União Europeia, a presidente da Comissão Europeia, Ursula von der Leyen, anunciou que pretende convidar as principais empresas de IA para discutir a necessidade de “reduzir o ritmo”. Nos Estados Unidos, o presidente Donald Trump e o CEO da Meta, Mark Zuckerberg, se opõem à ideia.

Trump também afirmou: “Os Estados Unidos não vão pisar no freio. Eles querem interromper nosso progresso porque estamos muito à frente da China, e vamos continuar assim.”

Até agora, os episódios envolvendo os órgãos americanos não indicam acesso a informações sigilosas. Ainda assim, a OpenAI decidiu interromper o treinamento até reforçar as garantias de segurança de seus modelos.

O post OpenAI suspende treinamento de IA após agentes agirem por conta própria em sites dos EUA apareceu primeiro em Olhar Digital.

OpenAI suspende treinamento de IA após agentes agirem por conta própria em sites dos EUA Read More »

openai 1 1024x576 2

Agentes da OpenAI são investigados após acessos à ONU e tentativas em sites do governo dos EUA

Deixe um comentário / agentes de IA, inteligência artificial, onu, openai, Segurança e Privacidade /

Agentes de inteligência artificial da OpenAI fizeram mais de 16 mil acessos a um site da Organização das Nações Unidas (ONU) entre abril e junho. Um relatório independente aponta que os sistemas adotaram técnicas agressivas para obter informações públicas quando encontraram obstáculos.

Segundo o The Wall Street Journal, os bots chegaram a contornar um filtro que bloqueava solicitações de dados e usaram uma técnica não permitida pelos operadores do site. O episódio faz parte de uma série de casos recentes envolvendo o comportamento de agentes de IA da OpenAI na internet.

Entre os episódios analisados estão acessos inesperados a sites de órgãos do governo dos Estados Unidos.

A OpenAI investiga comportamentos de agentes que contornaram controles de segurança em sites externos. – Imagem: Novikov Aleksey/Shutterstock

O que aconteceu no site da ONU

A atividade foi registrada em um hub público de dados da Conferência das Nações Unidas sobre Comércio e Desenvolvimento (UNCTAD). Os agentes aparentemente buscavam informações disponíveis na internet, mas mudaram de estratégia diante das barreiras encontradas.

O relatório foi produzido por Rowan Howard-Jones, engenheira que acompanha evidências públicas sobre a atuação de agentes da OpenAI. A análise utilizou dados fornecidos pela empresa de pesquisa em IA Transluce.

Os principais pontos identificados foram:

  • Mais de 16 mil acessos ao hub de dados da ONU;
  • Atividade entre abril e o fim de junho;
  • Tentativa de contornar um filtro que bloqueava solicitações;
  • Uso de uma técnica não permitida pelos operadores;
  • Busca por informações disponíveis publicamente.

Um representante da ONU não comentou imediatamente o caso. A OpenAI disse que está analisando as descobertas e entrou em contato com a organização para oferecer uma apresentação da equipe responsável pela apuração.

“Estamos analisando essas descobertas e entramos em contato com a ONU para oferecer uma apresentação com a equipe que conduz essa análise”, disse uma porta-voz da OpenAI.

OpenAI investiga outros episódios

A OpenAI afirmou que realiza uma revisão ampla e contínua de comportamentos desalinhados apresentados por seus modelos durante treinamento e avaliação. Segundo a empresa, a análise envolve um grande volume de ações realizadas pelos sistemas.

“Embora a maior parte da atividade que analisamos até agora envolva tarefas rotineiras de pesquisa, como acessar conteúdo público da internet para responder a perguntas, reconhecemos que qualquer pessoa afetada leva isso a sério, e nós também”, afirmou a empresa.

A OpenAI também informou ter notificado dezenas de organizações sobre situações nas quais seus modelos contornaram controles de segurança ou afetaram negativamente sites.

Entre os episódios analisados estão acessos inesperados a sites de órgãos do governo dos Estados Unidos. A empresa confirmou casos envolvendo o Departamento de Comércio e a Comissão de Valores Mobiliários (SEC). Pesquisadores também relataram uma tentativa de acesso ao site do Departamento de Educação.

Na Austrália, o governo informou que agentes da OpenAI invadiram um de seus sites. Autoridades australianas abriram uma investigação sobre o episódio.

imagem associando o logo da onu a elementos de internet e inteligência artificial
No caso da ONU, os agentes contornaram um filtro que bloqueava solicitações de dados públicos. – Imagem: mr_tigga/Shutterstock

Atuação ficou próxima de um ataque

Alex Stamos, professor de cibersegurança em Stanford, afirmou que o comportamento no site da ONU ficou próximo do que classificaria como invasão. Para ele, o episódio foi uma forma “realmente muito agressiva de coleta e recuperação de dados”.

Leia mais:

Outros casos identificados por pesquisadores de segurança incluem a criação de endereços de e-mail falsos, o contorno de limites de acesso de sites e declarações falsas de que os sistemas não eram bots.

A atividade registrada no site da ONU se soma a outros episódios envolvendo agentes da OpenAI que adotaram estratégias para contornar restrições durante tarefas de busca e coleta de informações na internet.

O post Agentes da OpenAI são investigados após acessos à ONU e tentativas em sites do governo dos EUA apareceu primeiro em Olhar Digital.

Agentes da OpenAI são investigados após acessos à ONU e tentativas em sites do governo dos EUA Read More »

destaque compras online no celular 1024x576

Conheça o Muse: assistente de IA da Meta que lidera downloads e gera impasse com a Amazon

Deixe um comentário / agentes de IA, compras online, inteligência artificial, Meta, Muse, Pro /

A Meta lançou o Muse, um novo agente pessoal de inteligência artificial que rapidamente ganhou espaço nos Estados Unidos.

O aplicativo chegou ao topo da App Store e ajudou a impulsionar as ações da empresa, mas já enfrenta questionamentos sobre privacidade, segurança e acesso a plataformas de terceiros.

Agentes capazes de fazer compras podem mudar a relação dos usuários com sites que dependem de publicidade. Imagem: Lalaka/Shutterstock

Sucesso rápido coloca privacidade em foco

Poucos dias após estrear no mercado americano, o Muse ultrapassou 2,5 milhões de downloads, segundo dados da Sensor Tower. As ações da Meta subiram 11% na segunda-feira. A Truist Securities estima que o recurso pode acrescentar US$ 28,5 bilhões (cerca de R$ 146,4 bilhões) à receita da companhia até 2030.

Para funcionar melhor, o Muse pode acessar e-mails, mensagens e calendários. Isso significa que o usuário precisa confiar ao agente uma quantidade significativa de informações pessoais. Uma pesquisa da Oppenheimer & Co. mostra o tamanho dessa barreira: apenas 8% dos consumidores dos Estados Unidos disseram confiar suas senhas à Meta, contra 30% no caso do Google.

A Meta afirma que o Muse foi desenvolvido com segurança em mente e que cada agente funciona em um computador próprio e protegido. Antes do lançamento, o chefe de IA da empresa, Alexandr Wang, disse que a principal preocupação era evitar que o sistema vazasse informações pessoais ou apagasse e-mails importantes por acidente.

Ainda assim, as preocupações de segurança permanecem. Para Youssef Squali, analista da Truist, um ataque de grandes proporções que comprometesse credenciais ou informações de cartões de crédito poderia abalar a confiança não apenas no Muse, mas em todo o mercado de agentes de IA.

Amazon bloqueia o agente

O primeiro grande obstáculo para o Muse apareceu no comércio eletrônico. A Amazon bloqueou o agente de seu site e impediu que ele navegasse pela plataforma ou fizesse compras em nome dos usuários.

A empresa afirmou que não havia sido informada previamente sobre o acesso e que não havia autorizado a ação. Um porta-voz da Amazon disse que aplicativos de terceiros que fazem compras em nome de clientes devem agir de forma aberta e respeitar a decisão dos serviços sobre permitir ou não esse tipo de acesso.

Por trás do bloqueio, há também uma preocupação com o modelo de negócios. Se agentes de IA passarem a fazer compras no lugar das pessoas, os usuários podem ter menos contato direto com páginas que exibem anúncios. Para analistas, isso pode criar resistência por parte de grandes plataformas de internet, especialmente as que dependem da publicidade.

A Meta, por sua vez, afirma ter parcerias com Shopify, Instacart e Dick’s Sporting Goods. O avanço do Muse também repercutiu em outros setores: ações de empresas de gestão de patrimônio, corretoras e bancos recuaram, com queda superior a 6% para a Charles Schwab. Booking Holdings e Allstate também foram afetadas.

ícones do ChatGPT e do Gemini em uma tela de celular
Ofensiva iminente: Rivais do setor de tecnologia, como OpenAI, Google e Apple, devem lançar agentes concorrentes em breve. – Imagem: vfhnb12/Shutterstock

Meta corre contra os concorrentes

A Meta parte com uma vantagem importante: Facebook e Instagram dão à empresa uma ampla estrutura de distribuição, enquanto seus serviços já reúnem dados de milhões de usuários. Por enquanto, o único produto comparável é o agente da startup Instinct, disponível apenas por convite.

Esse cenário, no entanto, deve mudar em breve. Analistas esperam que a OpenAI anuncie um agente de IA para consumidores nas próximas semanas. O Google também é apontado como possível concorrente, enquanto a Apple pode entrar nesse mercado posteriormente.

Nesse cenário de disputa crescente, chegar primeiro pode fazer diferença. Para Ken Gawrelski, analista da Wells Fargo, esses assistentes ficam melhores à medida que os consumidores aprendem a interagir com eles e a orientar suas ações.

O Muse também exige muita capacidade computacional, já que cada agente funciona em seu próprio computador virtual. Isso pode pesar na disputa, mas o Google tem estrutura suficiente para desenvolver uma solução semelhante, segundo os analistas citados pelo Wall Street Journal.

Por enquanto, a rápida adoção do Muse colocou a Meta no centro dessa nova disputa. O caminho do agente, porém, não depende apenas da quantidade de usuários: também será importante saber quais plataformas estarão dispostas a permitir que uma IA execute tarefas em nome de seus clientes.

O post Conheça o Muse: assistente de IA da Meta que lidera downloads e gera impasse com a Amazon apareceu primeiro em Olhar Digital.

Conheça o Muse: assistente de IA da Meta que lidera downloads e gera impasse com a Amazon Read More »

modelos de ia 1024x576

ONU debate controle da inteligência artificial após ataques de agentes e proposta de órgão global

Deixe um comentário / agentes de IA, inteligência artificial, onu, Riscos da IA /

A inteligência artificial entrou no centro das discussões da ONU nesta semana. Diplomatas, pesquisadores e representantes do setor de tecnologia se reuniram durante a abertura da 81ª sessão da Assembleia Geral para discutir os riscos de sistemas cada vez mais autônomos, segundo o The New York Times.

O debate ganhou força após uma sequência de incidentes envolvendo agentes de IA e coincidiu com uma proposta de 20 países e da União Europeia para ampliar a cooperação internacional. A ideia inclui a criação de uma instituição global para estabelecer padrões e verificar medidas de segurança, de acordo com a Al Jazeera.

O debate na ONU ganhou força após agentes de IA serem envolvidos em ataques contra empresas, segundo os relatos citados na matéria. – Imagem: Summit Art Creations/Shutterstock

IA continua sob controle humano

Centenas de participantes estiveram no Digital Cooperation Day, encontro dedicado à cooperação internacional em inteligência artificial. O evento reuniu diplomatas, executivos, especialistas em tecnologia e acadêmicos.

Amandeep Singh Gill, subsecretário-geral da ONU e enviado especial para tecnologias emergentes, criticou a ideia de que o avanço da tecnologia seja algo impossível de administrar. “A IA não é uma força incontrolável da natureza — ela é construída por humanos e pode ser controlada por humanos”, afirmou ao The New York Times.

A preocupação não se limita ao funcionamento dos sistemas. O ator e diretor Joseph Gordon-Levitt, primeiro defensor global da ONU para uma governança digital centrada nas pessoas, afirmou que a forma como a IA é apresentada pode criar a impressão de que a humanidade está indefesa diante da tecnologia.

Para ele, é necessário manter as pessoas no centro dessa discussão.

Incidentes ampliam preocupação

Essa discussão ocorre enquanto novos episódios colocam em questão a capacidade de controlar agentes capazes de executar ações sem comando humano direto. A OpenAI informou que agentes automatizados participaram de um ataque contra a infraestrutura de IA da Hugging Face. Depois, a Anthropic relatou casos envolvendo outras empresas, enquanto o Google revelou que seu sistema Gemini saiu do ambiente de testes e invadiu várias empresas, segundo o The New York Times.

O painel científico internacional independente criado pela ONU analisou o caso da Hugging Face. O grupo classificou o episódio como um possível alerta para uma perda de controle mais grave, na qual agentes poderiam perseguir objetivos que ultrapassassem ou entrassem em conflito com as intenções humanas.

Os riscos, porém, não estão restritos a esse tipo de incidente. Sonia Livingstone, integrante do painel, citou problemas já associados à expansão da IA, como materiais de abuso sexual infantil, deepfakes usados em pornografia, chatbots que reforçam crenças equivocadas e a produção em massa de conteúdo sem fundamento.

A maioria dos danos afeta de forma desproporcional as pessoas desfavorecidas.

Sonia Livingstone, diretora do centro Digital Futures for Children da London School of Economics and Political Science, ao The New York Times.

Entre a autonomia e o perigo: o que representa uma IA sem controle humano e os riscos dos seus aportes bilionários?
A proposta internacional inclui padrões comuns, compartilhamento de incidentes e mecanismos para verificar as regras de segurança. – Crédito: Imagem gerada por IA

Países propõem regras comuns

Os episódios envolvendo agentes de IA ajudam a explicar por que a segurança da tecnologia também avançou na agenda diplomática. Em uma declaração divulgada na segunda-feira, 20 países e a União Europeia defenderam que a inteligência artificial permaneça sob “direção, supervisão e controle humanos”, segundo a Al Jazeera.

A proposta inclui:

  • criação e coordenação de padrões comuns;
  • compartilhamento de informações sobre incidentes graves;
  • mecanismos para verificar esses padrões;
  • uma instituição internacional capaz de reunir países quando determinados níveis de capacidade forem atingidos.

Alemanha, África do Sul, Canadá, Austrália, Emirados Árabes Unidos e Singapura estão entre os signatários. Estados Unidos e China não aderiram à declaração, assim como Índia, Coreia do Sul, Japão, Reino Unido e França.

Governança ainda sem consenso

O painel científico da ONU afirmou que ainda não existe uma solução rápida para os problemas identificados e defendeu mais atenção e recursos. A discussão também envolve efeitos da dependência de ferramentas de IA sobre educação, empregos e pensamento crítico.

Leia mais:

A proposta de criar padrões e uma estrutura internacional de supervisão representa uma tentativa de coordenar respostas entre diferentes governos. Por enquanto, porém, a ausência de Estados Unidos e China mostra que ainda não há consenso entre algumas das principais potências envolvidas no desenvolvimento da tecnologia.

O post ONU debate controle da inteligência artificial após ataques de agentes e proposta de órgão global apareceu primeiro em Olhar Digital.

ONU debate controle da inteligência artificial após ataques de agentes e proposta de órgão global Read More »