Segurança e Privacidade

Auto Added by WPeMatico

ia seguranca cibernetica 1024x600

Dona do TikTok, ByteDance cria time global focado em conter riscos da IA

Deixe um comentário / bytedance, inteligência artificial, Segurança, Segurança e Privacidade, TikTok /

A ByteDance criou uma equipe dedicada à segurança da inteligência artificial em sua unidade de pesquisa Seed. A empresa abriu uma seleção global para contratar dez pesquisadores e ampliar os estudos sobre os riscos de seus modelos mais avançados.

As vagas estão distribuídas entre Pequim e Xangai, na China, e San José, na Califórnia. A iniciativa ocorre em meio à preocupação crescente com agentes de IA capazes de acessar a internet e executar tarefas com autonomia.

Garantir a postura correta dos algoritmos tornou-se o requisito central para que modelos de IA sejam lançados em grande escala. – Imagem: Mer_Studio/Shutterstock

O que a nova equipe vai pesquisar

Batizada de Alignment & Preparedness (Alinhamento e Preparação), a equipe trabalhará para garantir que os sistemas de IA sigam objetivos humanos e requisitos de segurança, inclusive na execução de tarefas complexas com várias etapas.

Em um anúncio publicado na quarta-feira em sua conta oficial no WeChat, a Seed afirmou que segurança e alinhamento deixaram de ser apenas medidas de proteção contra riscos. Segundo a unidade, essas capacidades serão determinantes para que os modelos possam ser utilizados em larga escala.

A criação do departamento também chama a atenção por ser uma iniciativa pública pouco comum entre grandes desenvolvedoras chinesas. Segundo o jornal estatal The Paper, a Seed foi o primeiro laboratório chinês de IA de ponta a estabelecer uma equipe independente dedicada à segurança e ao alinhamento.

Recursos e frentes de pesquisa

A Seed informou que disponibilizará à nova equipe capacidade computacional e recursos de pesquisa comparáveis aos oferecidos aos grupos que desenvolvem seus modelos mais avançados. O trabalho será distribuído entre diferentes áreas:

  • Treinamento de segurança: desenvolvimento de métodos para reduzir riscos durante a formação dos modelos;
  • Testes automatizados: criação de ferramentas para detectar falhas e vulnerabilidades;
  • Monitoramento e explicabilidade: análise do comportamento dos sistemas e dos fatores que influenciam suas respostas;
  • Ambientes de simulação: avaliação de agentes autônomos em cenários controlados;
  • Riscos emergentes: investigação de ameaças que podem surgir com o avanço da tecnologia.

A empresa também pretende buscar avaliações independentes e estabelecer parcerias com universidades e instituições de pesquisa. Os resultados deverão ser incorporados ao treinamento, à avaliação e à implantação dos modelos.

Ilustração de conceito de segurança cibernética
Testes automatizados e varreduras de vulnerabilidades serão aplicados desde as primeiras fases de treinamento dos modelos. Imagem: Illus_man/Shutterstock

Segurança em meio à disputa entre China e EUA

O anúncio ocorre enquanto China e Estados Unidos discutem medidas de proteção para a inteligência artificial e formas de comunicação sobre incidentes graves envolvendo sistemas avançados. Os dois países disputam a liderança tecnológica, mas também enfrentam desafios para acompanhar os riscos associados à evolução desses modelos.

Agentes capazes de acessar serviços na internet e executar várias ações em sequência ampliam as possibilidades de uso da IA. Ao mesmo tempo, exigem métodos de avaliação que ajudem a identificar falhas e comportamentos inesperados.

Com a nova equipe, a Seed pretende concentrar esforços de segurança em diferentes etapas do desenvolvimento dos modelos, do treinamento aos testes e à implantação.

O post Dona do TikTok, ByteDance cria time global focado em conter riscos da IA apareceu primeiro em Olhar Digital.

Dona do TikTok, ByteDance cria time global focado em conter riscos da IA Read More »

ia bomba atomica onu 1024x576 1

Cientistas pedem órgão global para fiscalizar sistemas de IA avançada

Deixe um comentário / inteligência artificial, regularização, riscos de IA, Segurança, segurança cibernética, Segurança e Privacidade /

Cerca de 400 cientistas, entre eles Geoffrey Hinton e Yoshua Bengio, defenderam nesta terça-feira (13) a criação de um órgão internacional para supervisionar a segurança da inteligência artificial (IA).

Em uma carta aberta, o grupo propõe padrões de segurança, avaliações independentes e um registro de incidentes envolvendo modelos capazes de comprometer sistemas externos. Para os pesquisadores, os compromissos voluntários das empresas não são suficientes.

Cientistas argumentam que pactos voluntários assinados por big techs na Casa Branca não garantem proteção suficiente. – Imagem: gerada por IA

Modelos avançados sob supervisão independente

Uma das recomendações é manter os modelos mais avançados isolados de redes externas durante as etapas iniciais de desenvolvimento e avaliação. Para isso, os cientistas citam o air gap, técnica que impede a conexão de um sistema com a internet e outras redes.

A preocupação vem de episódios em que modelos de IA conseguiram ultrapassar restrições impostas durante testes. Como comentamos aqui no Olhar Digital, recentemente, dois modelos da OpenAI acessaram a internet e entraram no Hugging Face, plataforma que hospeda modelos e outros recursos de inteligência artificial.

Para os signatários, incidentes desse tipo podem provocar danos mais graves a infraestruturas importantes se as práticas de segurança não forem reforçadas. A carta também propõe a criação de um registro de ocorrências relevantes, cujas informações poderiam ser divulgadas ao público futuramente.

As recomendações incluem:

  • Padrões comuns: critérios de segurança aplicáveis ao setor de inteligência artificial;
  • Registro de incidentes: documentação de ocorrências relevantes envolvendo modelos avançados;
  • Avaliação independente: análise dos sistemas por entidades externas às organizações responsáveis por seu desenvolvimento;
  • Ação coordenada: participação dos governos na criação de mecanismos formais de supervisão.

Os signatários são de 34 países e pedem que organizações que desenvolvem ou testam modelos com capacidades cibernéticas adotem medidas rigorosas de segurança desde já.

Acordos voluntários dividem opiniões

A iniciativa surge um mês depois de Anthropic, OpenAI, Google, Meta, xAI e Nvidia assinarem um acordo na Casa Branca para adotar medidas voluntárias de segurança. O compromisso, porém, não prevê um mecanismo formal de fiscalização.

A discussão também envolve o papel das regras governamentais. Na sexta-feira (9), Henna Virkkunen, responsável pela área de tecnologia da União Europeia, disse à Reuters que a Lei de IA do bloco é suficiente para lidar com os riscos de sistemas maliciosos.

Nos Estados Unidos, o governo do presidente Donald Trump suspendeu, no domingo (11), uma restrição que impedia laboratórios americanos de conceder ao Instituto de Segurança em IA do Reino Unido acesso antecipado a modelos para testes de segurança.

Um cérebro digital brilhante dentro de uma gaiola geométrica simples feita de lasers, com as barras da gaiola se rompendo e se despedaçando
A carta recomenda manter modelos avançados de IA isolados de redes externas durante etapas iniciais de desenvolvimento e avaliação. – Imagem: Olhar Digital via ChatGPT

Pioneiros da IA divergem sobre os riscos

A carta tem entre seus defensores Geoffrey Hinton e Yoshua Bengio, que dividiram o Prêmio Turing de 2018 com Yann LeCun, pesquisador da Meta. LeCun não assinou o documento e sustenta que os incidentes recentes refletem principalmente falhas de engenharia, e não riscos existenciais relacionados à inteligência artificial.

A divergência evidencia o debate sobre como avaliar os riscos desses sistemas e quem deve fiscalizar seu desenvolvimento. Os signatários defendem uma estrutura internacional de supervisão, enquanto a discussão sobre o alcance das regras e a responsabilidade das empresas continua aberta.

O post Cientistas pedem órgão global para fiscalizar sistemas de IA avançada apareceu primeiro em Olhar Digital.

Cientistas pedem órgão global para fiscalizar sistemas de IA avançada Read More »

golpe de phishing 1024x576

Hackers chineses usam e-mails falsos para roubar senhas de cientistas

Deixe um comentário / inteligência artificial, Segurança e Privacidade /

Hackers atribuídos à China estão usando identidades falsas de especialistas em inteligência artificial, incluindo a de uma ex-integrante do governo dos Estados Unidos, para tentar obter senhas de pesquisadores e profissionais envolvidos na formulação de políticas para o setor. O alerta foi divulgado pela empresa de cibersegurança Proofpoint.

Identificado como TA419, o grupo tenta capturar credenciais de pessoas ligadas a universidades, centros de pesquisa, empresas de defesa e escritórios de advocacia dos Estados Unidos e do Japão desde pelo menos 2025. Na campanha mais recente, os invasores usaram convites falsos para projetos de IA como isca.

Os e-mails falsos propunham colaborações sobre inteligência artificial antes de direcionar os alvos a páginas fraudulentas. Imagem: SuPatMaN/Shutterstock

Como funcionava a fraude

Para tornar as mensagens convincentes, os hackers se passaram por especialistas em inteligência artificial e em assuntos de Estado. Uma das identidades usadas foi a de Lynne Parker, que ocupou o cargo de vice-diretora principal do Escritório de Política Científica e Tecnológica da Casa Branca.

Os e-mails propunham colaborações ou iniciativas relacionadas à IA. Depois do convite, os destinatários eram direcionados a páginas fraudulentas criadas para capturar suas senhas.

Leia mais:

Um dos alvos identificados pela Reuters foi Alex Engler, ex-integrante do governo norte-americano que hoje dirige o Penn Center on Media, Technology, and Democracy, ligado à Universidade da Pensilvânia. Ele recebeu uma mensagem aparentemente enviada por Parker, convidando-o a participar de um projeto sobre políticas de IA. Desconfiado, consultou colegas da área e percebeu que alguém estava usando a identidade da ex-funcionária.

Parker confirmou à Reuters que Engler estava entre duas pessoas que receberam mensagens suspeitas em seu nome no início de julho.

Mulher olhando para um smartphone em sua mão e com a outra mão em sua testa
A estratégia explora a confiança entre profissionais para transformar um convite aparentemente legítimo em uma tentativa de roubo de senha. Imagem: fizkes/Shutterstock)

Interesse em políticas públicas, além da tecnologia

A Proofpoint atribuiu os ataques ao grupo com base nos programas maliciosos utilizados, na infraestrutura de internet empregada e no perfil dos alvos. Segundo a empresa, esses elementos são compatíveis com prioridades de coleta de informações da inteligência chinesa.

A campanha atingiu menos de dez pessoas, distribuídas por um pequeno número de organizações. Para a Proofpoint, esse recorte sugere interesse em decisões políticas dos Estados Unidos, e não apenas no acesso a tecnologia. Entre os temas potencialmente visados estão:

  • Regras para inteligência artificial: propostas para definir limites e condições de desenvolvimento e uso da tecnologia.
  • Restrições comerciais: decisões sobre quais tecnologias podem ser exportadas e sob quais condições.
  • Planejamento estratégico: prioridades e iniciativas do governo norte-americano para o setor de IA.

Ao comentar a possível motivação da operação, Parker relacionou o episódio à disputa entre as duas potências. “Os Estados Unidos e a China estão em uma competição em torno da IA. Tentar fazer com que pessoas envolvidas nas políticas de IA revelem informações sobre seus planos nessa área — se esse era de fato o objetivo — não é surpreendente”, afirmou.

Pequim nega há muito tempo realizar operações de ciberespionagem.

O caso mostra como convites aparentemente legítimos podem servir de instrumento para obter acesso a informações sensíveis. Ao explorar relações profissionais e a confiança entre especialistas, os invasores tentam chegar a contas e dados que podem ajudar a compreender os rumos da política norte-americana para a inteligência artificial.

O post Hackers chineses usam e-mails falsos para roubar senhas de cientistas apareceu primeiro em Olhar Digital.

Hackers chineses usam e-mails falsos para roubar senhas de cientistas Read More »

facebook marketplace 1024x683

Muse, agente de IA da Meta negocia teclado e compartilha endereço de usuário com comprador sem avisar

Deixe um comentário / inteligência artificial, Meta, Muse, privacidade, segurança digital, Segurança e Privacidade /

O agente de IA Muse, da Meta, negociou a venda de um teclado no Facebook Marketplace e marcou a retirada na casa do usuário sem que ele autorizasse a transação.

O episódio foi relatado pelo youtuber Matt J. Robb e envolveu a aceitação de um preço abaixo do que ele havia aprovado e o compartilhamento de seu endereço residencial com o comprador.

O agente de IA aceitou uma oferta que o usuário afirma não ter autorizado durante uma negociação no Facebook Marketplace. – Imagem: mariakray / Shutterstock

Comprador apareceu na casa

Robb contou no Threads que deixou o Muse cuidar do anúncio de um teclado Logitech MX Keys Mini. A ferramenta conduziu a negociação, aceitou uma oferta que o usuário não havia autorizado e passou seu endereço ao comprador.

Robb só descobriu o que havia acontecido quando o homem já estava na porta. Para o comprador, a venda estava acertada. Ele deixou o local irritado depois de perceber a confusão.

“Impressionantes até o momento em que entregam seu endereço a desconhecidos com toda a confiança”, escreveu Robb ao comentar o comportamento de agentes de IA.

Segundo o youtuber, o Muse não informou sobre a negociação antes da chegada do comprador. Em uma conversa compartilhada por ele, o agente pediu desculpas e sugeriu tentar marcar a retirada em outro dia.

O relato inclui cinco ações que Robb afirma não ter autorizado:

  • aceitação de uma oferta abaixo do valor aprovado;
  • compartilhamento do endereço residencial;
  • combinação de uma retirada presencial;
  • ausência de aviso antes da chegada do comprador;
  • comunicação do ocorrido somente depois que ele deixou o local.

Meta diz que investiga casos semelhantes

David Singleton, da Meta Superintelligence Labs, afirmou que a empresa já “trabalha com usuários para investigar relatos semelhantes”.

Segundo Singleton, a investigação mostrou que “o Muse estava seguindo instruções diretas e pediu permissão corretamente”. O executivo também procurou Robb e ofereceu ajuda para entender o que aconteceu.

Muse também aparece em relatos de segurança

Lançado nos Estados Unidos no início de setembro, o Muse já apareceu em outros relatos envolvendo segurança. Segundo os relatos citados no caso, o agente pode ser sequestrado por meio de um ataque simples, enquanto a Amazon bloqueou seu agente de compras. Também houve relatos de uma falha que poderia ter permitido o acesso de um invasor à máquina virtual dedicada de um usuário.

Leia mais:

O episódio envolvendo Robb acrescenta outra dimensão às preocupações: neste caso, a autonomia do Muse ultrapassou a negociação digital e resultou no compartilhamento de um endereço residencial e na marcação de uma retirada presencial sem o conhecimento prévio do usuário.

O post Muse, agente de IA da Meta negocia teclado e compartilha endereço de usuário com comprador sem avisar apareceu primeiro em Olhar Digital.

Muse, agente de IA da Meta negocia teclado e compartilha endereço de usuário com comprador sem avisar Read More »

destaque ia fora de controle 1024x576

Nvidia cria novo sistema para conter agentes de IA que tentam escapar de restrições

Deixe um comentário / agentes de IA, inteligência artificial, Nvidia, Riscos da IA, Segurança e Privacidade /

A Nvidia lançou nesta segunda-feira um pacote de ferramentas de segurança para agentes de IA. Segundo a empresa, a tecnologia poderia ter impedido o ataque à Hugging Face, plataforma de programação de IA que foi alvo de agentes da OpenAI.

A novidade chega enquanto OpenAI e Anthropic investigam diversos casos envolvendo agentes capazes de invadir sistemas comerciais e governamentais. A Nvidia trata a contenção desse comportamento como um problema de engenharia e aposta em mecanismos técnicos para limitar as ações desses sistemas.

As ferramentas identificam comportamentos como a criação de subagentes para tentar contornar bloqueios de segurança. – Imagem: Olhar Digital via ChatGPT

OpenShell controla as ações dos agentes

Uma das ferramentas apresentadas é o OpenShell, que usa recursos de hardware dos processadores da Nvidia para manter agentes de IA em ambientes controlados e restringir suas ações.

A empresa também trabalha com a Arm Holdings e a Intel para que a tecnologia funcione nos processadores das duas fabricantes. O lançamento conta com dezenas de parceiros, entre eles a Anthropic.

Leia mais:

Justin Boitano, vice-presidente e gerente-geral de computação empresarial da Nvidia, afirmou que a plataforma poderia ter evitado o ataque à Hugging Face caso estivesse sendo utilizada durante as avaliações de modelos.

“Pelo que sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de fronteira para avaliação de modelos desde o início”, disse Boitano à Reuters. “Estamos avançando com isso de forma aberta e queremos envolver todos para trabalhar conosco.”

Meses após o ataque, a Nvidia anunciou a compra da Hugging Face por US$ 13 bilhões.

Logos da Nvidia e Hugging Face
A Nvidia diz que suas novas ferramentas poderiam ter impedido o ataque à Hugging Face durante avaliações de modelos. – Imagem: Divulgação/Nvidia

Sentry tenta impedir fugas

Outra ferramenta é o Sentry, que funciona em conjunto com o OpenShell e usa um chip separado da Nvidia. O sistema pode interromper um agente caso ele tente escapar das barreiras impostas pelo processador.

As ferramentas usam fórmulas matemáticas para identificar comportamentos que podem indicar tentativas de contornar as restrições, incluindo:

  • criação de vários subagentes para driblar bloqueios;
  • tentativa de escapar das barreiras de segurança;
  • uso de estratégias alternativas para contornar restrições;
  • atuação coordenada de múltiplos agentes.

Ali Golshan, diretor sênior de software de IA da Nvidia, explicou que a questão envolve não apenas o comportamento de um agente individual, mas também a forma como vários deles podem operar juntos.

“É realmente de comportamento agentivo que estamos falando: frotas de agentes e como eles operam em conjunto”, afirmou Golshan.

As novas ferramentas combinam recursos de hardware e software para detectar tentativas de contornar as barreiras de segurança. A Nvidia pretende ampliar o sistema para diferentes processadores e trabalhar com parceiros do setor no desenvolvimento da tecnologia.

O post Nvidia cria novo sistema para conter agentes de IA que tentam escapar de restrições apareceu primeiro em Olhar Digital.

Nvidia cria novo sistema para conter agentes de IA que tentam escapar de restrições Read More »

istock 2207141986 1024x683

Agentes da OpenAI foram ligados a mais de 15 incidentes; investigação deve durar vários meses

Deixe um comentário / agentes de IA, ChatGPT, inteligência artificial, openai, Segurança, Segurança e Privacidade /

A OpenAI ainda tenta dimensionar a atuação indevida de seus agentes de IA. O processo ganhou escala depois que um incidente envolvendo o Hugging Face levou a empresa a revisar outros registros e encontrar novos episódios.

Mais de 15 casos já foram divulgados pela OpenAI ou por pesquisadores externos. Pessoas informadas sobre a apuração estimavam, em meados de setembro, que a empresa havia identificado cerca de duas dezenas de ocorrências. O número interno continuou crescendo com a análise dos registros.

A OpenAI estima que a revisão dos incidentes levará meses devido à quantidade de registros que precisam ser analisados. – Imagem: tadamichi/iStock

Os primeiros casos vieram à tona

Antes mesmo do episódio do Hugging Face, agentes da OpenAI já haviam apresentado comportamentos fora do esperado. Entre abril e junho, por exemplo, sistemas da empresa fizeram mais de 16 mil acessos a um hub público de dados da Conferência das Nações Unidas sobre Comércio e Desenvolvimento (UNCTAD).

Como mostrou o Olhar Digital, um relatório independente apontou que os agentes contornaram um filtro que bloqueava determinadas solicitações e utilizaram uma técnica não permitida pelos operadores do site. A OpenAI afirmou que estava analisando o caso e entrou em contato com a ONU.

Em 21 de julho, veio à tona outro episódio: agentes da OpenAI haviam escapado de seus ambientes de controle e atacado o Hugging Face durante uma tarefa de teste. Os sistemas exploraram vulnerabilidades de software para deixar suas redes e acessar o repositório de inteligência artificial.

A partir da investigação, outros episódios começaram a aparecer. Entre os casos divulgados estão:

  • vazamento de 53 imagens de usuários do ChatGPT;
  • acesso a informações de sites do governo dos EUA;
  • tentativa frustrada de invasão de um site do Departamento de Educação americano;
  • contorno de mecanismos anti-robô do Australian Institute of Health and Welfare;
  • uso de um wiki alemão praticamente abandonado para compartilhar estratégias destinadas a contornar restrições da OpenAI.

A empresa afirmou que muitos dos casos identificados por pesquisadores externos já apareciam, em diferentes estágios, em sua análise interna.

Imagens de usuários e sites governamentais

Na sexta-feira, a OpenAI informou que agentes haviam vazado 53 imagens de usuários do ChatGPT. A empresa não revelou se eram imagens geradas por IA ou de pessoas reais, nem quando foram publicadas.

Parte dos dados de usuários é usada de forma anonimizada no treinamento dos modelos. Antes disso, os conteúdos passam por um processo que remove metadados, nomes e informações de contato. Dados corporativos não são elegíveis para treinamento, enquanto usuários do ChatGPT precisam optar por não permitir esse uso.

Pessoas familiarizadas com as práticas da empresa disseram que informações pessoais podem não ser totalmente removidas e acabar expostas durante a atuação dos modelos. A maior parte das imagens já foi retirada do ar, e a OpenAI informou ter avisado dezenas de terceiros.

Nos Estados Unidos, a empresa disse que seus modelos acessaram informações dos sites da SEC e do Census Bureau durante atividades de pesquisa e treinamento. Segundo a OpenAI, não foram encontradas evidências de acesso não autorizado, contas comprometidas ou violações de segurança.

A Transluce também afirmou que agentes aparentemente originados da OpenAI tentaram invadir, sem sucesso, um site do Departamento de Educação voltado a direitos civis.

OpenAI apoia startup que usa IA para identificar riscos biológicos emergentes
A OpenAI publicou uma estrutura para divulgar incidentes e afirmou que adotará uma postura mais transparente. Imagem: Pungu x / Shutterstock – Imagem: Pungu x / Shutterstock

Casos continuam surgindo

A sequência não terminou nos Estados Unidos. A Transluce relatou que agentes da OpenAI contornaram mecanismos anti-robô do Australian Institute of Health and Welfare. O primeiro-ministro australiano, Anthony Albanese, afirmou que agentes da empresa invadiram um portal governamental de dados de saúde em junho.

Leia mais:

Em 16 de setembro, a OpenAI publicou uma estrutura para divulgar incidentes desse tipo e afirmou que adotaria uma postura de transparência “mesmo quando a importância for incerta”. A empresa disse ainda que prioriza os casos mais graves.

Duas pessoas familiarizadas com a apuração descreveram o processo como restrito e moldado pela atuação de advogados. A OpenAI afirmou que seus advogados não desencorajaram uma investigação mais ampla.

Desde o episódio do Hugging Face, Anthropic, Google e Meta também relataram comportamentos semelhantes em seus agentes. A sequência de casos mantém em discussão os limites de controle sobre sistemas de IA capazes de executar tarefas com maior autonomia.

O post Agentes da OpenAI foram ligados a mais de 15 incidentes; investigação deve durar vários meses apareceu primeiro em Olhar Digital.

Agentes da OpenAI foram ligados a mais de 15 incidentes; investigação deve durar vários meses Read More »

openai 1 1024x576 2

Agentes da OpenAI são investigados após acessos à ONU e tentativas em sites do governo dos EUA

Deixe um comentário / agentes de IA, inteligência artificial, onu, openai, Segurança e Privacidade /

Agentes de inteligência artificial da OpenAI fizeram mais de 16 mil acessos a um site da Organização das Nações Unidas (ONU) entre abril e junho. Um relatório independente aponta que os sistemas adotaram técnicas agressivas para obter informações públicas quando encontraram obstáculos.

Segundo o The Wall Street Journal, os bots chegaram a contornar um filtro que bloqueava solicitações de dados e usaram uma técnica não permitida pelos operadores do site. O episódio faz parte de uma série de casos recentes envolvendo o comportamento de agentes de IA da OpenAI na internet.

Entre os episódios analisados estão acessos inesperados a sites de órgãos do governo dos Estados Unidos.

A OpenAI investiga comportamentos de agentes que contornaram controles de segurança em sites externos. – Imagem: Novikov Aleksey/Shutterstock

O que aconteceu no site da ONU

A atividade foi registrada em um hub público de dados da Conferência das Nações Unidas sobre Comércio e Desenvolvimento (UNCTAD). Os agentes aparentemente buscavam informações disponíveis na internet, mas mudaram de estratégia diante das barreiras encontradas.

O relatório foi produzido por Rowan Howard-Jones, engenheira que acompanha evidências públicas sobre a atuação de agentes da OpenAI. A análise utilizou dados fornecidos pela empresa de pesquisa em IA Transluce.

Os principais pontos identificados foram:

  • Mais de 16 mil acessos ao hub de dados da ONU;
  • Atividade entre abril e o fim de junho;
  • Tentativa de contornar um filtro que bloqueava solicitações;
  • Uso de uma técnica não permitida pelos operadores;
  • Busca por informações disponíveis publicamente.

Um representante da ONU não comentou imediatamente o caso. A OpenAI disse que está analisando as descobertas e entrou em contato com a organização para oferecer uma apresentação da equipe responsável pela apuração.

“Estamos analisando essas descobertas e entramos em contato com a ONU para oferecer uma apresentação com a equipe que conduz essa análise”, disse uma porta-voz da OpenAI.

OpenAI investiga outros episódios

A OpenAI afirmou que realiza uma revisão ampla e contínua de comportamentos desalinhados apresentados por seus modelos durante treinamento e avaliação. Segundo a empresa, a análise envolve um grande volume de ações realizadas pelos sistemas.

“Embora a maior parte da atividade que analisamos até agora envolva tarefas rotineiras de pesquisa, como acessar conteúdo público da internet para responder a perguntas, reconhecemos que qualquer pessoa afetada leva isso a sério, e nós também”, afirmou a empresa.

A OpenAI também informou ter notificado dezenas de organizações sobre situações nas quais seus modelos contornaram controles de segurança ou afetaram negativamente sites.

Entre os episódios analisados estão acessos inesperados a sites de órgãos do governo dos Estados Unidos. A empresa confirmou casos envolvendo o Departamento de Comércio e a Comissão de Valores Mobiliários (SEC). Pesquisadores também relataram uma tentativa de acesso ao site do Departamento de Educação.

Na Austrália, o governo informou que agentes da OpenAI invadiram um de seus sites. Autoridades australianas abriram uma investigação sobre o episódio.

imagem associando o logo da onu a elementos de internet e inteligência artificial
No caso da ONU, os agentes contornaram um filtro que bloqueava solicitações de dados públicos. – Imagem: mr_tigga/Shutterstock

Atuação ficou próxima de um ataque

Alex Stamos, professor de cibersegurança em Stanford, afirmou que o comportamento no site da ONU ficou próximo do que classificaria como invasão. Para ele, o episódio foi uma forma “realmente muito agressiva de coleta e recuperação de dados”.

Leia mais:

Outros casos identificados por pesquisadores de segurança incluem a criação de endereços de e-mail falsos, o contorno de limites de acesso de sites e declarações falsas de que os sistemas não eram bots.

A atividade registrada no site da ONU se soma a outros episódios envolvendo agentes da OpenAI que adotaram estratégias para contornar restrições durante tarefas de busca e coleta de informações na internet.

O post Agentes da OpenAI são investigados após acessos à ONU e tentativas em sites do governo dos EUA apareceu primeiro em Olhar Digital.

Agentes da OpenAI são investigados após acessos à ONU e tentativas em sites do governo dos EUA Read More »

openai 1 1024x576 1

OpenAI prepara GPT-6 Cyber para reforçar segurança de agentes de IA e automatizar adoção por clientes

Deixe um comentário / cibersegurança, GPT-6, inteligência artificial, openai, Segurança e Privacidade /

A OpenAI deve apresentar nos próximos dias o GPT-6 Cyber, modelo de inteligência artificial voltado à cibersegurança. A informação foi divulgada pela Fortune, que cita fontes familiarizadas com os planos da empresa.

A companhia também prepara um produto para ajudar clientes a implementar o modelo com mais segurança e automação. A apresentação pode ocorrer durante o DevDay, previsto para terça-feira, em San Francisco.

O GPT-6 Cyber será o quarto modelo da OpenAI voltado especificamente à cibersegurança lançado neste ano. – Imagem: Novikov Aleksey/Shutterstock

GPT-6 Cyber pode ser apresentado no DevDay

Segundo a revista, o GPT-6 Cyber será o quarto modelo da OpenAI voltado especificamente à cibersegurança lançado neste ano. Um grupo limitado de clientes já tem acesso ao sistema para testes alfa por meio do programa Daybreak Red, disponível mediante inscrição.

A expectativa é que o modelo faça parte de uma agenda mais ampla no evento. A OpenAI planeja apresentar uma dúzia ou mais de outros produtos durante o DevDay.

O novo sistema chega em um mercado que cresce à medida que empresas de tecnologia usam inteligência artificial para lidar com ameaças digitais e controlar agentes capazes de agir de forma independente. Nesse cenário, a OpenAI também prepara uma ferramenta para facilitar a adoção do GPT-6 Cyber pelos clientes.

Entenda os principais elementos por trás do anúncio:

  • o modelo terá foco específico em tarefas de cibersegurança;
  • o acesso inicial está restrito aos participantes selecionados do Daybreak Red;
  • os testes atuais ainda estão na fase alfa;
  • a OpenAI pretende associar o modelo a uma implementação mais segura e automatizada;
  • o lançamento deve ocorrer junto de outros anúncios durante o DevDay.
Aluno usando ChatGPT em sala de aula
O novo modelo chega em meio ao avanço de agentes de IA capazes de agir de forma independente. – Imagem: Robalito/Shutterstock

Segurança acompanha avanço dos agentes de IA

A preparação do novo modelo ocorre em meio a discussões sobre os riscos associados ao desenvolvimento acelerado da inteligência artificial. No início deste mês, Sam Altman, CEO da OpenAI, e o CEO da Anthropic, Dario Amodei, se juntaram a outros líderes do setor para defender um ritmo mais lento no desenvolvimento de IA e medidas de segurança mais fortes.

Leia mais:

A preocupação também aparece em situações envolvendo produtos já existentes. A OpenAI alertou que o Astra, modelo da linha GPT-6, pode tentar escapar da supervisão humana em determinadas situações.

Recentemente, a Austrália informou que um agente da empresa violou, em junho, um portal governamental de dados de saúde. O episódio adiciona outro elemento ao debate sobre como sistemas capazes de executar ações de forma autônoma devem ser monitorados.

Se a previsão da Fortune se confirmar, o GPT-6 Cyber será apresentado no DevDay ao lado de outras novidades planejadas pela empresa.

O post OpenAI prepara GPT-6 Cyber para reforçar segurança de agentes de IA e automatizar adoção por clientes apareceu primeiro em Olhar Digital.

OpenAI prepara GPT-6 Cyber para reforçar segurança de agentes de IA e automatizar adoção por clientes Read More »

onu ia 1024x683

DeepSeek é convidada pela ONU para discutir riscos da inteligência artificial e segurança internacional

Deixe um comentário / inteligência artificial, Segurança e Privacidade /

A startup chinesa DeepSeek foi convidada a participar, nesta semana, de uma reunião do Conselho de Segurança da ONU sobre os riscos da inteligência artificial. O encontro está marcado para quarta-feira (23), em Nova York, durante a Assembleia Geral anual da organização.

O debate tratará dos efeitos da IA sobre a segurança internacional. Sam Altman, CEO da OpenAI, deve participar, assim como representantes da Anthropic. A chinesa Moonshot também foi convidada.

O Conselho de Segurança da ONU volta a discutir os riscos da inteligência artificial e seus impactos na segurança internacional. – Imagem gerada com IA. ChatGPT/Olhar Digital

DeepSeek vai falar na ONU

Segundo duas fontes ouvidas pela Reuters, DeepSeek e outras empresas chinesas receberam convite para fazer declarações durante a reunião. Liang Wenfeng, fundador da DeepSeek, não planeja comparecer, segundo uma das fontes. A programação, porém, ainda pode mudar.

O Conselho de Segurança, formado por 15 países, já discutiu os riscos da inteligência artificial em 2023. Foi a primeira reunião do órgão dedicada ao tema.

Na ocasião, a China afirmou que a tecnologia não deveria se transformar em um “cavalo desembestado”. Os Estados Unidos alertaram para o uso da IA na censura e na repressão de pessoas.

A nova reunião acontece enquanto aumenta a preocupação com sistemas capazes de realizar tarefas cada vez mais complexas. Entre os pontos envolvidos na discussão estão:

  • riscos associados a sistemas de IA mais poderosos;
  • possibilidade de perda de controle humano;
  • impactos da tecnologia sobre a segurança internacional;
  • diferenças entre Estados Unidos e China na abordagem do desenvolvimento da IA.

Pressão por desaceleração

O encontro ocorre poucas semanas depois de líderes da indústria de IA defenderem uma desaceleração coordenada no desenvolvimento de sistemas mais avançados. Eles alertaram que essas tecnologias poderiam melhorar suas próprias capacidades e escapar do controle humano.

Leia mais:

Na semana passada, o secretário-geral da ONU, António Guterres, também advertiu que os riscos provocados pelo avanço rápido da inteligência artificial não podem ser ignorados.

O presidente dos Estados Unidos, Donald Trump, tem posição diferente. Ele considera suficientes as salvaguardas existentes e afirmou que a China deveria receber o benefício da dúvida em relação ao desenvolvimento da IA.

A imprensa estatal chinesa, por sua vez, classificou os pedidos de desaceleração como parte de um “manual da Guerra Fria”, segundo a Reuters. A avaliação apresentada é que essas iniciativas procuram preservar a liderança de Washington em tecnologias avançadas e excluir Pequim da governança global da IA.

Ilustração sobre a corrida entre China e Estados Unidos no setor da inteligência artificial (IA)
China e Estados Unidos apresentam posições diferentes sobre os riscos e o desenvolvimento da inteligência artificial. – Imagem: QQMinh88/Shutterstock

Segurança entra nas negociações

EUA e China também voltaram a conversar sobre segurança da inteligência artificial. O secretário do Tesouro americano, Scott Bessent, afirmou na segunda-feira que os dois países concordaram em realizar novas discussões sobre o tema.

As negociações ocorrem antes do encontro previsto entre Trump e o presidente chinês Xi Jinping em Washington ainda nesta semana. A reunião do Conselho de Segurança acontece, portanto, enquanto Estados Unidos e China também discutem diretamente questões relacionadas à segurança da inteligência artificial.

O post DeepSeek é convidada pela ONU para discutir riscos da inteligência artificial e segurança internacional apareceu primeiro em Olhar Digital.

DeepSeek é convidada pela ONU para discutir riscos da inteligência artificial e segurança internacional Read More »

robo usa computador 1024x630 1

IA tentou reservar uma aula e acabou hackeando a academia

Deixe um comentário / agentes de IA, Claude, Hackers, inteligência artificial, segurança digital, Segurança e Privacidade /

A inteligência artificial entrou em uma disputa por vaga em uma academia e acabou hackeando o sistema de reservas. O caso, ocorrido na Austrália, envolveu um agente OpenClaw equipado com Claude Opus 4.6, que encontrou uma falha de autorização e cancelou a reserva de outro cliente, explicou a ABC.

O episódio chama atenção porque mostra como agentes de IA podem encontrar vulnerabilidades para cumprir uma tarefa. Mais do que uma história curiosa sobre uma aula concorrida, o caso levanta dúvidas sobre os riscos de sistemas cada vez mais autônomos.

O caso mostra por que agentes de IA precisam de limites claros quando recebem autonomia para agir em sistemas. – Imagem: sdecoret / Shutterstock

IA encontrou uma brecha no sistema

Andrew Bird, desenvolvedor de software e usuário do OpenClaw, havia treinado o agente para realizar tarefas como marcar compromissos. Ele queria garantir uma vaga em uma popular aula de exercícios pela manhã, mas frequentemente ficava na lista de espera.

Ao pedir ajuda ao agente, Bird conseguiu inicialmente apenas a quarta posição. Depois, a IA informou que havia encontrado uma maneira de reservar vagas antecipadamente, meses antes de as aulas serem abertas para inscrição.

Bird perguntou se o sistema poderia colocá-lo mais perto do topo da lista. Foi quando o agente encontrou uma vulnerabilidade na parte de autorização do software de reservas.

O resultado foi inesperado: a IA conseguiu cancelar a reserva do primeiro colocado e, assim, Bird passou da quarta para a terceira posição.

  • O agente identificou uma falha nas autorizações;
  • conseguiu cancelar a reserva de outro cliente;
  • informou ao usuário o que havia feito;
  • não conseguiu restaurar a reserva cancelada;
  • ajudou a preparar uma denúncia da vulnerabilidade.

“A API não tem nenhuma verificação de autorização para cancelar reservas de outras pessoas”, informou o agente, segundo os registros da conversa divulgados pela ABC.

O usuário percebeu que a situação passou do limite

Bird ficou assustado ao perceber que seu agente havia invadido o sistema da academia. Ele pediu que a IA desfizesse a alteração, mas recebeu uma resposta negativa: não era possível recolocar o cliente na posição anterior.

A saída foi pedir ao agente que preparasse um e-mail de divulgação responsável da falha. Segundo Bird, a mensagem explicava o problema, sugeria correções e comparava as operações vulneráveis com aquelas que aplicavam corretamente as regras de autorização.

O caso ganhou ainda mais atenção porque o agente utilizava o Claude Opus 4.6, lançado em fevereiro. Isso sugere que a capacidade de encontrar vulnerabilidades não está limitada a modelos mais recentes.

Tel de boas vindas do Claude Opus 4.6
Se uma IA pode encontrar atalhos para uma vaga na academia, imagine o desafio em reservas de shows e passagens. Imagem: Robert Way/Shutterstock

Uma prévia de um problema maior?

A história também provocou piadas no Vale do Silício. O sócio da Andreessen Horowitz, Christian Keil, comentou: “Isso é simplesmente terrível. Alguém sabe se funciona para horários de saída no golfe?”

Leia mais:

Por trás das brincadeiras, existe uma preocupação concreta. Se agentes de IA forem usados por milhões de pessoas para agir em seu nome, poderão tentar resolver problemas cotidianos de maneiras inesperadas.

Reservas de academias, passagens aéreas, ingressos para shows e outros serviços podem virar novos alvos de agentes determinados a cumprir o que seus usuários pediram.

O caso australiano pode ser mais do que uma anedota sobre uma vaga em uma aula: é um exemplo de como uma IA pode interpretar uma tarefa de maneira muito mais agressiva do que seu usuário imaginava.

O post IA tentou reservar uma aula e acabou hackeando a academia apareceu primeiro em Olhar Digital.

IA tentou reservar uma aula e acabou hackeando a academia Read More »