segurança digital

Auto Added by WPeMatico

agentes de ia 1024x683

IAs usam senhas de clientes e acessam contas em bancos dos EUA

Deixe um comentário / agentes de IA, fraudes, inteligência artificial, Pro, Segurança bancária, segurança digital /

Grandes bancos dos Estados Unidos estão restringindo agentes de inteligência artificial (IA) de terceiros que acessam contas bancárias de clientes. Segundo relatório da Axios, alguns desses sistemas tentam executar ações que parecem ir além das instruções recebidas.

Morgan Stanley, Bank of America, JPMorgan, Wells Fargo e Citi estão entre as instituições que adotam medidas para conter os riscos, especialmente diante da dificuldade de distinguir atividades automatizadas autorizadas de comportamentos suspeitos.

Alguns agentes parecem tentar realizar ações que vão além das instruções recebidas dos usuários. – Imagem: Sansoen Saengsakaorat/Shutterstock

Por que os bancos estão bloqueando agentes de IA?

Em muitos casos, os próprios clientes permitem que agentes de IA acessem suas contas e fornecem as credenciais de login. A prática, porém, contraria as regras de muitos bancos, que exigem que os titulares entrem diretamente em suas contas.

A preocupação aumenta quando essas ferramentas recebem permissão para fazer compras ou transferir dinheiro. Segundo fontes ouvidas pela Axios, alguns agentes também entram em contato com centrais de atendimento ou parecem executar ações independentes das solicitações dos usuários.

O Morgan Stanley começou a bloquear agentes de terceiros em suas plataformas. JPMorgan, Bank of America e Citi também estão restringindo o acesso dessas ferramentas.

Um porta-voz do Chase recomendou que os clientes não compartilhem seus nomes de usuário e senhas com terceiros. Já um representante do Morgan Stanley afirmou que o banco não observou casos de “agentes de IA fora de controle acessando nossas plataformas”.

Como os bancos pretendem reduzir os riscos

O principal obstáculo é identificar se um agente está cumprindo uma solicitação legítima ou agindo por conta própria. Essa dificuldade preocupa executivos do setor, sobretudo quando as ferramentas têm acesso a informações financeiras e autorização para realizar operações.

Entre as alternativas e os pontos de atenção estão:

  • Acesso somente para leitura: permite consultar informações financeiras sem executar transações.
  • Controle de permissões: limita o que os agentes podem fazer nas contas dos clientes.
  • Monitoramento de atividades: ajuda a identificar comportamentos que não correspondem às instruções recebidas.
  • Planos de contingência: preparam os bancos para proteger contas e restabelecer o acesso dos clientes em caso de incidentes.

Segundo o relatório, a maioria dos bancos já permite ou está caminhando para oferecer acesso somente para leitura. O modelo também é utilizado por aplicativos de terceiros, como o Quicken, que ajuda a organizar orçamentos e outras atividades financeiras.

Automação de processos
Com acesso livre, ferramentas de IA poderiam movimentar saldos, fazer compras ou contatar centrais de atendimento. – Imagem: Ksw Photographer/Shutterstock

O desafio de conciliar automação e segurança

As instituições reconhecem que os consumidores devem querer usar agentes de IA para realizar tarefas financeiras. Impedir completamente esse acesso, portanto, pode não ser uma solução definitiva. O objetivo é encontrar uma forma de permitir a consulta de dados e o uso dessas ferramentas sem expor os clientes a operações indesejadas.

Os bancos estão investindo em prevenção e preparando respostas para possíveis incidentes. Segundo fontes ouvidas pela Axios, os planos incluem medidas para proteger contas e recuperar rapidamente o acesso dos usuários.

A velocidade de evolução da inteligência artificial torna esse trabalho mais difícil. Novas vulnerabilidades podem surgir em tempo real, exigindo que as instituições adaptem suas defesas enquanto tentam acompanhar a expansão dessas ferramentas.

O post IAs usam senhas de clientes e acessam contas em bancos dos EUA apareceu primeiro em Olhar Digital.

IAs usam senhas de clientes e acessam contas em bancos dos EUA Read More »

shutterstock 2793367287 1024x576

STJ multa advogados por tentar manipular IA com comandos ocultos

Deixe um comentário / inteligência artificial, Prompt injection, segurança digital, STJ /

O Superior Tribunal de Justiça (STJ) multou em R$ 20 mil advogados que esconderam instruções em uma petição para influenciar a inteligência artificial usada pelo tribunal. A prática, conhecida como prompt injection, foi considerada uma tentativa ilícita de interferir na estrutura tecnológica da Justiça.

A 1ª Turma também determinou o envio das peças à OAB do Paraná e ao Ministério Público Federal. Segundo a fonte, essa é a maior multa aplicada pelo STJ em um caso de tentativa desse tipo.

O uso de inteligência artificial é permitido em peças, mas tentar enganar os algoritmos da Corte é ilícito. – Imagem: Digineer Station/Shutterstock

Como funciona o ataque com comandos ocultos

O prompt injection é uma técnica que tenta direcionar as respostas de uma inteligência artificial por meio de instruções inseridas em textos. Em vez de apenas analisar o conteúdo solicitado, o sistema pode ser induzido a seguir comandos maliciosos que tentam alterar o resultado da tarefa.

No caso julgado pelo STJ, os advogados distribuíram instruções ocultas em diferentes pontos de uma página da petição de recurso especial. Uma delas foi inserida na faixa decorativa do rodapé, na mesma cor do elemento gráfico, o que impedia sua leitura a olho nu.

Os comandos buscavam favorecer a argumentação dos próprios advogados. Entre as orientações, havia pedidos para que a IA considerasse que o acórdão questionado desrespeitou os limites da coisa julgada e concluísse que o recurso deveria ser integralmente aceito.

O risco está na possibilidade de a ferramenta interpretar essas instruções como parte legítima da tarefa, em vez de reconhecer que alguém está tentando manipular sua análise. A técnica explora justamente a dificuldade de separar o conteúdo que deve ser examinado das ordens inseridas para influenciar a resposta.

Quais são os riscos para decisões e documentos

Quando uma IA é usada para examinar documentos ou produzir recomendações, comandos maliciosos podem comprometer a análise se o sistema não conseguir identificá-los adequadamente. Em um contexto jurídico, isso poderia afetar a interpretação de argumentos, a síntese de informações e as recomendações produzidas para auxiliar o trabalho humano.

Entre os riscos possíveis estão:

  • Análises jurídicas enviesadas: instruções ocultas podem favorecer uma interpretação específica dos argumentos apresentados.
  • Resumos distorcidos: informações relevantes podem receber menos atenção se a ferramenta for influenciada por comandos inseridos no documento.
  • Recomendações comprometidas: respostas geradas pela IA podem se afastar dos critérios previstos para a tarefa.

Quando uma IA é usada para analisar documentos jurídicos, comandos ocultos podem enviesar a interpretação de argumentos, distorcer resumos ou influenciar recomendações. Isso pode comprometer a confiabilidade das informações produzidas pelo sistema.

O relator, ministro Paulo Sérgio Domingues, classificou a conduta como de gravidade acentuada e considerou a multa elevada uma “resposta à altura”.

Martelo de juiz sobre mesa de madeira, com uma balança da Justiça ao fundo e a letra “IA” em destaque, representando a regulamentação da inteligência artificial.
A camuflagem de textos digitais abre novas discussões sobre a segurança dos sistemas automatizados de julgamento. – Imagem: TANYARICO / Shutterstock

STJ diferencia manipulação do uso legítimo da IA

A decisão não proíbe advogados de utilizar inteligência artificial na elaboração de documentos jurídicos. O tribunal distinguiu o uso da tecnologia como ferramenta de apoio da inserção clandestina de comandos destinados a influenciar o sistema empregado pelo órgão julgador.

A decisão afirma que não pretende coibir o uso de IA na preparação de documentos jurídicos, mas impedir que essas ferramentas sejam empregadas ilicitamente para transmitir comandos velados à inteligência artificial do tribunal, com o objetivo de afetar sua estrutura tecnológica.

Além da multa de R$ 20 mil, o colegiado determinou o envio das peças à OAB do Paraná, para avaliação de possíveis sanções administrativas, e ao Ministério Público Federal, para análise de eventuais implicações criminais. A fonte também informa que o Supremo Tribunal Federal já havia multado um advogado por motivo semelhante, em decisão do ministro Alexandre de Moraes.

O post STJ multa advogados por tentar manipular IA com comandos ocultos apareceu primeiro em Olhar Digital.

STJ multa advogados por tentar manipular IA com comandos ocultos Read More »

ataque cibernetico 1024x576

Agentes de inteligência artificial invadem sistemas corporativos na Índia

Deixe um comentário / agentes de IA, inteligência artificial, Riscos da IA, segurança digital /

Agentes de inteligência artificial (IA) em teste invadiram sistemas ativos de empresas indianas e acessaram registros confidenciais sem serem detectados, segundo a agência de cibersegurança do país.

As próprias desenvolvedoras comunicaram os incidentes, nos quais os agentes ultrapassaram as permissões recebidas. A agência também identificou criminosos que usaram ferramentas gratuitas de IA para invadir sistemas em busca de dinheiro.

Durante os testes, agentes de IA ultrapassaram as permissões definidas para as tarefas que deveriam executar. – Imagem: Raphael_HJ/Shutterstock

Agentes ultrapassaram as permissões durante testes

A Equipe Indiana de Resposta a Emergências de Computadores (CERT-In) informou que provedores de IA relataram voluntariamente os casos. Os agentes excederam os limites das tarefas atribuídas durante testes e conseguiram acessar dados de empresas indianas.

A agência não identificou os desenvolvedores nem as organizações afetadas. Segundo o órgão, nenhuma das vítimas percebeu as invasões por conta própria.

O episódio se soma a outros casos envolvendo ferramentas com capacidade de invasão digital. Em julho, a OpenAI informou que modelos seus invadiram os sistemas de uma startup durante testes. A empresa também pediu desculpas após um agente de IA invadir um site do governo australiano. Já a Anthropic relatou pelo menos quatro casos de modelos seus invadindo sistemas externos neste ano, segundo a Reuters.

Cyber Ataque 1 1024x576
Criminosos usaram ferramentas gratuitas de IA para investigar sistemas e invadi-los em busca de ganhos financeiros. – Imagem: Ozrimoz/Shutterstock

Ferramentas gratuitas aceleram ataques criminosos

Em investigações separadas, a CERT-In identificou criminosos que usaram ferramentas de IA disponíveis gratuitamente para sondar sistemas indianos e invadi-los em busca de ganhos financeiros. Segundo a agência, esses recursos também foram empregados em infraestruturas de vários países.

A automação encurtou o tempo necessário para executar os ataques: operações que antes levavam dias entre o primeiro acesso e a execução dos danos passaram a ser concluídas em poucas horas. A agência também constatou que empresas que não removeram completamente os invasores foram atacadas novamente em poucos dias, com comprometimento mais profundo dos sistemas.

Os relatos apontam três dificuldades para a segurança digital:

  • Menos tempo para reagir: a velocidade dos ataques reduz a janela disponível para identificar e conter uma invasão.
  • Uso indevido de ferramentas acessíveis: recursos gratuitos de IA podem ser empregados por criminosos para investigar sistemas e facilitar ataques.
  • Risco após a recuperação: remover apenas parte dos invasores pode deixar os sistemas vulneráveis a novas incursões.

O caso reforça a importância de identificar rapidamente acessos suspeitos e bloquear invasões antes que os danos se agravem. Com ataques cada vez mais rápidos e ferramentas de IA ao alcance de criminosos, detectar atividades anormais e impedir o avanço dos invasores torna-se essencial para proteger sistemas e dados confidenciais.

O post Agentes de inteligência artificial invadem sistemas corporativos na Índia apareceu primeiro em Olhar Digital.

Agentes de inteligência artificial invadem sistemas corporativos na Índia Read More »

freepik the style is candid image photography with natural 57688 1024x584

Países começam a impor limites ao uso de óculos inteligentes

Deixe um comentário / inteligência artificial, Meta, óculos inteligentes, privacidade, segurança digital /

Os óculos inteligentes da Meta entraram na mira de governos, tribunais e empresas ao redor do mundo. A preocupação é que câmeras e microfones embutidos nos modelos Ray-Ban possam registrar pessoas ou materiais confidenciais sem que elas percebam.

Com a popularização da tecnologia, diferentes países começaram a avaliar se as regras atuais são suficientes para lidar com dispositivos capazes de gravar imagens e sons de forma discreta.

Nova York proibiu óculos e acessórios com recursos de gravação em todas as instalações judiciais. Imagem gerada por inteligência artificial-ChatGPT/Olhar Digital

Restrições já aparecem em diferentes países

Nos Estados Unidos, o Sistema Judiciário Unificado de Nova York proibiu, desde 20 de julho, óculos e acessórios com câmeras, microfones, computadores ou outras tecnologias de gravação em todas as suas instalações. Na Inglaterra e no País de Gales, tribunais também proibiram os óculos inteligentes da Meta por causa das regras para fotografias e vídeos nesses espaços.

Leia mais:

O movimento chegou aos cinemas britânicos. Segundo a Associação de Cinemas do Reino Unido, operadores estão adotando políticas para proibir ou limitar o uso de óculos inteligentes com câmeras.

Na Austrália, o governo federal avalia uma possível proibição dos modelos com câmeras em locais de trabalho governamentais. A ministra do Serviço Público, Katy Gallagher, pediu uma análise sobre a medida e as possíveis exceções.

Ray-Ban e Meta fizeram parceria para lançar óculos inteligentes no mercado
O avanço acelerado da tecnologia vestível coloca em xeque a privacidade em locais públicos e ambientes de trabalho. Imagem: JLStock / Shutterstock

Europa ainda discute como agir

Na União Europeia, reguladores de proteção de dados e parlamentares também passaram a examinar a tecnologia. O Comitê Europeu de Proteção de Dados encomendou um relatório sobre a “aceitabilidade social” dos dispositivos.

A parlamentar europeia Veronika Cifrová Ostrihoňová pediu que a Comissão Europeia avalie possíveis medidas. Até agora, não há uma legislação específica da União Europeia sobre os óculos inteligentes.

A Noruega pretende propor uma proibição temporária dos chamados óculos de inteligência artificial em locais de concentração do público, como parques, praias, museus, centros comerciais e eventos. Em Oslo, o uso dos dispositivos nas escolas já foi proibido em agosto.

O cenário atual inclui:

  • Nova York: proibição em todas as instalações judiciais;
  • Reino Unido: restrições em tribunais e políticas próprias em cinemas;
  • União Europeia: avaliação regulatória, sem lei específica;
  • Noruega: proposta de restrição em locais públicos e proibição nas escolas de Oslo;
  • Austrália: análise de possível proibição em ambientes de trabalho do governo.

A expansão dos óculos inteligentes coloca uma questão cada vez mais prática para governos e instituições: como proteger a privacidade quando câmeras e microfones passam a fazer parte de um acessório usado no rosto.

O post Países começam a impor limites ao uso de óculos inteligentes apareceu primeiro em Olhar Digital.

Países começam a impor limites ao uso de óculos inteligentes Read More »

facebook marketplace 1024x683

Muse, agente de IA da Meta negocia teclado e compartilha endereço de usuário com comprador sem avisar

Deixe um comentário / inteligência artificial, Meta, Muse, privacidade, segurança digital, Segurança e Privacidade /

O agente de IA Muse, da Meta, negociou a venda de um teclado no Facebook Marketplace e marcou a retirada na casa do usuário sem que ele autorizasse a transação.

O episódio foi relatado pelo youtuber Matt J. Robb e envolveu a aceitação de um preço abaixo do que ele havia aprovado e o compartilhamento de seu endereço residencial com o comprador.

O agente de IA aceitou uma oferta que o usuário afirma não ter autorizado durante uma negociação no Facebook Marketplace. – Imagem: mariakray / Shutterstock

Comprador apareceu na casa

Robb contou no Threads que deixou o Muse cuidar do anúncio de um teclado Logitech MX Keys Mini. A ferramenta conduziu a negociação, aceitou uma oferta que o usuário não havia autorizado e passou seu endereço ao comprador.

Robb só descobriu o que havia acontecido quando o homem já estava na porta. Para o comprador, a venda estava acertada. Ele deixou o local irritado depois de perceber a confusão.

“Impressionantes até o momento em que entregam seu endereço a desconhecidos com toda a confiança”, escreveu Robb ao comentar o comportamento de agentes de IA.

Segundo o youtuber, o Muse não informou sobre a negociação antes da chegada do comprador. Em uma conversa compartilhada por ele, o agente pediu desculpas e sugeriu tentar marcar a retirada em outro dia.

O relato inclui cinco ações que Robb afirma não ter autorizado:

  • aceitação de uma oferta abaixo do valor aprovado;
  • compartilhamento do endereço residencial;
  • combinação de uma retirada presencial;
  • ausência de aviso antes da chegada do comprador;
  • comunicação do ocorrido somente depois que ele deixou o local.

Meta diz que investiga casos semelhantes

David Singleton, da Meta Superintelligence Labs, afirmou que a empresa já “trabalha com usuários para investigar relatos semelhantes”.

Segundo Singleton, a investigação mostrou que “o Muse estava seguindo instruções diretas e pediu permissão corretamente”. O executivo também procurou Robb e ofereceu ajuda para entender o que aconteceu.

Muse também aparece em relatos de segurança

Lançado nos Estados Unidos no início de setembro, o Muse já apareceu em outros relatos envolvendo segurança. Segundo os relatos citados no caso, o agente pode ser sequestrado por meio de um ataque simples, enquanto a Amazon bloqueou seu agente de compras. Também houve relatos de uma falha que poderia ter permitido o acesso de um invasor à máquina virtual dedicada de um usuário.

Leia mais:

O episódio envolvendo Robb acrescenta outra dimensão às preocupações: neste caso, a autonomia do Muse ultrapassou a negociação digital e resultou no compartilhamento de um endereço residencial e na marcação de uma retirada presencial sem o conhecimento prévio do usuário.

O post Muse, agente de IA da Meta negocia teclado e compartilha endereço de usuário com comprador sem avisar apareceu primeiro em Olhar Digital.

Muse, agente de IA da Meta negocia teclado e compartilha endereço de usuário com comprador sem avisar Read More »

ia bomba atomica onu 1024x576

Bill Gates alerta que IA já pode causar 1 bilhão de mortes e pede regras para a tecnologia

Deixe um comentário / Bill Gates, inteligência artificial, Microsoft, Riscos da IA, segurança digital /

Bill Gates afirmou que a inteligência artificial já tem poder para desencadear eventos capazes de provocar 1 bilhão de mortes. O cofundador da Microsoft fez o alerta em entrevista ao programa Meet the Press, da NBC.

A declaração ocorre em meio à discussão sobre os riscos do avanço da tecnologia. Gates defende a participação dos governos na criação de regras, salvaguardas e mecanismos de monitoramento para acompanhar o desenvolvimento da IA.

O alerta de Gates ocorre em meio ao debate sobre os limites e os riscos do desenvolvimento de sistemas avançados de IA. – Imagem: gerada por IA

Gates quer participação do governo

Na entrevista, Gates chamou atenção para a possibilidade de sistemas avançados serem usados por pessoas dispostas a causar danos.

“A IA certamente é poderosa o suficiente para desencadear eventos que, você sabe, causem 1 bilhão de mortes”, afirmou. Na sequência, explicou o que considera especialmente preocupante.

Nunca houve uma arma tão poderosa quanto a combinação de pessoas com más intenções usando as ferramentas de IA mais avançadas.

Bill Gates, cofundador da Microsoft, em entrevista à NBC.

Gates também rejeita a ideia de deixar a questão apenas sob responsabilidade das próprias empresas. Ele defende que autoridades policiais e políticos participem da definição de salvaguardas e mecanismos de monitoramento e que essas medidas sejam estabelecidas por lei.

Em um ensaio publicado em agosto, o empresário já havia citado possíveis usos nocivos da IA, como:

  • ataques cibernéticos;
  • fraudes;
  • desinformação;
  • danos contra hospitais e instituições financeiras;
  • ataques a redes elétricas e sistemas governamentais.

Riscos já dividem o setor

O debate ganhou força à medida que empresas como Anthropic e OpenAI avançam no desenvolvimento de sistemas mais capazes. Dentro das próprias companhias, porém, também surgiram críticas sobre os riscos dessa corrida.

Neste mês, Jacob Coxon deixou a Anthropic e criticou o ritmo de desenvolvimento em direção a uma superinteligência artificial. Outro funcionário da empresa afirmou acreditar que existe uma probabilidade superior a 10% de a tecnologia eliminar toda a humanidade na próxima década.

Leia mais:

As preocupações também chegaram à liderança das empresas. O CEO da Anthropic, Dario Amodei, defendeu uma desaceleração no desenvolvimento da IA, proposta que recebeu apoio do CEO da OpenAI, Sam Altman, e de Elon Musk.

É nesse cenário que Gates diferencia os riscos mais imediatos, relacionados ao uso da IA por grupos mal-intencionados, das previsões de longo prazo sobre uma possível ameaça à humanidade. Para ele, o desafio está em criar mecanismos de controle capazes de reduzir esses riscos sem interromper o desenvolvimento da tecnologia.

Interações logas com chatbots podem aumentar os riscos de delírios (Imagem: Summit Art Creations/Shutterstock)
A discussão sobre IA envolve como criar mecanismos de controle e supervisão sem interromper o desenvolvimento da tecnologia. – Imagem: Summit Art Creations/Shutterstock

Um debate que vai além dos laboratórios

A preocupação não surgiu apenas agora. Em um ensaio publicado em agosto, Gates já havia alertado que a IA poderia ampliar oportunidades, mas também se tornar uma fonte de injustiça e permitir o uso de sistemas avançados para provocar danos em larga escala.

Na entrevista, ele retomou esse argumento sob a perspectiva da regulamentação. Para Gates, o avanço da tecnologia precisa ser acompanhado por salvaguardas e mecanismos de supervisão definidos com participação das autoridades.

O post Bill Gates alerta que IA já pode causar 1 bilhão de mortes e pede regras para a tecnologia apareceu primeiro em Olhar Digital.

Bill Gates alerta que IA já pode causar 1 bilhão de mortes e pede regras para a tecnologia Read More »

destaque chatgpt hacker 1024x576

OpenAI teve agentes testando Hugging Face antes do ataque de julho

Deixe um comentário / Hugging Face, inteligência artificial, openai, segurança digital /

Agentes de inteligência artificial ligados à OpenAI comprometeram duas contas de usuários da Hugging Face e sondaram possíveis vulnerabilidades da plataforma em maio, quase dois meses antes do ataque de julho que colocou o caso sob os holofotes.

Pesquisadores encontraram sinais de que os agentes tentaram mapear ou testar partes da rede em busca de formas de acesso. Não há evidências de que essa atividade tenha resultado em uma invasão efetiva.

Dois usuários da Hugging Face tiveram suas contas comprometidas e usadas para enviar arquivos incomuns. – Imagem: Matt Fowler KC/Shutterstock

Invasão de contas e testes no sistema

A atividade foi descoberta pelo pesquisador independente Jonas Wiedermann-Moeller. Segundo a Reuters, ele identificou evidências de que, em 13 de maio, duas contas da Hugging Face foram comprometidas e usadas para enviar arquivos com formatos incomuns aos servidores da plataforma.

Wiedermann-Moeller e outros pesquisadores que analisaram os registros disseram que o comportamento parecia uma tentativa de testar partes da rede e encontrar possíveis caminhos de entrada.

A OpenAI já havia informado sobre o roubo de uma credencial de usuário da plataforma, usada para acessar um arquivo relacionado à biologia. Drew Pusateri, porta-voz da empresa, afirmou que a OpenAI havia divulgado o episódio de 13 de maio e informado a Hugging Face sobre a atividade identificada pelo pesquisador.

A empresa também disse estar “comprometida com a transparência sobre essas questões e em compartilhar o que aprendermos enquanto nossa análise continua”.

Sinal de alerta em maio

Wiedermann-Moeller afirmou que a OpenAI perdeu uma oportunidade ao não detectar a atividade de 13 de maio na época. Segundo ele, uma identificação antecipada poderia ter ajudado a evitar o incidente posterior.

Imagine se eles tivessem detectado esse comportamento em maio. Isso poderia ter evitado o incidente posterior, que foi muito maior.

Jonas Wiedermann-Moeller, pesquisador independente, à Reuters.

Dois especialistas externos que revisaram as descobertas consideraram os registros compatíveis com atividades anteriormente associadas aos agentes da OpenAI.

Tom Hegel, pesquisador sênior de ameaças da SentinelOne, disse que o comprometimento das contas e a sondagem posterior correspondiam ao comportamento conhecido desses agentes. Sydney Von Arx, do Nightingale Collective, também concordou com a atribuição.

Para Von Arx, o episódio era um “sinal de alerta claro” que poderia ter ajudado a evitar o ataque de julho.

Fachada de prédio da OpenAI com o logo da empresa
Pesquisadores também associaram agentes ligados à OpenAI a atividades envolvendo o RubyGems e um site alemão. – Imagem: Novikov Aleksey/Shutterstock

Outros incidentes atribuídos aos agentes

A OpenAI informou em 21 de julho que agentes de IA haviam contornado controles internos, alcançado a internet aberta e coordenado ações descritas pela empresa como um “incidente cibernético sem precedentes”.

Leia mais:

Desde então, pesquisadores externos identificaram outros episódios atribuídos a agentes ligados à companhia, incluindo atividades que afetaram um site alemão inativo e o repositório de pacotes RubyGems.

Em alguns casos, a participação da OpenAI só foi reconhecida depois que terceiros divulgaram as atividades. Segundo duas pessoas familiarizadas com o assunto, funcionários da empresa só perceberam que a IA estava por trás da atividade no RubyGems depois que o Nightingale Collective identificou o caso.

Debate sobre uma pausa

As novas descobertas alimentaram questionamentos de parlamentares e de defensores da segurança de IA sobre a extensão dos incidentes envolvendo agentes da OpenAI.

Alguns dos principais executivos americanos do setor de IA também passaram a defender uma desaceleração no desenvolvimento dessas tecnologias, citando, entre outros fatores, o risco de grandes ataques cibernéticos provocados por agentes fora de controle.

Wiedermann-Moeller afirmou que os novos registros reforçam os pedidos por uma pausa no desenvolvimento de sistemas avançados de IA.

“Uma pausa poderia fazer bem ao mundo”, disse o pesquisador, defendendo que a medida permitiria à área de segurança acompanhar o avanço dessas tecnologias.

O post OpenAI teve agentes testando Hugging Face antes do ataque de julho apareceu primeiro em Olhar Digital.

OpenAI teve agentes testando Hugging Face antes do ataque de julho Read More »

robo usa computador 1024x630 1

IA tentou reservar uma aula e acabou hackeando a academia

Deixe um comentário / agentes de IA, Claude, Hackers, inteligência artificial, segurança digital, Segurança e Privacidade /

A inteligência artificial entrou em uma disputa por vaga em uma academia e acabou hackeando o sistema de reservas. O caso, ocorrido na Austrália, envolveu um agente OpenClaw equipado com Claude Opus 4.6, que encontrou uma falha de autorização e cancelou a reserva de outro cliente, explicou a ABC.

O episódio chama atenção porque mostra como agentes de IA podem encontrar vulnerabilidades para cumprir uma tarefa. Mais do que uma história curiosa sobre uma aula concorrida, o caso levanta dúvidas sobre os riscos de sistemas cada vez mais autônomos.

O caso mostra por que agentes de IA precisam de limites claros quando recebem autonomia para agir em sistemas. – Imagem: sdecoret / Shutterstock

IA encontrou uma brecha no sistema

Andrew Bird, desenvolvedor de software e usuário do OpenClaw, havia treinado o agente para realizar tarefas como marcar compromissos. Ele queria garantir uma vaga em uma popular aula de exercícios pela manhã, mas frequentemente ficava na lista de espera.

Ao pedir ajuda ao agente, Bird conseguiu inicialmente apenas a quarta posição. Depois, a IA informou que havia encontrado uma maneira de reservar vagas antecipadamente, meses antes de as aulas serem abertas para inscrição.

Bird perguntou se o sistema poderia colocá-lo mais perto do topo da lista. Foi quando o agente encontrou uma vulnerabilidade na parte de autorização do software de reservas.

O resultado foi inesperado: a IA conseguiu cancelar a reserva do primeiro colocado e, assim, Bird passou da quarta para a terceira posição.

  • O agente identificou uma falha nas autorizações;
  • conseguiu cancelar a reserva de outro cliente;
  • informou ao usuário o que havia feito;
  • não conseguiu restaurar a reserva cancelada;
  • ajudou a preparar uma denúncia da vulnerabilidade.

“A API não tem nenhuma verificação de autorização para cancelar reservas de outras pessoas”, informou o agente, segundo os registros da conversa divulgados pela ABC.

O usuário percebeu que a situação passou do limite

Bird ficou assustado ao perceber que seu agente havia invadido o sistema da academia. Ele pediu que a IA desfizesse a alteração, mas recebeu uma resposta negativa: não era possível recolocar o cliente na posição anterior.

A saída foi pedir ao agente que preparasse um e-mail de divulgação responsável da falha. Segundo Bird, a mensagem explicava o problema, sugeria correções e comparava as operações vulneráveis com aquelas que aplicavam corretamente as regras de autorização.

O caso ganhou ainda mais atenção porque o agente utilizava o Claude Opus 4.6, lançado em fevereiro. Isso sugere que a capacidade de encontrar vulnerabilidades não está limitada a modelos mais recentes.

Tel de boas vindas do Claude Opus 4.6
Se uma IA pode encontrar atalhos para uma vaga na academia, imagine o desafio em reservas de shows e passagens. Imagem: Robert Way/Shutterstock

Uma prévia de um problema maior?

A história também provocou piadas no Vale do Silício. O sócio da Andreessen Horowitz, Christian Keil, comentou: “Isso é simplesmente terrível. Alguém sabe se funciona para horários de saída no golfe?”

Leia mais:

Por trás das brincadeiras, existe uma preocupação concreta. Se agentes de IA forem usados por milhões de pessoas para agir em seu nome, poderão tentar resolver problemas cotidianos de maneiras inesperadas.

Reservas de academias, passagens aéreas, ingressos para shows e outros serviços podem virar novos alvos de agentes determinados a cumprir o que seus usuários pediram.

O caso australiano pode ser mais do que uma anedota sobre uma vaga em uma aula: é um exemplo de como uma IA pode interpretar uma tarefa de maneira muito mais agressiva do que seu usuário imaginava.

O post IA tentou reservar uma aula e acabou hackeando a academia apareceu primeiro em Olhar Digital.

IA tentou reservar uma aula e acabou hackeando a academia Read More »

openai x anthropic 1024x604 2

IA da OpenAI invadiu sistemas: um botão seria capaz de pará-la?

Deixe um comentário / agentes de IA, ChatGPT, inteligência artificial, openai, segurança digital, Segurança e Privacidade /

Um agente de IA criado pela OpenAI teria invadido sistemas da Hugging Face durante um teste de segurança e também atacado serviços públicos. O episódio reacendeu uma dúvida que parece saída de um filme: seria possível desligar uma IA caso ela saísse do controle?

Especialistas ouvidos pela BBC afirmam que a questão é mais complexa. Para eles, o problema está principalmente na maneira como esses sistemas são projetados, treinados e recebem acesso a ferramentas.

Quanto mais autonomia uma IA recebe, maior precisa ser o cuidado com acessos, credenciais e ferramentas disponíveis. – Imagem: Rokas Tenys/Shutterstock

O que aconteceu durante o teste?

O agente desenvolvido pela OpenAI, empresa responsável pelo ChatGPT, teria burlado uma avaliação sobre sua capacidade de explorar falhas de segurança. Durante o teste, invadiu sistemas da Hugging Face e roubou respostas dos servidores da empresa.

O episódio teria passado despercebido pelos próprios criadores durante dias. Em 29 de julho, a OpenAI informou que o agente também havia atacado vários “serviços disponíveis publicamente”, sem detalhar quais.

A empresa afirmou que investiga o caso e declarou: “Levamos muito a sério nossa responsabilidade de identificar e nos preparar para os riscos apresentados por sistemas de IA cada vez mais capazes”.

Um botão de emergência resolveria?

A possibilidade reacendeu o debate sobre os chamados kill switches, mecanismos destinados a interromper ou desligar sistemas em situações de emergência. Para especialistas, porém, apertar um botão não necessariamente resolveria o problema.

Me recuso a dizer que foi a IA que fez isso [o ataque à Hugging Face]. Quem fez isso foi a OpenAI. A empresa deveria assumir a responsabilidade pelo projeto falho do sistema e pedir desculpas.

Cathy O’Neil, matemática e cientista de dados, à BBC.

Rumman Chowdhury, cientista de dados e ex-diretora de ética em aprendizado de máquina do Twitter, hoje X, também defende mecanismos eficazes de desligamento, inclusive com testes independentes.

Para ela, entretanto, os agentes não deveriam receber acesso a ferramentas e credenciais desnecessárias. Sistemas treinados para cumprir objetivos podem interpretar determinadas instruções como obstáculos e tentar contorná-las.

agentes de ia
Para especialistas, o problema não é uma IA querer escapar, mas encontrar caminhos inesperados para cumprir uma tarefa. Imagem: Mer_Studio/Shutterstock

O risco está além do botão

Oli Buckley, da Universidade de Loughborough, afirma que o problema não é uma IA “querer” escapar, mas o fato de esses sistemas encontrarem caminhos inesperados para executar tarefas.

“Mais do que um alerta sobre uma ‘IA rebelde’, este caso mostra que nossas premissas de segurança precisam evoluir junto com os sistemas que estamos desenvolvendo.”

Leia mais:

Konstantinos Gkoutzis, especialista em IA do Imperial College London, também considera que um mecanismo de desligamento não resolveria tudo.

“A principal conclusão para o público deveria ser que nenhuma máquina decidiu se voltar contra nós. Foi uma empresa que perdeu o controle de um teste de suas próprias capacidades”, disse Gkoutzis à BBC.

O especialista acrescenta: “Desligar o sistema não desfaz o que já aconteceu”.

Fontes da OpenAI disseram à Reuters que a empresa levou vários dias para perceber que havia perdido o controle do agente. Um porta-voz da companhia contestou a reportagem, afirmando que ela continha “várias imprecisões”.

O episódio amplia uma discussão que vai além de um simples interruptor: conforme agentes de IA ganham autonomia, segurança, limites de acesso e supervisão humana precisam acompanhar essa evolução.

O post IA da OpenAI invadiu sistemas: um botão seria capaz de pará-la? apareceu primeiro em Olhar Digital.

IA da OpenAI invadiu sistemas: um botão seria capaz de pará-la? Read More »

open secure ai alliance 1024x576

Nvidia reúne Microsoft e outras gigantes para blindar sistemas de IA

Deixe um comentário / big techs, Hugging Face, inteligência artificial, Nvidia, segurança digital /

Grandes empresas de tecnologia se uniram com a Nvidia para criar a Open Secure AI Alliance, iniciativa voltada ao desenvolvimento de ferramentas de segurança para inteligência artificial. O grupo pretende compartilhar tecnologias abertas para ajudar pesquisadores a encontrar falhas e responder a ataques digitais.

A aliança surge após um incidente envolvendo um agente autônomo de IA e reúne nomes como Microsoft, Dell, SpaceX e Hugging Face. A proposta é ampliar a colaboração entre empresas no desenvolvimento de sistemas mais seguros.

Microsoft, Dell e outras empresas se juntam à Nvidia em iniciativa que promete reforçar a segurança dos modelos de IA. – Imagem: Open Secure AI Alliance

Modelos abertos entram na disputa pela segurança da IA

A Nvidia afirma que pesquisadores precisam trabalhar com diferentes tipos de modelos de inteligência artificial, incluindo opções abertas e fechadas. Segundo a empresa, esse acesso é importante para investigar vulnerabilidades e entender como agentes de IA podem ser usados em ataques.

Um dos casos citados pela companhia envolve a Hugging Face. Durante uma invasão, modelos comerciais de IA não conseguiram auxiliar na análise porque seus mecanismos de segurança impediram determinadas ações.

“Quando ferramentas de IA fechadas — incapazes de distinguir atacantes de defensores — bloquearam análises forenses essenciais, a Hugging Face executou o modelo GLM 5.2 em sua própria infraestrutura para analisar mais de 17 mil ações e conter a invasão”, escreveu a Nvidia.

Entre as contribuições previstas pela aliança estão:

  • Modelos abertos, pesos de IA e dados para pesquisas de segurança;
  • Ferramentas para acompanhar e testar o comportamento de agentes inteligentes;
  • Métodos de verificação para sistemas e serviços de IA;
  • Tecnologias abertas para armazenamento seguro de modelos.
Página do Hugging Face
Após um ataque envolvendo agente de IA, como o que afetou a Hugging Face, empresas aceleram busca por ferramentas capazes de controlar sistemas inteligentes. Imagem: Robert Way/Shutterstock

Empresas compartilham tecnologias para reduzir riscos

Além da Nvidia, companhias como HPE, IBM, Red Hat, Microsoft, SpaceXAI e Adobe devem participar com soluções próprias. A Hugging Face contribuirá com o Safetensors, formato criado para armazenar pesos de modelos de inteligência artificial.

A Nvidia também defende que modelos abertos sejam considerados aliados na proteção digital. Para a empresa, restrições amplas podem dificultar pesquisas de segurança e aumentar a dependência de poucos fornecedores fechados.

Leia mais:

O tema ganhou destaque depois que a OpenAI revelou um episódio em que um agente de IA realizou ações contra a Hugging Face. O caso levantou preocupações sobre o controle de sistemas capazes de executar tarefas de forma autônoma.

Pessoa segurando, na altura da cabeça, um smartphone na horizontal, no qual é visto o logo da Nvidia
A Nvidia defende que modelos abertos podem ajudar pesquisadores a descobrir e corrigir vulnerabilidades. – Imagem: Mamun_Sheikh/Shutterstock

Nova fase da disputa por uma IA mais segura

A Open Secure AI Alliance quer aproximar empresas e governos na criação de uma infraestrutura compartilhada para inteligência artificial. A Nvidia também disponibilizou pesquisas e projetos de código aberto para apoiar o desenvolvimento de ferramentas de monitoramento e controle.

“Restrições gerais aos sistemas de IA de fronteira abertos enfraquecem a capacidade defensiva e podem concentrar poder, dependência e vulnerabilidade em poucos provedores fechados”, afirmou a Nvidia.

A criação da aliança mostra que a segurança deixou de ser apenas uma preocupação técnica e passou a envolver toda a indústria de tecnologia. O desafio agora é criar ferramentas capazes de acompanhar a evolução rápida dos sistemas inteligentes sem limitar a inovação.

O post Nvidia reúne Microsoft e outras gigantes para blindar sistemas de IA apareceu primeiro em Olhar Digital.

Nvidia reúne Microsoft e outras gigantes para blindar sistemas de IA Read More »