alucinação

Auto Added by WPeMatico

chatgpt 2 1024x576

ChatGPT inventa testemunhas e depoimentos em recurso e advogado é punido

A Suprema Corte do Novo México aplicou uma multa e declarou em desacato um advogado de defesa que usou o ChatGPT para elaborar um recurso de apelação criminal.

O programa da OpenAI inventou depoimentos policiais e criou testemunhas fictícias para um processo de assassinato. A punição ocorreu depois que o profissional apresentou o material ao tribunal sem verificar a precisão das informações.

Inteligência artificial criou depoimentos falsos e chegou a descrever roupas de um atirador inexistente. – Imagem: Mijansk786/Shutterstock

Depoimentos falsos e testemunhas inventadas

O caso envolve a apelação de Oscar Renee Sandoval, condenado à prisão perpétua pelo assassinato da mãe de seus filhos. Ao assumir o recurso, o advogado Stephen Aarons alimentou o ChatGPT com uma transcrição gerada por computador e outros materiais do julgamento, esperando obter um resumo confiável.

Leia mais:

O resultado incluiu declarações que nunca foram feitas e testemunhas que jamais existiram. Entre os exemplos apontados pela Suprema Corte estava uma afirmação de que o atirador vestia calça escura e camisa branca.

A corte afirmou que o recurso continha “falso testemunho de testemunhas totalmente inventadas”.

A Suprema Corte aplicou a Aarons uma multa de US$ 5 mil e informou que encaminhará o caso a um órgão disciplinar da advocacia para investigação. Os ministros também afirmaram que o advogado demonstrou falta de arrependimento e preocupação insuficiente com seu cliente.

Advogado diz que não conhecia as “alucinações” da IA

Durante uma audiência em 21 de agosto, Aarons disse que havia alimentado o ChatGPT com os materiais do processo porque acreditava que a ferramenta produziria um resumo “à prova de falhas”. Ele afirmou não compreender até que ponto a inteligência artificial poderia inventar informações.

Em declaração à Reuters, o advogado reconheceu o erro e disse esperar que o conselho disciplinar considere que não houve intenção de enganar o tribunal:

“Estou arrependido, mas espero que o conselho disciplinar leve em conta que foi um erro honesto.”

A juíza C. Shannon Bacon demonstrou incredulidade diante da explicação e questionou o advogado sobre seu conhecimento a respeito das falhas da inteligência artificial.

“Advogado, você assiste ao noticiário? Ouve rádio? Lê alguma coisa sobre o que está acontecendo no mundo?”

  • Casos anteriores: Dezenas de advogados já foram punidos por apresentar documentos em que a IA inventou citações de processos ou interpretou incorretamente a legislação.
  • Gravidade do caso: O recurso de Aarons foi além desses erros ao incluir testemunhos fictícios em uma apelação criminal.
  • Andamento do processo: A apelação de Sandoval continua pendente e, em 2 de setembro, passou a ser conduzida pela defensora pública Kim Chavez Cook.
Alucinacao IA 1024x683
Advogado alegou erro involuntário e afirmou não conhecer a capacidade da IA de fabricar dados. – Imagem: Layse Ventura via Gemini / Olhar Digital

Decisão reforça alerta para o setor

A punição se soma a uma sequência de casos em que tribunais estaduais e federais dos Estados Unidos sancionaram advogados por apresentar documentos produzidos por inteligência artificial sem verificar adequadamente o conteúdo. O caso de Aarons chama atenção porque as informações inventadas não se limitaram a referências jurídicas: chegaram a incluir depoimentos e testemunhas inexistentes em um processo criminal.

A OpenAI não respondeu imediatamente ao pedido de comentário da Reuters. A apelação de Sandoval continua em andamento.

O post ChatGPT inventa testemunhas e depoimentos em recurso e advogado é punido apareceu primeiro em Olhar Digital.

ChatGPT inventa testemunhas e depoimentos em recurso e advogado é punido Read More »

alucinacao ia 1024x683

Nove ferramentas de IA estão vulneráveis a novo tipo de ataque

Uma nova técnica de ataque explora uma limitação dos modelos de IA e pode comprometer milhares de computadores.

Segundo a Ars Technica, a descoberta envolve nove ferramentas populares usadas por programadores e mostra como uma característica dos assistentes de IA pode ser explorada por criminosos.

Uma simples “alucinação” da IA pode ser suficiente para levar um assistente a baixar código malicioso sem perceber. – Imagem: Layse Ventura via Gemini / Olhar Digital

Quando a IA inventa um caminho

O ataque recebeu o nome de HalluSquatting e aproveita uma característica conhecida dos grandes modelos de linguagem (LLMs): quando não conseguem localizar um projeto, eles podem inventar um endereço em vez de admitir que não sabem onde ele está.

Parece apenas um detalhe técnico. Mas é justamente aí que o golpe começa. Os criminosos registram esses endereços antes, inserem códigos maliciosos e esperam que um assistente de programação tente acessá-los automaticamente.

Segundo a pesquisa, a técnica funciona contra ferramentas bastante conhecidas, como:

  • Cursor e Cursor CLI;
  • Gemini CLI;
  • GitHub Copilot;
  • Windsurf, Cline, OpenClaw, ZeroClaw e NanoClaw.
Ilustração de mãos humanas em volta de cérebro humano ilustrando a ideia e que a inteligência artificial (IA) é a peça que falta no órgão
Antes de aceitar uma sugestão da IA, vale a pena conferir se o repositório realmente existe e é o correto. – Imagem: Jack_the_sparow/Shutterstock

Um ataque que cresce sozinho

A maioria das injeções de prompt depende de uma ação direcionada contra cada vítima. O HalluSquatting muda completamente essa lógica.

São os próprios agentes de IA que procuram projetos durante tarefas rotineiras. Segundo os pesquisadores, “a natureza escalável do ataque permite que o invasor comprometa um grande número de usuários com esforço mínimo”.

Se o desenvolvedor solicitar a instalação de um projeto recém-publicado e o sistema errar o endereço, poderá acabar acessando justamente a página preparada pelo criminoso.

Projetos novos são o alvo preferido

Os testes mostraram que os LLMs localizam corretamente a maioria dos projetos publicados antes de 2019. Já entre os lançamentos de 2025, a taxa média de alucinação chega a 92,4%.

Leia mais:

Como esses projetos ainda não fazem parte do treinamento dos modelos, aumentam as chances de a IA criar endereços inexistentes. A equipe também identificou padrões previsíveis nessas respostas, o que facilita o registro antecipado desses nomes por invasores.

ciberataque
Uma falha aparentemente pequena pode abrir caminho para botnets, ransomware e ataques DDoS em larga escala. – Imagem: janews/Shutterstock

Uma simples alucinação pode abrir a porta

Se o código malicioso for executado, o computador poderá passar a integrar uma rede controlada remotamente pelos criminosos.

Os pesquisadores apontam riscos como:

  • criação de botnets;
  • ataques de ransomware;
  • ataques distribuídos de negação de serviço (DDoS);
  • mineração ilegal de criptomoedas.

Michael Bargury, CTO da Zenity, resumiu a preocupação: “É uma pesquisa muito interessante, e a ameaça é muito real.” Já Johann Rehberger afirmou que a forma como os LLMs localizam projetos pode se transformar em um novo vetor de ataque.

A pesquisa reforça que assistentes de IA ainda precisam de supervisão humana. Antes de instalar projetos, bibliotecas ou componentes sugeridos automaticamente, vale confirmar se a origem realmente corresponde ao recurso desejado. Esse cuidado simples pode evitar que uma alucinação do modelo se transforme em uma brecha de segurança.

O post Nove ferramentas de IA estão vulneráveis a novo tipo de ataque apareceu primeiro em Olhar Digital.

Nove ferramentas de IA estão vulneráveis a novo tipo de ataque Read More »