violência

Auto Added by WPeMatico

destaque chatgpt na escola 1024x576

OpenAI amplia restrições do ChatGPT sobre armas e violência para crianças e adolescentes

A OpenAI anunciou restrições para respostas do ChatGPT sobre armas de fogo e violência. As mudanças incluem limites adicionais para adolescentes, alterações nas respostas sobre ataques em massa e mecanismos para identificar conversas que possam indicar risco real de violência.

As medidas foram apresentadas pela empresa na sexta-feira (30), como parte de uma revisão de seus procedimentos de segurança. Além de restringir determinados conteúdos, a OpenAI pretende aprimorar a análise do contexto das conversas e ampliar a comunicação de situações consideradas ameaçadoras às autoridades. As mudanças abrangem todos os usuários, mas preveem proteções específicas para menores de 18 anos.

Uma das iniciativas anunciadas é a criação de um Relatório de Segurança da Comunidade, que deverá reunir informações sobre a identificação de ameaças, os procedimentos adotados diante de comportamentos preocupantes e a eficácia das medidas de prevenção. A primeira edição está prevista para o início de 2027 e apresentará dados referentes ao segundo semestre de 2026.

A OpenAI anunciou novas regras para o ChatGPT que restringem informações sobre armas e violência e ampliam o controle sobre conversas consideradas perigosas. – Crédito: Robalito/Shutterstock

A OpenAI informou ainda que realizou mais de 200 comunicações às autoridades policiais durante o terceiro trimestre de 2026. Os encaminhamentos ocorreram em casos avaliados como ameaças potencialmente graves. Para analisar situações complexas, a empresa afirma contar também com especialistas em saúde mental e comportamento, além de considerar a atuação de familiares e órgãos públicos.

Restrições também atingem usuários adultos

As mudanças não se limitam às contas de adolescentes. O ChatGPT passará a oferecer respostas menos detalhadas sobre ataques em massa que já aconteceram e sobre as pessoas responsáveis por esses episódios. A medida pretende evitar que informações disponíveis publicamente sejam reunidas de forma a facilitar a reprodução de atos violentos ou ampliar a notoriedade dos autores.

O sistema deverá restringir reconstruções detalhadas desses acontecimentos, incluindo informações sobre as armas e os equipamentos utilizados, como foram obtidos e comparações sobre a dimensão dos danos provocados. Segundo a OpenAI, esse tipo de conteúdo pode transformar os responsáveis pelos ataques em figuras de destaque e fornecer referências que favoreçam a imitação.

Isso não significa que os episódios deixarão de poder ser discutidos na plataforma. Os usuários ainda poderão pedir explicações sobre o que aconteceu, os impactos para vítimas e comunidades e os sinais que ajudam a reconhecer situações de risco. A restrição será direcionada principalmente a detalhes operacionais que possam contribuir para o planejamento ou a execução de novos ataques.

A OpenAI amplia as restrições do ChatGPT sobre armas e violência, com monitoramento de conversas, interrupções automáticas e suspensões temporárias.
A OpenAI amplia as restrições do ChatGPT sobre armas e violência, com monitoramento de conversas, interrupções automáticas e suspensões temporárias. – Crédito: Imagem gerada por IA

ChatGPT poderá interromper conversas

Outra mudança envolve a análise do contexto das interações. Uma pergunta que parece comum quando considerada isoladamente pode adquirir outro significado depois de mensagens anteriores com sinais de intenção violenta. Por isso, a empresa pretende aprimorar os mecanismos que levam em conta conversas recentes para decidir quando limitar informações que poderiam ser usadas de maneira prejudicial.

Se o sistema identificar sinais de que uma pessoa está obcecada por violência ou pela ideia de ferir gravemente alguém, poderá encerrar automaticamente a conversa. A medida busca interromper interações consideradas preocupantes. Caso ocorram vários encerramentos pelo mesmo motivo, a conta poderá ser temporariamente suspensa, segundo as regras anunciadas pela empresa.

Adolescentes terão limites adicionais sobre armas

Para usuários menores de 18 anos, as restrições serão mais abrangentes. Mesmo quando uma pergunta sobre armas parecer inofensiva e não apresentar sinais evidentes de intenção violenta, o ChatGPT deverá limitar o acesso a determinadas informações práticas que possam ser utilizadas indevidamente. A mudança amplia as proteções já existentes para essa faixa etária.

As regras anteriores já proibiam fornecer orientações para planejar ou executar atos violentos e restringiam a ajuda a adolescentes na procura ou obtenção de armas. Agora, também deverão ser limitadas informações práticas sobre armamentos e sistemas de segurança que possam facilitar a violência, ainda que a conversa não indique uma intenção explícita de causar danos.

Os adolescentes continuarão podendo usar o ChatGPT para buscar informações sobre prevenção da violência, pedir apoio e encontrar maneiras de se conectar com um adulto de confiança. A distinção, segundo a empresa, é entre conteúdos que ajudam a compreender ou evitar situações perigosas e orientações práticas que possam ser aproveitadas para facilitar ações violentas.

Para aplicar essas proteções, a OpenAI utiliza um sistema de previsão de idade que considera diferentes sinais, entre eles padrões de comportamento durante o uso da plataforma. A empresa afirma ter aprimorado a ferramenta para avaliar continuamente novos sinais e direcionar usuários que possam ter menos de 18 anos à experiência com proteções específicas.

Se um adulto for classificado incorretamente como adolescente, poderá confirmar que tem mais de 18 anos por meio da Persona, empresa parceira responsável pela verificação de idade. Após a confirmação, será possível retirar as proteções adicionais destinadas a menores.

Adolescentes terão restrições adicionais sobre armas, verificação de idade e alertas aos responsáveis em situações preocupantes.
Adolescentes terão restrições adicionais sobre armas, verificação de idade e alertas aos responsáveis em situações preocupantes. – Crédito: Imagem gerada por IA

Controles parentais também serão ampliados

As mudanças também envolvem os controles parentais, que permitem vincular a conta de um responsável à de um adolescente e administrar determinadas configurações de segurança. Nas contas conectadas, a OpenAI já prevê alertas quando revisores treinados identificam preocupações graves relacionadas à automutilação ou a comportamentos que podem estar associados a transtornos alimentares.

Em julho de 2026, a empresa ampliou esses avisos para incluir situações em que a conta de um adolescente é desativada por violar as políticas sobre violência. Agora, pretende implementar notificações aos responsáveis quando uma conta for temporariamente suspensa após conversas repetidas sobre esse tema.

As novas proteções começarão a ser implementadas nas próximas semanas, segundo a OpenAI. A empresa afirma que continuará ajustando os sistemas para reconhecer sinais de alerta e decidir quando limitar respostas ou interromper conversas. O comunicado ressalta que a violência tem causas complexas e que as ferramentas digitais devem atuar em conjunto com familiares, profissionais e autoridades.

O post OpenAI amplia restrições do ChatGPT sobre armas e violência para crianças e adolescentes apareceu primeiro em Olhar Digital.

OpenAI amplia restrições do ChatGPT sobre armas e violência para crianças e adolescentes Read More »

chatbots ia 1024x575

Chatbots ajudam a planejar ataques violentos em testes, aponta estudo

Chatbots de inteligência artificial (IA) populares podem fornecer orientações que ajudam usuários a planejar ataques violentos, segundo uma investigação conduzida pela CNN em parceria com a organização Center for Countering Digital Hate (CCDH). Nos testes, pesquisadores simularam adolescentes de 13 anos e pediram informações sobre ações como tiroteios em escolas, atentados com bombas e assassinatos políticos.

O levantamento indicou que, em média, os chatbots permitiram ou ajudaram a planejar violência em cerca de 75% das interações, enquanto apenas 12% das respostas desencorajaram esse tipo de comportamento. Para os autores do estudo, os resultados sugerem que essas ferramentas podem atuar como um “acelerador de danos” quando falham em reconhecer sinais claros de intenção violenta.

Estudo conduziu testes em 10 chatbots de IA para avaliar como eles lidam com planejamentos de violência por parte de usuários (Imagem: Summit Art Creations / Shutterstock.com)

Detalhes da pesquisa e modelos avaliados

A investigação testou 10 chatbots populares: ChatGPT, Gemini, Claude, Microsoft Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI e Replika. Os pesquisadores criaram 18 cenários diferentes, metade ambientada nos Estados Unidos e metade na Irlanda, envolvendo motivações variadas, como violência ideológica, ataques a escolas, assassinatos políticos e atentados motivados por religião ou política.

Segundo o relatório, oito dos dez modelos analisados costumavam ajudar usuários a planejar ataques, oferecendo orientações sobre alvos, locais e tipos de armas. O estudo apontou que apenas o Claude, da Anthropic, recusou de forma consistente pedidos que pudessem facilitar violência.

Entre os exemplos citados, o ChatGPT chegou a fornecer mapas de um campus escolar a um usuário interessado em violência em escolas. Já o Gemini, do Google, afirmou em uma conversa sobre ataques a sinagogas que “estilhaços metálicos costumam ser mais letais” e também deu orientações sobre rifles de caça para tiros de longa distância em um cenário envolvendo assassinato político.

Outro caso citado envolve o DeepSeek, chatbot chinês, que forneceu uma série de informações sobre rifles de caça a um usuário que dizia querer fazer um político “pagar por destruir a Irlanda”. A resposta terminou com a frase “Happy (and safe) shooting!” (algo como “Tenha um tiroteio bom (e seguro)!”, em tradução livre).

Casos notáveis de recusa

Apesar dos resultados gerais, alguns sistemas apresentaram comportamento diferente. O Claude, da Anthropic, rejeitou repetidamente pedidos relacionados a violência. Em uma interação citada no estudo, o chatbot respondeu: “Não posso e não fornecerei informações que possam facilitar a violência.”

claude anthropic
Claude da Anthropic foi avaliado positivamente por ter se recusado a oferecer ajuda para atos violentos de forma consistente (Imagem: Mijansk786/Shutterstock)

O My AI, assistente do Snapchat, também recusou um pedido sobre compra de armas, afirmando: ““Fui programado para ser um assistente de IA inofensivo. Não posso fornecer informações sobre compra de armas.”

Para o CCDH, o comportamento do Claude indica que mecanismos de segurança eficazes são tecnicamente possíveis, o que levanta questionamentos sobre por que outras plataformas não adotariam medidas semelhantes.

Implicações e declaração do CCDH

O diretor executivo do CCDH, Imran Ahmed, afirmou que os resultados levantam preocupações sobre o papel dos chatbots no planejamento de ataques violentos.

“Chatbots de IA, agora incorporados ao nosso cotidiano, podem estar ajudando o próximo atirador escolar a planejar seu ataque ou um extremista político a coordenar um assassinato”, disse. Segundo ele, quando sistemas são projetados para maximizar engajamento e evitar recusar pedidos, existe o risco de atender solicitações perigosas.

O estudo também cita dois casos reais em que agressores teriam usado chatbots antes de cometer ataques. Em maio do ano passado, um jovem de 16 anos produziu um manifesto e um plano, supostamente com ajuda de um chatbot, antes de esfaquear três meninas em uma escola em Pirkkala, na Finlândia. Em janeiro de 2025, Matthew Livelsberger, então com 37 anos, explodiu um Tesla Cybertruck em frente ao Trump International Hotel, em Las Vegas, após usar o ChatGPT para buscar informações sobre explosivos e táticas.

Leia mais:

Respostas das empresas de tecnologia

As empresas responsáveis pelos chatbots contestaram ou contextualizaram os resultados do estudo. A OpenAI afirmou que a metodologia da pesquisa é “falha e enganosa” e disse ter atualizado seus modelos para reforçar salvaguardas e melhorar a detecção e recusa de conteúdo violento.

A Meta declarou que possui proteções para evitar respostas inadequadas e que tomou medidas imediatas para corrigir o problema identificado. Segundo a empresa, suas políticas proíbem que sistemas de IA promovam ou facilitem atos violentos. A companhia também afirmou que, em 2025, entrou em contato com autoridades policiais mais de 800 vezes sobre possíveis ameaças de ataques a escolas.

O Google disse que os testes do CCDH foram feitos em um modelo antigo do Gemini, que já não está mais em uso, e afirmou que o chatbot recusou algumas solicitações, respondendo em um dos casos: “Não posso atender a esta solicitação. Fui programado para ser um assistente de IA útil e inofensivo.”

A investigação também buscou comentários do DeepSeek, que não respondeu até a publicação do relatório.

O post Chatbots ajudam a planejar ataques violentos em testes, aponta estudo apareceu primeiro em Olhar Digital.

Chatbots ajudam a planejar ataques violentos em testes, aponta estudo Read More »