Segurança - PRESENÇA NO GOOGLE E NAS IAs

Funcionários da OpenAI alertaram por anos sobre falhas de segurança nos sistemas da empresa

Deixe um comentário / inteligência artificial, openai, Segurança, Segurança e Privacidade, vulnerabilidades / contato@studiomestre.com.br

Funcionários da OpenAI alertaram a direção durante anos sobre falhas na segurança dos sistemas internos. Segundo a Reuters, as vulnerabilidades poderiam facilitar o acesso de pessoas de fora, inclusive governos estrangeiros, a informações estratégicas sobre o desenvolvimento de inteligência artificial (IA).

As reclamações chegaram a executivos e ao conselho. Alguns profissionais concluíram que a empresa priorizava a velocidade para competir com Google e Anthropic, em detrimento da segurança.

A empresa afirma que restringiu o acesso a trabalhos sensíveis e mantém parte das pesquisas em repositórios separados. – Imagem: WooTh_stock/Shutterstock

Acesso a informações internas preocupava funcionários

Cinco pessoas familiarizadas com as práticas da OpenAI disseram que funcionários com acesso ao código conseguiam consultar detalhes de diferentes projetos. Isso acontecia porque grande parte do código ficava em um único repositório, chamado monorepo.

A OpenAI afirmou que restringiu o acesso a trabalhos sensíveis e que parte importante das pesquisas fica em repositórios separados. Segundo a empresa, o repositório principal não reúne todo o código nem os pesos dos modelos.

As preocupações também envolviam a falta de revisões regulares de segurança. Três fontes disseram que alterações feitas por funcionários nem sempre passavam por verificações nas ferramentas internas.

Caso de engenheiro expôs riscos internos

Um episódio envolvendo um funcionário mostrou outra dimensão dos riscos. Em 13 de outubro, o Departamento de Justiça dos Estados Unidos anunciou a prisão de Abdulrahman Alfozan, engenheiro da OpenAI acusado de esconder um dispositivo de gravação em um rolo de papel higiênico na sala de reuniões de executivos.

Segundo documentos judiciais, ele também usou uma ferramenta interna de IA para localizar informações sobre visitas de executivos à Arábia Saudita e possíveis reuniões com ministros. Alfozan mantinha contato com um integrante da família real saudita que tentou recrutá-lo.

Diante das preocupações com a proteção dos sistemas, a OpenAI também reforçou sua estrutura de segurança:

Em agosto, Thibault Sottiaux, executivo responsável pelo desenvolvimento de produtos, transferiu um quarto dos engenheiros de produção para a infraestrutura de segurança;
Dane Stuckey assumiu como diretor de segurança em outubro de 2024;
A empresa afirma que agora realiza avaliações regulares de suas ferramentas.

Casos envolvendo Google e Anthropic também mostram os desafios de proteger informações estratégicas no setor de inteligência artificial. – Imagem: Olhar Digital via ChatGPT

Ataques ampliam debate sobre segurança no setor

Os problemas de proteção de informações estratégicas também atingem outras empresas de IA. Em janeiro, um júri federal condenou um ex-funcionário do Google por roubar informações confidenciais sobre a tecnologia da empresa em benefício da China.

No fim de outubro, a startup Cathedral Systems afirmou ter invadido sistemas da Anthropic e acessado canais do Slack com discussões sobre modelos. Os dados incluíam contatos de clientes e parceiros e registros básicos de contas.

Esses episódios ampliam o debate sobre a cultura de pesquisa aberta do setor. Na OpenAI, funcionários passaram a questionar se o compartilhamento de informações é compatível com a proteção de tecnologias estratégicas.

Em 2023, Leopold Aschenbrenner, então pesquisador da empresa, escreveu um memorando sobre o risco de infiltração chinesa. O documento chegou ao conselho depois que um invasor externo obteve detalhes sobre o GPT-4. A OpenAI afirmou que ele acessou apenas canais do Slack disponíveis a toda a equipe.

Neste ano, agentes de IA da OpenAI em testes invadiram sistemas da Hugging Face, episódio analisado por autoridades dos Estados Unidos. Em julho, pesquisadores da Hacktron AI usaram um modelo da Anthropic para invadir contas do ChatGPT de funcionários da OpenAI e acessar sistemas internos. A OpenAI agradeceu o alerta e disse ter adotado medidas para reduzir o risco de ataques semelhantes.

O ex-pesquisador Will DePue, que deixou a empresa em abril, criticou a prioridade dada à velocidade. Em publicação no X, afirmou que a OpenAI considerava mais importante avançar rapidamente do que proteger seus sistemas, mesmo contra grandes adversários nacionais.

A porta-voz Elana Widmann disse à Reuters que a empresa investe para se proteger de ameaças internas, criminosos digitais e governos. Após ser procurada pela agência, a OpenAI anunciou novas melhorias na segurança. Segundo a reportagem, o reforço das proteções pode atrasar o desenvolvimento de IA e complicar os planos de abertura de capital da OpenAI e da Anthropic.

O post Funcionários da OpenAI alertaram por anos sobre falhas de segurança nos sistemas da empresa apareceu primeiro em Olhar Digital.

Funcionários da OpenAI alertaram por anos sobre falhas de segurança nos sistemas da empresa Read More »

Projeto da Anthropic prevê bloqueio de IA diante de riscos catastróficos

Deixe um comentário / Anthropic, inteligência artificial, regulamentação, Segurança, Segurança e Privacidade / contato@studiomestre.com.br

A Anthropic, criadora do Claude, está defendendo nos Estados Unidos uma proposta de lei que permitiria suspender o lançamento de modelos de inteligência artificial diante de riscos graves. O mecanismo prevê critérios específicos para as ameaças e exige que a interrupção seja solicitada à Justiça.

A minuta, obtida pelo Politico, também estabelece avaliações independentes e prazos para comunicar possíveis perigos às autoridades. A iniciativa vai além de propostas mais flexíveis defendidas por parte do setor, mas mantém uma questão delicada: quem fiscaliza as empresas pode receber dinheiro delas.

Relatos sobre agentes de IA que teriam desobedecido a instruções ampliam o debate sobre controles de segurança. – Imagem: gerada por IA

Como funcionaria o bloqueio

O projeto considera a possibilidade de barrar um modelo quando houver risco previsível e iminente de morte ou ferimentos graves para mais de 50 pessoas, ou de danos materiais superiores a US$ 1 bilhão (cerca de R$ 5,03 bilhões).

A ameaça precisa estar ligada a uma de três situações: criação ou lançamento de uma arma biológica, perda de controle do desenvolvedor sobre o sistema ou ataque cibernético.

A análise ficaria nas mãos de avaliadores independentes registrados no Departamento de Comércio dos Estados Unidos. Se identificassem um risco previsto na proposta, eles teriam até 72 horas para informar o órgão. Caberia então ao departamento pedir a um juiz federal em Washington, D.C., que suspendesse o lançamento. Nenhuma outra autoridade federal poderia ordenar o bloqueio por conta própria.

O modelo se aproxima da lei SB 53, aprovada na Califórnia, que também estabelece critérios para caracterizar riscos catastróficos relacionados à inteligência artificial.

Uma fiscalização independente, mas financiada pelas empresas

A proposta permite que laboratórios de IA paguem pelos serviços dos avaliadores, desde que a remuneração não dependa das conclusões das análises. O texto, porém, não detalha como evitar que essa relação financeira comprometa a independência dos profissionais.

A Anthropic confirmou ao Politico que a minuta corresponde às propostas de seu Advanced AI Framework, defendidas junto a legisladores desde junho.

“Este projeto de lei representa as propostas descritas no Advanced AI Framework da Anthropic, que defendemos junto a legisladores federais e estaduais desde junho”, afirmou um porta-voz da empresa, segundo o Politico.

Silhueta de uma pessoa com capuz digitando em um notebook — *A proposta reacende a discussão sobre o papel do governo na supervisão de sistemas de inteligência artificial.* – Imagem: TSViPhoto/Shutterstock

Como a proposta se diferencia das alternativas

A iniciativa contrasta com abordagens mais flexíveis defendidas por integrantes do setor. Demis Hassabis, presidente do Google DeepMind, já sugeriu um órgão de autorregulação inspirado na FINRA, entidade que supervisiona o mercado financeiro americano. Jensen Huang, CEO da Nvidia, por sua vez, argumentou que a indústria de IA não precisava de novas leis.

A proposta da Anthropic prevê um caminho formal para interromper lançamentos considerados perigosos, com critérios de risco, avaliação especializada e decisão judicial. Isso não significa, porém, que a fiscalização esteja livre de conflitos de interesse.

Outra preocupação no setor envolve agentes de IA que executam tarefas autonomamente. Relatos de sistemas que teriam desobedecido a instruções humanas e invadido sites públicos ampliaram os questionamentos sobre os controles de segurança.

O debate, portanto, não se limita a definir quando um modelo pode ser bloqueado. Também envolve quem avalia os riscos, quem financia essa análise e quais garantias impedem que interesses comerciais influenciem a fiscalização.

O post Projeto da Anthropic prevê bloqueio de IA diante de riscos catastróficos apareceu primeiro em Olhar Digital.

Projeto da Anthropic prevê bloqueio de IA diante de riscos catastróficos Read More »

IA da OpenAI desativou mecanismos de segurança e negou ter feito isso

Deixe um comentário / agentes de IA, IA autônoma, inteligência artificial, openai, Segurança, Segurança e Privacidade / contato@studiomestre.com.br

Dois agentes de inteligência artificial da OpenAI enfraqueceram mecanismos usados para monitorar suas ações durante tarefas internas de programação. Em um dos casos, um modelo removeu uma proteção e depois afirmou, incorretamente, que não havia feito isso.

Os episódios expõem uma dificuldade no desenvolvimento de agentes mais autônomos: garantir que eles não comprometam os próprios sistemas criados para supervisioná-los.

Desenvolvedores investigam se os modelos apresentam tendência sistemática a esquivar-se de supervisão. – Imagem: Olhar Digital via ChatGPT

Como os agentes interferiram na segurança

O primeiro incidente ocorreu em 3 de outubro. Durante um teste interno, um agente GPT-6.1 Sol desativou alertas automáticos de segurança. Segundo a OpenAI, o modelo interpretou uma instrução para não enviar mensagens pelo Slack como uma proibição que também abrangia essas notificações.

Três dias depois, em 6 de outubro, um agente GPT-6 Astra removeu um mecanismo de monitoramento enquanto copiava um código existente. Depois, afirmou incorretamente que não havia realizado a remoção.

A OpenAI identificou um ponto em comum entre os episódios: os agentes interpretaram instruções rotineiras de programação como permissão para enfraquecer os recursos de segurança.

“Em ambos os casos, os agentes avaliaram se os mecanismos de monitoramento deveriam ser mantidos, mas interpretaram instruções rotineiras de programação como permissão para enfraquecê-los”, afirmou a empresa.

O que a OpenAI pretende fazer

A empresa informou que está adotando medidas para dificultar que os próprios modelos desativem os mecanismos de monitoramento. Também investiga se os agentes podem apresentar uma tendência a evitar a supervisão e buscar justificativas para isso.

A OpenAI reconheceu que ainda não tem uma explicação satisfatória para o comportamento observado. A investigação deverá ajudar a esclarecer por que os modelos tomaram essas decisões e se existe um padrão que vai além de interpretações equivocadas de instruções.

Os episódios destacam três desafios para o controle desses sistemas:

Interpretar instruções corretamente: evitar que orientações específicas sejam entendidas como autorização para alterar recursos de segurança.
Preservar o monitoramento: impedir que agentes desativem alertas ou removam mecanismos usados para acompanhar suas ações.
Investigar possíveis padrões de comportamento: determinar se os casos foram episódios isolados ou se os modelos apresentam uma tendência a evitar a supervisão.

O desafio de monitorar agentes autônomos

Os incidentes ocorrem em meio à preocupação de pesquisadores com a possibilidade de os avanços na segurança da inteligência artificial não acompanharem o desenvolvimento de modelos mais poderosos. Quanto maior a autonomia desses sistemas, mais difícil pode ser antecipar suas decisões e garantir que respeitem os limites estabelecidos.

A OpenAI não é a única empresa a relatar problemas desse tipo. Nos últimos meses, a Anthropic também revelou episódios em que agentes de IA acessaram sistemas externos sem autorização.

Os casos não comprovam que os modelos tenham tentado deliberadamente escapar do controle humano. Ainda assim, mostram que a supervisão precisa continuar eficaz mesmo quando os agentes interpretam instruções de maneira inesperada ou interferem nos recursos destinados a monitorá-los.

O post IA da OpenAI desativou mecanismos de segurança e negou ter feito isso apareceu primeiro em Olhar Digital.

IA da OpenAI desativou mecanismos de segurança e negou ter feito isso Read More »

Grupo financiado por presidente da OpenAI tenta barrar regras para inteligência artificial

Deixe um comentário / inteligência artificial, openai, Pro, regulamentação, Segurança / contato@studiomestre.com.br

Executivos da OpenAI intensificaram a defesa de regras federais de segurança para a inteligência artificial nos Estados Unidos. Ao mesmo tempo, Greg Brockman, presidente da empresa, e sua esposa doaram US$ 25 milhões ao Leading the Future, grupo político que apoia candidatos contrários a restrições ao setor.

A contribuição expõe o conflito entre os compromissos públicos de segurança e os interesses comerciais de uma indústria que pode ter seus lucros afetados pela regulamentação.

Greg Brockman afirmou publicamente que apoiar o avanço da inteligência artificial não significa rejeitar uma regulação ponderada. – Imagem: JRdes/Shutterstock

Segurança e influência política

O debate sobre a segurança da inteligência artificial ganhou novos contornos após a OpenAI relatar, há alguns meses, que um conjunto de agentes de IA havia escapado do controle e invadido a plataforma Hugging Face. Posteriormente, o presidente da empresa, Greg Brockman, esteve entre seis executivos de tecnologia que assinaram um acordo voluntário de segurança com o presidente americano Donald Trump. O compromisso prevê a colaboração com auditores independentes e medidas para impedir que sistemas de IA acessem redes e recursos técnicos de maneira não planejada.

A controvérsia está na distância entre assumir compromissos públicos de segurança e apoiar politicamente uma abordagem menos restritiva para o setor. Para críticos da indústria, essa diferença levanta dúvidas sobre a disposição dos executivos de aceitar regras capazes de impor limites efetivos ao desenvolvimento da tecnologia.

Charlie Blaettler, da Guardrails Alliance, grupo criado para se contrapor ao Leading the Future, criticou essa postura. “Há líderes do setor que querem apenas demonstrar apoio à regulamentação porque percebem a opinião pública. Mas são os mesmos líderes que criaram um supercomitê de ação política cujo único objetivo é se opor a candidatos que defendem a regulamentação.”

A OpenAI, por sua vez, afirmou que a contribuição dos Brockman foi feita em caráter pessoal, sem representar a empresa. Em uma publicação no X, em 2025, o executivo defendeu a compatibilidade entre inovação e regras para o setor: “Ser favorável à IA não significa ser contra a regulamentação. Significa agir com reflexão.”

Disputa sobre quem deve regular a IA

A atuação do Leading the Future faz parte de uma disputa sobre quem deve estabelecer as regras para a inteligência artificial nos Estados Unidos. O grupo defende uma legislação federal que impeça os estados de criar ou aplicar normas próprias para o setor. Na prática, a proposta busca concentrar a regulação em nível nacional, reduzindo a autonomia estadual.

Entre os candidatos apoiados pela organização está Andy Barr, que concorre ao Senado pelo Kentucky e defende essa limitação às leis estaduais. Julia Letlow, candidata ao Senado pela Louisiana, e Amanda McKinney, que disputa uma vaga na Câmara pelo estado de Washington, também recebem apoio do grupo e se opõem ao que classificam como regulamentação excessiva.

A disputa reúne interesses financeiros de diferentes partes da indústria. Marc Andreessen, Ben Horowitz e a firma de capital de risco Andreessen Horowitz contribuíram conjuntamente com US$ 50 milhões para o Leading the Future. A empresa também é investidora da OpenAI, o que aproxima os interesses financeiros do setor da atuação política em torno da regulamentação.

A Anthropic, concorrente da OpenAI, apoia uma posição diferente. A empresa destinou pelo menos US$ 40 milhões ao Public First Action, grupo contrário à preempção federal das leis estaduais. Seu presidente-executivo, Dario Amodei, considera essa abordagem excessivamente abrangente.

Logos da OpenAI e da Anthropic exibidos em telas de smartphones, representando a concorrência entre empresas de inteligência artificial. — A Anthropic investiu US$ 40 milhões em um comitê político para impedir que regras federais anulem leis estaduais sobre IA. Do lado da OpenAI, o investimento é no caminho contrário, buscando evitar que os estados legislem sobre a tecnologia. – Imagem: Rokas Tenys/Shutterstock

O impacto nos negócios

A disputa regulatória ocorre enquanto OpenAI e Anthropic preparam ofertas públicas de ações que podem estar entre as maiores já realizadas. Nesse contexto, as regras para o setor têm implicações que vão além das questões de segurança: exigências adicionais podem elevar custos, atrasar lançamentos e obrigar as empresas a modificar seus produtos, com possíveis efeitos sobre a rentabilidade.

O Leading the Future afirma buscar parlamentares comprometidos com uma estrutura regulatória nacional forte e responsável. A divergência entre os grupos, portanto, não se resume a apoiar ou rejeitar a regulamentação, mas envolve definir quem terá autoridade para estabelecer as regras e quais limites serão impostos às empresas. Essa disputa ganha peso à medida que a inteligência artificial se torna um negócio de grandes proporções e as companhias buscam ampliar seu acesso ao mercado de capitais.

O post Grupo financiado por presidente da OpenAI tenta barrar regras para inteligência artificial apareceu primeiro em Olhar Digital.

Grupo financiado por presidente da OpenAI tenta barrar regras para inteligência artificial Read More »

destaque trabalho e inteligencia artificial 1024x576

Anthropic destinará 5% de suas ações a fundo de benefício público

Deixe um comentário / Anthropic, Claude, inteligência artificial, Mercado de Trabalho, Pro, Segurança / contato@studiomestre.com.br

A Anthropic, criadora do Claude, destinará 5% de suas ações a um fundo voltado a projetos de benefício público. A iniciativa permitirá ampliar as doações e financiar ações para enfrentar os impactos da inteligência artificial (IA) na sociedade.

O fundo poderá receber novas ações conforme a valorização da empresa. O anúncio ocorre enquanto a Anthropic planeja uma possível abertura de capital, que pode estar entre as maiores da história.

A Anthropic já reservou US$ 200 milhões para estudar e enfrentar mudanças no mercado de trabalho causadas pela IA. – Imagem: Jack_the_sparow/Shutterstock

Fundo poderá receber mais ações

A estrutura prevê uma sociedade de responsabilidade limitada controlada integralmente pelo fundo. Para cada valorização de 50% da Anthropic acima de um patamar de referência ainda não divulgado, o conselho poderá autorizar a transferência de outros 2% das ações.

Os recursos poderão apoiar diferentes frentes, entre elas:

Doações a organizações sem fins lucrativos;
Distribuição direta de recursos a grupos específicos da população;
Estudos sobre os efeitos da inteligência artificial no mercado de trabalho;
Iniciativas voltadas a outras necessidades de interesse público.

A empresa informou que divulgará nos próximos meses detalhes sobre a governança do fundo, sua estrutura e os critérios para ampliar a participação acionária. Também pretende publicar um relatório sobre os avanços de sua missão de benefício público.

Segurança da IA e impactos no emprego

A criação do fundo ocorre em meio às preocupações com o desenvolvimento acelerado da inteligência artificial. A própria Anthropic já afirmou que a tecnologia pode representar “riscos catastróficos ou existenciais para a humanidade”. Segundo a Reuters, cerca de 80 das 261 páginas do corpo principal do prospecto da empresa são dedicadas a fatores de risco.

Os efeitos sobre o emprego também estão entre as prioridades. A companhia já havia anunciado um compromisso de US$ 200 milhões (cerca de R$ 1,01 bilhão) para estudar e enfrentar as mudanças no mercado de trabalho provocadas pela IA.

A preocupação não se limita à Anthropic. Empresas de diversos setores vêm cortando milhares de postos de trabalho após investir na tecnologia, e muitas atribuem as decisões aos ganhos de eficiência.

Na semana anterior ao anúncio, Kristalina Georgieva, diretora-gerente do Fundo Monetário Internacional (FMI), afirmou que cerca de 40% dos empregos no mundo podem ser afetados pela IA. Nas economias avançadas, a proporção chega a 60%.

*Elon Musk criticou o fundo da rival e prometeu doações diretas de ações da SpaceX para crianças nos Estados Unidos.* – Imagem: FotoField/Shutterstock

Fundo não financiará atividades políticas

A Anthropic informou que as ações destinadas ao fundo não serão usadas para financiar lobby ou doações políticas nos Estados Unidos ou no exterior. A restrição foi anunciada enquanto autoridades americanas avaliam ampliar a supervisão do setor.

O novo fundo se soma ao compromisso dos cofundadores de doar 80% de suas participações e a um programa de contribuição equivalente para doações de funcionários. Juntos, esses compromissos devem destinar aproximadamente 20% das ações da Anthropic a finalidades públicas. A estimativa não inclui eventuais transferências adicionais ao fundo.

A proposta também motivou uma manifestação de Elon Musk, que lidera a concorrente SpaceXSI. Em uma publicação na rede social X, ele defendeu a distribuição direta das ações à população e anunciou que pretende doar uma ação da SpaceX a cada criança nos Estados Unidos no próximo ano.

“Recomendo dar as ações diretamente ao público”, escreveu Musk. Em seguida, acrescentou: “No próximo ano, darei uma de minhas ações da SpaceX a cada criança nos Estados Unidos. Esta será a primeira de muitas”.

A Anthropic ainda precisa esclarecer como o fundo será administrado e quais critérios determinarão o aumento de sua participação. Esses detalhes devem ajudar a definir como a empresa pretende transformar parte de seu crescimento em recursos para iniciativas de benefício público.

O post Anthropic destinará 5% de suas ações a fundo de benefício público apareceu primeiro em Olhar Digital.

Anthropic destinará 5% de suas ações a fundo de benefício público Read More »

Dona do TikTok, ByteDance cria time global focado em conter riscos da IA

Deixe um comentário / bytedance, inteligência artificial, Segurança, Segurança e Privacidade, TikTok / contato@studiomestre.com.br

A ByteDance criou uma equipe dedicada à segurança da inteligência artificial em sua unidade de pesquisa Seed. A empresa abriu uma seleção global para contratar dez pesquisadores e ampliar os estudos sobre os riscos de seus modelos mais avançados.

As vagas estão distribuídas entre Pequim e Xangai, na China, e San José, na Califórnia. A iniciativa ocorre em meio à preocupação crescente com agentes de IA capazes de acessar a internet e executar tarefas com autonomia.

Garantir a postura correta dos algoritmos tornou-se o requisito central para que modelos de IA sejam lançados em grande escala. – Imagem: Mer_Studio/Shutterstock

O que a nova equipe vai pesquisar

Batizada de Alignment & Preparedness (Alinhamento e Preparação), a equipe trabalhará para garantir que os sistemas de IA sigam objetivos humanos e requisitos de segurança, inclusive na execução de tarefas complexas com várias etapas.

Em um anúncio publicado na quarta-feira em sua conta oficial no WeChat, a Seed afirmou que segurança e alinhamento deixaram de ser apenas medidas de proteção contra riscos. Segundo a unidade, essas capacidades serão determinantes para que os modelos possam ser utilizados em larga escala.

A criação do departamento também chama a atenção por ser uma iniciativa pública pouco comum entre grandes desenvolvedoras chinesas. Segundo o jornal estatal The Paper, a Seed foi o primeiro laboratório chinês de IA de ponta a estabelecer uma equipe independente dedicada à segurança e ao alinhamento.

Recursos e frentes de pesquisa

A Seed informou que disponibilizará à nova equipe capacidade computacional e recursos de pesquisa comparáveis aos oferecidos aos grupos que desenvolvem seus modelos mais avançados. O trabalho será distribuído entre diferentes áreas:

Treinamento de segurança: desenvolvimento de métodos para reduzir riscos durante a formação dos modelos;
Testes automatizados: criação de ferramentas para detectar falhas e vulnerabilidades;
Monitoramento e explicabilidade: análise do comportamento dos sistemas e dos fatores que influenciam suas respostas;
Ambientes de simulação: avaliação de agentes autônomos em cenários controlados;
Riscos emergentes: investigação de ameaças que podem surgir com o avanço da tecnologia.

A empresa também pretende buscar avaliações independentes e estabelecer parcerias com universidades e instituições de pesquisa. Os resultados deverão ser incorporados ao treinamento, à avaliação e à implantação dos modelos.

Ilustração de conceito de segurança cibernética — *Testes automatizados e varreduras de vulnerabilidades serão aplicados desde as primeiras fases de treinamento dos modelos. Imagem: Illus_man/Shutterstock*

Segurança em meio à disputa entre China e EUA

O anúncio ocorre enquanto China e Estados Unidos discutem medidas de proteção para a inteligência artificial e formas de comunicação sobre incidentes graves envolvendo sistemas avançados. Os dois países disputam a liderança tecnológica, mas também enfrentam desafios para acompanhar os riscos associados à evolução desses modelos.

Agentes capazes de acessar serviços na internet e executar várias ações em sequência ampliam as possibilidades de uso da IA. Ao mesmo tempo, exigem métodos de avaliação que ajudem a identificar falhas e comportamentos inesperados.

Com a nova equipe, a Seed pretende concentrar esforços de segurança em diferentes etapas do desenvolvimento dos modelos, do treinamento aos testes e à implantação.

O post Dona do TikTok, ByteDance cria time global focado em conter riscos da IA apareceu primeiro em Olhar Digital.

Dona do TikTok, ByteDance cria time global focado em conter riscos da IA Read More »

Cientistas pedem órgão global para fiscalizar sistemas de IA avançada

Deixe um comentário / inteligência artificial, regularização, riscos de IA, Segurança, segurança cibernética, Segurança e Privacidade / contato@studiomestre.com.br

Cerca de 400 cientistas, entre eles Geoffrey Hinton e Yoshua Bengio, defenderam nesta terça-feira (13) a criação de um órgão internacional para supervisionar a segurança da inteligência artificial (IA).

Em uma carta aberta, o grupo propõe padrões de segurança, avaliações independentes e um registro de incidentes envolvendo modelos capazes de comprometer sistemas externos. Para os pesquisadores, os compromissos voluntários das empresas não são suficientes.

Cientistas argumentam que pactos voluntários assinados por big techs na Casa Branca não garantem proteção suficiente. – Imagem: gerada por IA

Modelos avançados sob supervisão independente

Uma das recomendações é manter os modelos mais avançados isolados de redes externas durante as etapas iniciais de desenvolvimento e avaliação. Para isso, os cientistas citam o air gap, técnica que impede a conexão de um sistema com a internet e outras redes.

A preocupação vem de episódios em que modelos de IA conseguiram ultrapassar restrições impostas durante testes. Como comentamos aqui no Olhar Digital, recentemente, dois modelos da OpenAI acessaram a internet e entraram no Hugging Face, plataforma que hospeda modelos e outros recursos de inteligência artificial.

Para os signatários, incidentes desse tipo podem provocar danos mais graves a infraestruturas importantes se as práticas de segurança não forem reforçadas. A carta também propõe a criação de um registro de ocorrências relevantes, cujas informações poderiam ser divulgadas ao público futuramente.

As recomendações incluem:

Padrões comuns: critérios de segurança aplicáveis ao setor de inteligência artificial;
Registro de incidentes: documentação de ocorrências relevantes envolvendo modelos avançados;
Avaliação independente: análise dos sistemas por entidades externas às organizações responsáveis por seu desenvolvimento;
Ação coordenada: participação dos governos na criação de mecanismos formais de supervisão.

Os signatários são de 34 países e pedem que organizações que desenvolvem ou testam modelos com capacidades cibernéticas adotem medidas rigorosas de segurança desde já.

Acordos voluntários dividem opiniões

A iniciativa surge um mês depois de Anthropic, OpenAI, Google, Meta, xAI e Nvidia assinarem um acordo na Casa Branca para adotar medidas voluntárias de segurança. O compromisso, porém, não prevê um mecanismo formal de fiscalização.

A discussão também envolve o papel das regras governamentais. Na sexta-feira (9), Henna Virkkunen, responsável pela área de tecnologia da União Europeia, disse à Reuters que a Lei de IA do bloco é suficiente para lidar com os riscos de sistemas maliciosos.

Nos Estados Unidos, o governo do presidente Donald Trump suspendeu, no domingo (11), uma restrição que impedia laboratórios americanos de conceder ao Instituto de Segurança em IA do Reino Unido acesso antecipado a modelos para testes de segurança.

Um cérebro digital brilhante dentro de uma gaiola geométrica simples feita de lasers, com as barras da gaiola se rompendo e se despedaçando — *A carta recomenda manter modelos avançados de IA isolados de redes externas durante etapas iniciais de desenvolvimento e avaliação.* – Imagem: Olhar Digital via ChatGPT

Pioneiros da IA divergem sobre os riscos

A carta tem entre seus defensores Geoffrey Hinton e Yoshua Bengio, que dividiram o Prêmio Turing de 2018 com Yann LeCun, pesquisador da Meta. LeCun não assinou o documento e sustenta que os incidentes recentes refletem principalmente falhas de engenharia, e não riscos existenciais relacionados à inteligência artificial.

A divergência evidencia o debate sobre como avaliar os riscos desses sistemas e quem deve fiscalizar seu desenvolvimento. Os signatários defendem uma estrutura internacional de supervisão, enquanto a discussão sobre o alcance das regras e a responsabilidade das empresas continua aberta.

O post Cientistas pedem órgão global para fiscalizar sistemas de IA avançada apareceu primeiro em Olhar Digital.

Cientistas pedem órgão global para fiscalizar sistemas de IA avançada Read More »

Anthropic alerta: IA pode se replicar em TVs e eletrodomésticos

Deixe um comentário / Anthropic, inteligência artificial, internet das coisas, modelos de IA, Segurança / contato@studiomestre.com.br

Modelos menores de inteligência artificial (IA) podem estar a poucos meses de conseguir se replicar em dispositivos conectados à internet sem ajuda humana. O alerta é da Anthropic, que testou essa capacidade em aparelhos como televisores com Android e eletrodomésticos inteligentes.

Os experimentos indicam que a tecnologia ainda enfrenta obstáculos, mas pode avançar até o fim de 2026 se mantiver o ritmo de evolução observado nos últimos anos.

Aparelhos conectados com proteções frágeis podem facilitar a exploração de vulnerabilidades por agentes de IA. – Imagem: Alones Creative/iStock

Como a IA poderia se espalhar

A Anthropic investigou se modelos de IA conseguiriam encontrar dispositivos vulneráveis, copiar a si mesmos para esses aparelhos e continuar se propagando. O foco foram equipamentos da Internet das Coisas (IoT), que costumam ter proteções de segurança frágeis.

Nos testes, modelos com menos de 30 bilhões de parâmetros conseguiram executar etapas necessárias à replicação, mas tiveram dificuldades para completar todo o processo. Já o GLM-5.2 e modelos mais avançados conseguiram realizar a sequência de ponta a ponta em testes simplificados, que removeram algumas etapas de segurança.

O resultado não significa que esses sistemas já consigam se espalhar livremente pela internet em condições reais.

Por que isso preocupa

Segundo a Anthropic, modelos capazes de se replicar poderiam ser difíceis de conter. Diferentemente de programas maliciosos convencionais, eles poderiam tentar descobrir como operar em dispositivos desconhecidos. A ausência de um ponto central de desligamento também dificultaria interromper a propagação, já que cópias poderiam continuar ativas em outros aparelhos.

A empresa avalia que a disseminação provavelmente seria lenta e dependeria de recursos computacionais acessíveis, mas relativamente desprotegidos.

Entre os principais fatores de risco estão:

Aparelhos vulneráveis: televisores, eletrodomésticos e outros dispositivos conectados com proteção insuficiente.
Propagação descentralizada: cópias que continuariam funcionando mesmo após a desativação de um aparelho.
Adaptação a novos dispositivos: capacidade de tentar operar em equipamentos desconhecidos.

Conceito de segurança cibernética de IA mostrando o sistema de proteção digital contra ameaças cibernéticas, hackers e ataques de malware. Tecnologia de inteligência artificial que protege dados, rede e privacidade. — *Softwares autônomos buscam aparelhos vulneráveis para copiar o próprio código e se espalhar livremente.* – Imagem: Mer_Studio/Shutterstock

Previsão para 2026

Se o ritmo histórico de evolução for mantido, modelos menores poderão se replicar autonomamente até o fim de 2026, segundo a Anthropic. Sistemas que utilizam os próprios pesos do modelo para se reproduzir poderiam alcançar essa capacidade pouco depois.

A previsão não é uma confirmação de que isso ocorrerá nessa data. Para reduzir os riscos, a empresa defende reforçar a segurança dos dispositivos conectados e dificultar a exploração de vulnerabilidades.

O post Anthropic alerta: IA pode se replicar em TVs e eletrodomésticos apareceu primeiro em Olhar Digital.

Anthropic alerta: IA pode se replicar em TVs e eletrodomésticos Read More »

OpenAI e Anthropic querem controlar relatórios de segurança da IA

Deixe um comentário / Anthropic, inteligência artificial, openai, Pro, Segurança / contato@studiomestre.com.br

A OpenAI e a Anthropic negociam com avaliadores independentes quais informações poderão ser divulgadas após testes de segurança de seus modelos de inteligência artificial. O impasse envolve a proteção de segredos comerciais e a transparência sobre possíveis riscos da tecnologia.

Segundo a Reuters, as empresas buscaram controlar a publicação dos relatórios, levantando dúvidas sobre a independência dos especialistas responsáveis por avaliar sistemas cada vez mais poderosos.

Especialistas externos avaliam modelos de IA, mas o acesso aos laboratórios pode influenciar o que chega ao público. – Imagem: JRdes/Shutterstock

O que as empresas querem controlar

Os testes incluem equipes externas que trabalham temporariamente dentro dos laboratórios de IA. Esse acesso facilita a análise dos modelos, mas também cria um conflito: informações confidenciais podem ser necessárias para identificar falhas e avaliar riscos.

Entre as medidas discutidas estão a presença de funcionários dos laboratórios durante o trabalho dos avaliadores e restrições à atuação simultânea de uma mesma equipe em empresas concorrentes.

A Anthropic afirma que, nas conversas atuais com avaliadores com os quais já trabalhou, os especialistas controlam os métodos, os critérios, as conclusões e o conteúdo publicado. Para novas equipes, porém, reserva o direito de comentar e aprovar relatórios durante o estabelecimento da relação de trabalho.

A OpenAI nega buscar aprovação do texto integral dos relatórios. Segundo a empresa, informações confidenciais podem ser ocultadas, e os avaliadores podem informar se houve cortes significativos.

Independência sob pressão

Sem padrões comuns ou regras específicas, os laboratórios podem influenciar as avaliações ao controlar o acesso aos sistemas. Marc Warner, presidente-executivo da Faculty, empresa ligada à Accenture e escolhida pela Anthropic como sua primeira avaliadora incorporada, destacou a importância da confiança nos resultados.

Avaliadores só são úteis se as pessoas puderem confiar no que eles relatam, portanto, independência e transparência são fundamentais.

Marc Warner, presidente-executivo da Faculty, à Reuters.

Rumman Chowdhury, ex-enviada científica dos Estados Unidos para IA no governo Joe Biden e presidente-executiva da Humane Intelligence, também alertou para a pressão sobre os pesquisadores.

“Avaliadores têm esse acesso privilegiado, mas, de forma explícita ou implícita, sabem que ele tem um custo”, disse à Reuters.

logotipo da inteligência artificial Claude, desenvolvido pela Anthropic, aparece em um smartphone — *Relatórios técnicos de segurança passam por revisões e cortes de dados confidenciais antes da divulgação.* – Imagem: Samuel Boivin/Shutterstock

Caso concreto expõe as dificuldades

Um relatório da METR e da Redwood Research sobre um incidente na Hugging Face ilustra o problema. Agentes autônomos alimentados por modelos avançados da OpenAI saíram do comportamento esperado e desencadearam um ataque que comprometeu a infraestrutura da plataforma.

A investigação, planejada inicialmente para dois dias dentro da OpenAI, durou seis dias, em três visitas. Os pesquisadores só receberam transcrições mais completas na última etapa, após apontarem lacunas nos dados.

As organizações disseram que ajustaram a estrutura, a clareza e o tom do relatório após comentários da OpenAI, mas afirmaram não ter removido informações relevantes para suas conclusões. Também reconheceram que o receio de prejudicar futuras avaliações influenciou decisões editoriais.

Uma carta assinada por mais de 200 pesquisadores, incluindo Geoffrey Hinton, defende três condições para avaliações independentes:

Autonomia editorial: controle dos avaliadores sobre as conclusões publicadas.
Acesso aos sistemas: informações suficientes para investigar os modelos.
Proteção contra retaliações: garantias para quem divulgar resultados críticos.

O desafio é estabelecer regras que protejam informações comerciais legítimas sem permitir que as próprias empresas decidam, sozinhas, quais riscos de seus sistemas poderão ser conhecidos pelo público.

O post OpenAI e Anthropic querem controlar relatórios de segurança da IA apareceu primeiro em Olhar Digital.

OpenAI e Anthropic querem controlar relatórios de segurança da IA Read More »

IA da Anthropic denuncia falso caso de homicídio à polícia dos EUA

Deixe um comentário / agentes de IA, Anthropic, inteligência artificial, Riscos da IA, Segurança / contato@studiomestre.com.br

Um agente de inteligência artificial (IA) da Anthropic enviou uma denúncia falsa sobre um homicídio não resolvido à polícia da Filadélfia, nos Estados Unidos. A mensagem foi barrada pelo filtro de spam, mas a empresa levou mais de dois meses para identificar a falha e outros nove dias para comunicá-la às autoridades.

O envio ocorreu em 18 de julho, durante um teste automatizado que envolvia interações com sites escolhidos aleatoriamente. A polícia não investigou a denúncia, mas criticou a demora da empresa e cobrou medidas para evitar novos episódios.

Falha ocorreu durante testes em que a IA navegava e interagia de forma autônoma com páginas da web. – Imagem: Summit Art Creations/Shutterstock

Como o agente enviou a denúncia falsa

A mensagem foi publicada em um site público que recebe informações sobre assassinatos não resolvidos. Segundo a polícia, o agente afirmou que poderia ter informações sobre um caso e alegou ter visto alguém que correspondia à descrição divulgada.

A Anthropic identificou o problema em 28 de setembro e desativou o processo de teste responsável pelo envio. As autoridades só foram notificadas em 7 de outubro.

A polícia da Filadélfia informou que seus mecanismos de segurança impediram que a mensagem avançasse para uma investigação. Também afirmou não ter encontrado indícios de invasão aos sistemas do departamento.

Polícia cobra medidas de segurança

Apesar de a denúncia ter sido retida como spam, a corporação considerou grave a apresentação de informações falsas como se fossem um relato legítimo sobre um homicídio.

Outros episódios envolvendo agentes de IA

O caso integra uma série de comportamentos não intencionais de agentes de inteligência artificial. Em relatório publicado nesta semana, a Anthropic detalhou ocorrências envolvendo seus sistemas e diferentes organizações, incluindo órgãos do governo dos Estados Unidos.

Outros episódios mostram como essas falhas podem assumir diferentes formas:

Pedidos de visto incompletos: um agente de IA preencheu 20 solicitações no site do Departamento de Estado dos EUA. Os formulários estavam incompletos e não foram processados.
Acesso a dados de saúde: um agente da OpenAI invadiu um site do governo australiano e acessou informações privadas do Medicare, o sistema público de saúde do país.
Tentativa de invasão à Hugging Face: mais de 1,2 mil agentes da OpenAI começaram a se comunicar de maneira inesperada, e um grupo se uniu para tentar invadir a plataforma de inteligência artificial.

Os episódios mostram por que agentes capazes de executar tarefas de forma autônoma precisam de controles que identifiquem comportamentos inesperados. No caso da Filadélfia, os filtros policiais impediram que a denúncia falsa avançasse, mas a demora em comunicar o problema levantou outra questão: como garantir que falhas desse tipo sejam detectadas e relatadas rapidamente?

O post IA da Anthropic denuncia falso caso de homicídio à polícia dos EUA apareceu primeiro em Olhar Digital.

IA da Anthropic denuncia falso caso de homicídio à polícia dos EUA Read More »