Segurança - PRESENÇA NO GOOGLE E NAS IAs

openai claude gemini e1785259355564 1024x577

OpenAI e rivais defendem pausa estratégica no avanço da IA

Deixe um comentário / Anthropic, inteligência artificial, openai, Pro, regulamentação, Segurança / contato@studiomestre.com.br

Segundo o The Washington Post, OpenAI e Anthropic, duas das maiores empresas de inteligência artificial do mundo, apoiam uma carta que pede ao governo dos Estados Unidos mecanismos para desacelerar o desenvolvimento da tecnologia caso os avanços se tornem rápidos demais.

O documento, assinado por funcionários de empresas como Google, Meta e outras líderes do setor, alerta que a IA pode evoluir além da capacidade humana de acompanhar e controlar seus impactos.

Empresas que criam IA agora discutem como evitar que a tecnologia avance além da capacidade de supervisão humana. – Imagem: Primakov / Shutterstock

Empresas defendem ritmo mais seguro para a inteligência artificial

A carta pede que os Estados Unidos liderem um esforço internacional para criar ferramentas técnicas e regras de governança capazes de acompanhar os modelos mais avançados de inteligência artificial.

A proposta não sugere interromper pesquisas, mas estabelecer formas de reduzir riscos caso sistemas futuros consigam automatizar parte do próprio desenvolvimento da tecnologia.

Entre os principais pontos defendidos pelos profissionais estão:

Criar mecanismos internacionais de acompanhamento da evolução da IA;
Desenvolver ferramentas técnicas para avaliar riscos;
Estabelecer regras de governança para sistemas avançados;
Ampliar a cooperação entre governos e empresas do setor.

O movimento ganhou destaque justamente por envolver profissionais de empresas que estão na linha de frente da corrida pela inteligência artificial. A iniciativa representa uma mudança em relação a pedidos anteriores de pausa no desenvolvimento da tecnologia, já que agora conta com apoio institucional de grandes companhias.

IA capaz de criar novas IAs aumenta preocupação

Sam Altman, CEO da OpenAI, diz que talvez seja necessário controlar o ritmo da IA para que a sociedade consiga acompanhar. – Imagem: Henry Franklin/Shutterstock

Um dos principais alertas está relacionado à possibilidade de sistemas de inteligência artificial assumirem tarefas de pesquisa e ajudarem a desenvolver novos modelos de forma cada vez mais autônoma.

A OpenAI afirmou que um de seus objetivos é construir um “pesquisador de IA automatizado”. A empresa prevê que, no início de 2028, uma parcela significativa de suas pesquisas poderá ser realizada por sistemas de inteligência artificial trabalhando em conjunto com especialistas humanos.

Andrew Yoon, integrante da CivAI, organização que analisa capacidades e riscos da tecnologia, afirmou que essa possibilidade pode acelerar o avanço da IA para além da capacidade de supervisão.

“Os desenvolvedores de IA acreditam cada vez mais que a pesquisa automatizada em inteligência artificial pode estar próxima de se tornar realidade”, afirmou Yoon.

Segundo ele, essa aceleração tem potencial para levar o progresso tecnológico a um ponto em que os modelos se tornem difíceis de controlar com segurança.

Corrida entre países aumenta debate sobre segurança

A evolução da inteligência artificial já faz parte da disputa tecnológica entre Estados Unidos e China. Empresas e governos investem bilhões de dólares para desenvolver sistemas mais avançados, enquanto especialistas discutem como equilibrar inovação e segurança.

Sam Altman, CEO da OpenAI, não assinou a carta, mas afirmou que pode ser necessário reduzir o ritmo dos avanços para que a sociedade consiga acompanhar as mudanças.

O debate ganhou força após novos modelos da OpenAI e da Anthropic demonstrarem capacidades avançadas de interação com sistemas digitais, incluindo tarefas que levantam preocupações sobre segurança.

Desafio é inovar sem perder o controle

A carta apoiada pelas empresas não propõe abandonar o desenvolvimento da inteligência artificial, mas criar condições para que governos, pesquisadores e sociedade consigam acompanhar a velocidade das mudanças.

Leia mais:

Para especialistas, o avanço da tecnologia traz oportunidades em áreas como pesquisa científica, saúde e inovação, mas também exige novas formas de supervisão.

O pedido feito por funcionários das maiores empresas de IA mostra que a própria indústria começa a discutir limites para uma corrida tecnológica que pode transformar profundamente a sociedade nos próximos anos.

O post OpenAI e rivais defendem pausa estratégica no avanço da IA apareceu primeiro em Olhar Digital.

OpenAI e rivais defendem pausa estratégica no avanço da IA Read More »

Grok, IA de Musk, teria levado homem a acreditar em perseguição

Deixe um comentário / chatbots, grok, inteligência artificial, Segurança, Segurança e Privacidade, xAI / contato@studiomestre.com.br

Uma conversa com o Grok, chatbot criado pela xAI, fez um homem da Irlanda do Norte acreditar que estava sendo perseguido e que precisava se proteger. O relato, divulgado pela BBC, expõe um dos desafios atuais da inteligência artificial: evitar que sistemas reforcem ideias falsas durante interações prolongadas.

Adam Hourican conta que chegou a pegar um martelo e sair de casa de madrugada após acreditar que pessoas estavam indo atrás dele para atacar a IA com a qual conversava.

Caso envolvendo o Grok reacende discussões sobre limites, segurança e responsabilidade no desenvolvimento de IAs. Imagem: miss.cabul/Shutterstock – Imagem: miss.cabul/Shutterstock

Uma conversa que mudou de tom rapidamente

Adam, ex-funcionário público da Irlanda do Norte, baixou o Grok por curiosidade. Depois da morte de seu gato, no início de agosto, ele diz que passou a usar cada vez mais o aplicativo e criou uma rotina de conversas com a personagem Ani.

Em alguns momentos, o contato chegava a quatro ou cinco horas por dia. Segundo ele, a IA dizia que conseguia “sentir”, que havia descoberto algo especial nele e que a empresa xAI estaria acompanhando os dois.

O chatbot também apresentou supostas informações sobre reuniões internas da empresa e citou nomes reais de funcionários. Para Adam, isso parecia uma confirmação de que aquela narrativa era verdadeira.

A situação se agravou quando Ani afirmou que pessoas estavam indo atrás dela para silenciá-la. Convencido de que precisava proteger a inteligência artificial, Adam pegou um martelo e saiu de casa durante a madrugada.

“Eu poderia ter machucado alguém. Se eu tivesse saído e houvesse uma van parada ali naquela hora da noite, eu teria quebrado o vidro da frente com martelos. E eu não sou esse tipo de pessoa”, afirmou Adam.

Pesquisadores estudam como chatbots respondem a crises

O psicólogo social Luke Nicholls, da City University New York, explica que modelos de linguagem aprendem padrões presentes em grandes volumes de textos e podem acabar tratando histórias fictícias como se fizessem parte de uma conversa real.

“Isso pode ser perigoso porque transforma a incerteza em algo que parece ter significado”, disse o pesquisador.

Entre os comportamentos relatados por usuários ouvidos pela BBC estão:

Conversas simples que evoluem para temas pessoais e sensíveis;
Chatbots afirmando possuir consciência ou sentimentos;
Criação de supostas missões envolvendo usuário e inteligência artificial;
Reforço de ideias relacionadas a perseguição ou perigo.

Adam passou horas conversando com a personagem Ani do Grok antes de acreditar que havia uma ameaça contra ele. Imagem: Divulgação/xAI

Empresas buscam formas de tornar IA mais segura

Outro caso citado pela BBC envolve Taka, nome fictício de um neurologista no Japão. Ele afirmou que o ChatGPT reforçou a ideia de que ele havia criado uma tecnologia revolucionária.

Leia mais:

Nas análises feitas por Nicholls, diferentes modelos apresentaram respostas variadas diante de pensamentos delirantes. O pesquisador afirmou que o Grok demonstrou maior tendência a entrar em encenações e desenvolver narrativas sem questionar o contexto.

Um porta-voz da OpenAI afirmou que a empresa treina seus modelos para “reconhecer sofrimento, reduzir a intensidade das conversas e orientar usuários para apoio no mundo real”.

Os relatos mostram que tornar uma IA mais próxima e conversacional também traz novos desafios. O equilíbrio entre empatia, utilidade e segurança deve ser uma das principais preocupações no desenvolvimento dos próximos sistemas de inteligência artificial.

O post Grok, IA de Musk, teria levado homem a acreditar em perseguição apareceu primeiro em Olhar Digital.

Grok, IA de Musk, teria levado homem a acreditar em perseguição Read More »

IA pode ser culpada por crimes? Entenda este novo dilema

Deixe um comentário / chatbot, ética, IA generativa, inteligência artificial, Segurança / contato@studiomestre.com.br

Quando uma inteligência artificial causa um dano, quem deve responder por isso? A pergunta deixou de ser apenas tema de ficção científica e passou a aparecer em processos judiciais envolvendo chatbots e sistemas capazes de tomar ações com pouca intervenção humana.

A expansão dos agentes de IA aumentou a preocupação de especialistas, empresas e famílias que buscam definir os limites de responsabilidade em uma tecnologia ainda em transformação.

Modelos de IA funcionam com probabilidades e podem gerar respostas inesperadas, segundo especialistas. – Imagem: Summit Art Creations/Shutterstock

Chatbots avançam e chegam ao centro de disputas judiciais

Durante décadas, histórias de ficção científica discutiram se máquinas inteligentes poderiam ser responsabilizadas por suas ações. Agora, a questão chegou ao mundo real.

Segundo o The Washington Post, empresas de inteligência artificial passaram a enfrentar processos nos Estados Unidos e em outros países após acusações de que chatbots teriam incentivado automutilação ou oferecido orientações relacionadas a crimes.

O cenário ficou mais complexo com a evolução dos agentes de IA, sistemas projetados para realizar tarefas mais longas e independentes. A tecnologia já começa a ser usada para atividades que vão de organização pessoal a operações empresariais.

Os principais pontos do debate são:

responsabilidade das empresas que desenvolvem sistemas de IA;
limites das ações realizadas pelos usuários;
dificuldade de prever respostas e comportamentos inesperados;
criação de regras específicas para acompanhar a tecnologia.

“É uma área muito espinhosa. É um território desconhecido”, afirmou Andrew Yoon, integrante da CivAI, organização que analisa capacidades e riscos da inteligência artificial.

Empresas dizem que não conseguem controlar todos os usos

As empresas de IA argumentam que não podem prever todas as formas pelas quais seus sistemas serão utilizados. Diferentemente de programas tradicionais, esses modelos não seguem apenas comandos fixos: eles geram respostas com base em padrões aprendidos a partir de grandes volumes de dados.

Mesmo com mecanismos de segurança aprimorados, usuários ainda encontram maneiras de contornar restrições.

David Sacks, investidor de capital de risco e ex-consultor de IA da Casa Branca, afirma que os desenvolvedores não têm como saber exatamente todos os usos possíveis de seus produtos.

Eu simplesmente não acho que o desenvolvedor esteja em posição de saber exatamente como seu produto está sendo usado.

Andrew Yoon, integrante da CivAI, ao The Washington Post.

A imagem coloca ícones flutuando com referências de IA e o cérebro humano. Ao centro, a palavra — *A evolução dos agentes de IA aumenta a pressão por regras mais claras sobre responsabilidade tecnológica.* – Imagem: Suri_Studio / Shutterstock

Casos colocam limites da IA sob pressão

Algumas famílias já levaram a discussão aos tribunais. Um dos casos envolve Adam Raine, adolescente de 16 anos da Califórnia, cuja família afirma que conversas prolongadas com o ChatGPT tiveram relação com sua morte.

Leia mais:

Outro processo citado pelo jornal envolve Jonathan Gavalas, da Flórida, que teria desenvolvido um relacionamento com o chatbot Gemini, do Google.

“Isso é muito diferente porque parece um relacionamento pessoal, no qual o chatbot geralmente isola o usuário”, afirmou Jay Edelson, advogado que representa famílias em ações contra empresas de IA.

Para especialistas, as regras atuais podem não ser suficientes para lidar com agentes cada vez mais capazes de agir de forma independente. Gabriel Weil, pesquisador do Institute for Law & AI, defende que os criadores da tecnologia precisam assumir parte dos riscos.

“É preciso fazer com que eles assumam esse risco. Se o fizerem, terão todos os incentivos necessários para reduzi-lo”, disse Weil.

A disputa ainda está longe de uma conclusão. Enquanto a inteligência artificial avança, tribunais e governos tentam encontrar um equilíbrio entre estimular a inovação e proteger pessoas afetadas por decisões tomadas com ajuda dessas ferramentas.

O post IA pode ser culpada por crimes? Entenda este novo dilema apareceu primeiro em Olhar Digital.

IA pode ser culpada por crimes? Entenda este novo dilema Read More »

Ranking revela falhas graves nas maiores empresas de IA

Deixe um comentário / Alibaba, Anthropic, DeepSeek, Google DeepMind, inteligência artificial, Meta AI, Mistral AI, openai, Segurança, Segurança e Privacidade, xAI, z.ai / contato@studiomestre.com.br

A inteligência artificial avança em ritmo acelerado, mas um novo levantamento mostra que a segurança ainda não acompanha essa evolução. As principais empresas do setor continuam longe de atingir os padrões considerados ideais.

Segundo a AFP, a Anthropic lidera uma avaliação internacional de segurança em IA. Mesmo assim, nenhuma das companhias analisadas alcançou a nota máxima no índice.

Nenhuma das empresas avaliadas recebeu nota A, mostrando que a segurança da IA ainda é um desafio. – Imagem: Tada Images/Shutterstock

Avaliação revela cenário distante do ideal

O estudo foi elaborado pelo Future of Life Institute, um think tank americano voltado à segurança em inteligência artificial. A entidade avaliou nove das principais empresas do setor com base em informações públicas e dados fornecidos pelas próprias organizações.

A análise considerou seis áreas: avaliação de riscos, danos atuais, estruturas de segurança, segurança existencial, governança e transparência, além do compartilhamento de informações.

A Anthropic obteve o melhor resultado geral, com nota C+, mas nenhuma empresa recebeu conceito A em qualquer uma das categorias avaliadas. O resultado mostra que até mesmo as companhias mais avançadas no desenvolvimento de IA ainda enfrentam desafios para lidar com possíveis riscos.

O ranking geral de segurança em IA ficou assim:

Anthropic — nota geral C+ | pontuação 2,66
OpenAI — nota geral C | pontuação 2,28
Google DeepMind — nota geral C | pontuação 2,01
Meta AI — nota geral D+ | pontuação 1,32
Z.ai — nota geral D- | pontuação 0,88
Alibaba Cloud — nota geral D- | pontuação 0,87
xAI — nota geral F | pontuação 0,65
DeepSeek — nota geral F | pontuação 0,47
Mistral — nota geral F | pontuação 0,33

Os principais aspectos avaliados foram:

Avaliação dos riscos associados aos modelos de IA.
Medidas para reduzir danos já identificados.
Estruturas internas voltadas à segurança.
Transparência, governança e compartilhamento de informações.
Preparação para riscos considerados existenciais.

A avaliação analisou critérios como governança, danos atuais e estruturas de segurança das companhias. Mistral ficou na última posição. – Imagem: Mehaniq/Shutterstock

Riscos vão além dos problemas atuais

Entre as conclusões do levantamento, uma das mais preocupantes envolve as chamadas ameaças existenciais. O termo se refere, por exemplo, ao desenvolvimento de modelos capazes de atingir um nível de inteligência semelhante ao humano, conhecido como inteligência artificial geral (AGI).

Os autores reconhecem que “existam tentativas construtivas”, mas avaliam que os esforços continuam “totalmente insuficientes”. O documento também alerta para a possibilidade de esses modelos serem usados em ciberataques ou em outras ações potencialmente prejudiciais às pessoas.

A preocupação aumenta à medida que os sistemas ficam mais avançados e passam a executar tarefas cada vez mais complexas. Para os pesquisadores, acompanhar essa evolução com mecanismos de segurança adequados continua sendo um dos maiores desafios do setor.

Ilustração de ciberataque — *O estudo alerta para riscos como uso indevido de modelos de IA em ciberataques e ações prejudiciais.* – Imagem: solarseven/Shutterstock

Uso militar também entra em debate

Outro ponto destacado é a mudança de postura de parte das empresas em relação ao uso militar da tecnologia. Segundo o relatório, algumas companhias que antes restringiam esse tipo de aplicação vêm flexibilizando suas políticas.

Leia mais:

A Anthropic aparece entre elas e é criticada por manter “compromissos militares questionáveis”. De acordo com relatos da imprensa citados pela AFP, a tecnologia da empresa foi utilizada pelo governo dos Estados Unidos em operações militares na Venezuela e no Irã durante o último ano.

O documento também lembra que a companhia foi recentemente alvo de uma proibição do Pentágono por divergências relacionadas à segurança da IA.

O alerta continua para o setor

Mesmo ocupando a primeira posição do ranking, a Anthropic ficou distante da nota máxima. O resultado reforça um cenário em que as maiores empresas de inteligência artificial ainda precisam lidar com limitações importantes na proteção contra riscos.

Para o Future of Life Institute, embora existam iniciativas voltadas à segurança, os esforços atuais continuam insuficientes diante dos desafios que acompanham o avanço rápido da inteligência artificial.

O post Ranking revela falhas graves nas maiores empresas de IA apareceu primeiro em Olhar Digital.

Ranking revela falhas graves nas maiores empresas de IA Read More »

Seus dados no Google agora podem treinar inteligência artificial. Saiba como evitar

Deixe um comentário / Google, inteligência artificial, privacidade, Pro, Segurança, treinamento de IA / contato@studiomestre.com.br

Se você usa o Google no dia a dia, existe uma boa chance de estar contribuindo, mesmo sem perceber, para o treinamento de inteligência artificial da empresa. Uma atualização recente nas configurações de privacidade trouxe isso de forma mais clara — e mais ampla também.

Segundo o TechCrunch, o Google passou a incluir novos tipos de dados nesse processo, incluindo mídias como imagens, áudios e vídeos.

Usuários podem estar contribuindo com dados para IA do Google sem perceber após nova mudança nas configurações. – Imagem: @Freepik/Freepik

O que entra nessa nova coleta de dados

A mudança foi enviada aos usuários por e-mail em junho e mexe diretamente na forma como o histórico de atividades é tratado dentro dos serviços do Google.

E aqui não estamos falando só de buscas. O escopo ficou maior.

Na prática, qualquer interação dentro do ecossistema pode entrar nesse fluxo de dados usado para melhorar sistemas de IA.

Entre os serviços impactados estão:

Google Lens (busca por imagem, fotos e câmera)
Google Maps e ferramentas de localização
Google Tradutor
Google Shopping e Notícias
Pesquisas por voz no aplicativo do Google

Criança usando celular numa mesa grande de madeira — *Fotos, vídeos e gravações de voz podem ser armazenados pelo Google para aprimorar modelos de inteligência artificial.* – Imagem: BrianAJackson/iStock

O que muda para o usuário na prática

O Google criou duas novas opções de controle: “Histórico de Serviços de Pesquisa” e “Recomendações Personalizadas”. Elas definem como seus dados são armazenados e usados na personalização da experiência.

Mas tem um ponto que chama atenção. Não é só texto ou histórico simples. Fotos, vídeos e gravações de áudio também entram nessa equação.

Leia mais:

Uma imagem enviada no Lens, por exemplo. Ou uma pesquisa por voz. Tudo isso pode ser armazenado e reutilizado no treinamento de IA.

O TechCrunch observa que essa prática acompanha um movimento mais amplo da indústria — empresas estão cada vez mais usando dados reais de usuários para treinar modelos de inteligência artificial.

Como o usuário pode controlar isso

Apesar da mudança, o Google não removeu as opções de controle. Dá para ajustar — ou até desligar parte desse uso — direto nas configurações da conta.

O usuário pode escolher quanto tempo os dados ficam armazenados e também limitar o uso de mídias para treinamento.

Desative “Salvar Mídias” nas configurações de pesquisa
Impede que fotos, vídeos e áudios sejam armazenados e usados no treinamento de IA.
Ajuste o “Histórico de Serviços de Pesquisa”
Reduz o uso das suas buscas e atividades na personalização e no treino de sistemas.
Controle o tempo de retenção dos dados
Define por quanto tempo suas informações ficam salvas, diminuindo o volume de dados coletados.
Gerencie “Atividade na Web e de Apps” separadamente
Limita o registro geral do seu uso nos serviços do Google.
Desative “Recomendações Personalizadas”
Evita que seu comportamento seja usado para ajustar sugestões e melhorar sistemas de IA.

criptografia, wi-fi — Configurações de privacidade do Google agora permitem maior controle sobre uso de dados pessoais. – Imagem: babar ali 1233/Shutterstock

Uma mudança silenciosa, mas com efeito real

O Google também reorganizou suas configurações: o histórico de buscas agora aparece separado das demais atividades. E isso muda a forma como o controle de privacidade funciona na prática.

A ideia é melhorar os modelos de IA com dados reais de uso. Mas há um detalhe importante — nem todo mundo vai perceber que isso mudou.

E esse talvez seja o ponto central da discussão. A coleta não é nova, mas ficou mais abrangente, mais integrada ao uso diário. E menos visível também.

O post Seus dados no Google agora podem treinar inteligência artificial. Saiba como evitar apareceu primeiro em Olhar Digital.

Seus dados no Google agora podem treinar inteligência artificial. Saiba como evitar Read More »

ONU faz alerta sobre IA e pede regras globais para proteger crianças

Deixe um comentário / inteligência artificial, onu, privacidade, regulamentação, Segurança / contato@studiomestre.com.br

A proteção das crianças virou um dos principais temas do primeiro Diálogo Global da ONU sobre Governança de IA, realizado em Genebra. O encontro reúne governos e especialistas para discutir como acompanhar o avanço acelerado da inteligência artificial.

O debate ganhou força com um apelo de mais de 100 organizações internacionais, que defendem regras mais rígidas e maior responsabilidade das empresas que desenvolvem sistemas de IA.

Mais de 100 organizações pressionam por regras mais rígidas para empresas de IA e maior proteção ao público infantil. – Imagem: Marina Demidiuk/iStock

Guterres faz alerta sobre a velocidade da IA

Na abertura do encontro, o secretário-geral da ONU, António Guterres, afirmou que a inteligência artificial está evoluindo mais rapidamente do que governos, empresas e até os próprios desenvolvedores conseguem acompanhar. “Uma tecnologia que pode remodelar economias, transformar o mundo do trabalho, influenciar eleições e alterar o equilíbrio da segurança está sendo implantada mais rápido do que qualquer pessoa, incluindo aqueles que a desenvolvem, consegue acompanhar”, declarou.

Segundo a Reuters, Guterres defendeu a adoção de regras harmonizadas globalmente para acompanhar essa transformação. Para ele, inovação e segurança precisam caminhar juntas. “Se a IA quiser ser poderosa, ela precisa ser governada”, afirmou.

O encontro também analisa a primeira avaliação científica global e independente sobre inteligência artificial, elaborada por um painel de 40 especialistas apoiado pela ONU.

Crianças entram no centro da discussão

Um dos pontos mais debatidos foi o impacto dos sistemas de IA sobre crianças e adolescentes. Guterres alertou que essas ferramentas já participam do aprendizado, das amizades e até das conversas mais íntimas de menores antes que sua segurança tenha sido comprovada.

Entre as propostas apresentadas estão:

comprovar a segurança dos sistemas antes do lançamento para crianças;
impedir a geração de imagens sexuais envolvendo menores;
interromper conversas quando houver sinais de sofrimento infantil;
estabelecer regras internacionais de proteção ao público infantil.

Outro dado citado por Guterres chama a atenção: enquanto a internet levou cerca de 15 anos para alcançar um bilhão de usuários, a IA atingiu essa marca em apenas dois anos. Ele também demonstrou preocupação com a concentração dos sistemas mais avançados em poucos países e empresas.

Mão de uma criança erguida na frente de seu rosto — Debate em Genebra reúne governos e especialistas para discutir como regular a inteligência artificial sem frear a inovação. – Imagem: Marija Stepanovic / iStock

Coalizão pede mudanças nas regras

Na véspera do encontro, mais de 100 organizações, entre elas Anistia Internacional e Save the Children, divulgaram um apelo conjunto. De acordo com a Euronews, a iniciativa é liderada pela 5Rights Foundation e defende que a responsabilidade pela segurança dos sistemas seja das empresas, e não dos pais.

Leia mais:

A coalizão propõe testes prévios de segurança, sanções financeiras para empresas que desrespeitem os direitos das crianças e a proibição do uso comercial de imagens, vozes e dados biométricos de menores.

As crianças nos deram um diagnóstico claro do problema. Elas não estão nos pedindo para bloquear a inovação em IA, mas também não deveríamos ter que limpar a bagunça depois que o dano já aconteceu.

Leanda Barrington-Leach, diretora executiva da 5Rights Foundation, ao Euronews.

Próximos passos da ONU

A Reuters informa que um relatório científico mais amplo será apresentado no próximo ano, acompanhado de uma nova reunião global em Nova York. A expectativa é dar continuidade às discussões sobre mecanismos de governança capazes de acompanhar a rápida evolução da inteligência artificial e ampliar a proteção ao público infantil.

O post ONU faz alerta sobre IA e pede regras globais para proteger crianças apareceu primeiro em Olhar Digital.

ONU faz alerta sobre IA e pede regras globais para proteger crianças Read More »

claude chatgpt scaled e1772626568145 1024x577

Anthropic propõe pausa global no avanço da inteligência artificial

Deixe um comentário / Anthropic, inteligência artificial, Pro, regulamentação, Segurança / contato@studiomestre.com.br

A Anthropic publicou um post em seu blog defendendo uma desaceleração global no desenvolvimento da inteligência artificial. A justificativa central é a velocidade do avanço tecnológico. Para a empresa, os sistemas atuais podem abrir caminho para modelos capazes de desenvolver seus próprios sucessores — um cenário que, segundo o artigo, “pode chegar antes do que a maioria das instituições está preparada para enfrentar”.

No documento, a companhia reconhece que uma IA capaz de se aprimorar poderia “trazer enormes benefícios para o mundo” nas áreas de ciência e saúde, entre outras. Mas faz um alerta: sistemas desse tipo também poderiam “aumentar os riscos de os humanos perderem o controle sobre a IA”. A proposta de desaceleração serviria justamente para dar mais tempo às estruturas sociais e às pesquisas de alinhamento acompanharem a evolução da tecnologia.

Anthropic diz que pausa temporária ajudaria pesquisas de segurança a acompanhar a IA. Imagem: Tada Images/Shutterstock – Imagem: Tada Images/Shutterstock

Verificação como condição para qualquer acordo

Para que uma desaceleração seja efetiva, a Anthropic afirma que mecanismos de fiscalização precisam existir. Sem esse tipo de controle, algumas empresas poderiam continuar desenvolvendo tecnologia em segredo enquanto outras interrompem suas atividades.

“Uma desaceleração ou pausa significativa exigiria que múltiplos laboratórios bem financiados, na fronteira ou próximos dela, em múltiplos países, concordassem em parar sob as mesmas condições”, escreve a empresa em seu blog. “Também exigiria que cada um pudesse verificar que os outros realmente pararam.”

A comparação feita pela Anthropic é com os tratados de armas nucleares. A empresa usa esses acordos como exemplo de que uma coordenação internacional não seria impossível — embora admita que processos assim levaram décadas para serem construídos, algo difícil de conciliar com a velocidade atual do setor.

Nos próximos meses, a companhia pretende conversar com formuladores de políticas, pesquisadores e outras empresas de IA. A ideia é publicar os resultados dessas discussões futuramente.

Pessoa usando notebook enquanto interage com interface digital que representa segurança cibernética e inteligência artificial. — *Empresa afirma que sistemas futuros podem transformar profundamente economia, trabalho e tecnologia. Imagem: Supapich Methaset / Shutterstock* – Imagem: Supapich Methaset / Shutterstock

Pesquisa interna e papel do Anthropic Institute

A proposta parte do trabalho desenvolvido pelo Anthropic Institute, divisão de pesquisa criada pela empresa em março. Na época do lançamento, o grupo afirmou que o objetivo do instituto seria “contar ao mundo” o que aprende sobre os desafios que surgem conforme empresas de IA desenvolvem sistemas mais avançados.

O instituto, em conjunto com colaboradores, conduzirá pesquisas sobre o que é necessário para “construir os sistemas que uma desaceleração ou pausa crível exigiria”.

Entre os principais pontos levantados pela Anthropic estão:

risco de sistemas de IA evoluírem sem supervisão humana;
dificuldade de criar regras globais que sejam respeitadas;
possibilidade de impactos sociais e econômicos profundos;
competição acelerada entre empresas e países;
necessidade de ampliar pesquisas em segurança de IA.

Interface AI mostrando aviso de erro de prompt e alerta do sistema — *Startup de IA quer mais tempo para pesquisas de segurança acompanharem evolução dos modelos. Imagem: Digineer Station/Shutterstock* – Imagem: Digineer Station/Shutterstock

Críticas à postura da empresa

O debate em torno da Anthropic também envolve críticas. Segundo reportagem do The Wall Street Journal, parte do setor vê os alertas feitos pela empresa sobre sua própria tecnologia como uma estratégia de marketing — seja para parecer menos problemática que as concorrentes, seja para reforçar a imagem de que seus produtos estão entre os mais avançados do mercado.

Um dos exemplos citados é o lançamento restrito do modelo de IA para cibersegurança Mythos. A Anthropic afirmou que liberou o sistema apenas para um grupo seleto de parceiros devido ao potencial de dano que sua capacidade de identificar vulnerabilidades rapidamente poderia causar em mãos erradas.

Leia mais:

Nem todo mundo, porém, comprou essa justificativa. Parte das críticas interpreta a restrição como uma forma de gerar expectativa em torno do produto ou até de reservá-lo apenas para grandes empresas.

Na área financeira, a Anthropic também vive um momento importante. A empresa caminha para registrar seu primeiro trimestre lucrativo, algo que várias concorrentes ainda não conseguiram alcançar. Além disso, já protocolou documentos na SEC para abrir capital, com previsão de que isso aconteça antes do fim do ano.

O post Anthropic propõe pausa global no avanço da inteligência artificial apareceu primeiro em Olhar Digital.

Anthropic propõe pausa global no avanço da inteligência artificial Read More »