Riscos da IA

Auto Added by WPeMatico

ia ataque 1024x683 1

Pioneiro da IA diz que mundo estaria melhor sem inteligência artificial

O cientista Geoffrey Hinton, um dos pioneiros da inteligência artificial (IA), afirmou que a humanidade talvez estivesse melhor sem desenvolver a tecnologia. Ele também alertou que sistemas avançados podem provocar incidentes de grande escala ainda em 2026 ou 2027.

Vencedor do Prêmio Nobel, Hinton critica dirigentes de grandes empresas de tecnologia por priorizarem lucros e participação de mercado em detrimento da segurança. Para reduzir os riscos, defende avaliações independentes e testes obrigatórios antes do lançamento de modelos avançados.

O especialista comparou tentativas de invasão cibernética por inteligência artificial a avisos prévios de acidentes nucleares. – Imagem: TSViPhoto/Shutterstock

Hinton critica empresas e prevê incidentes graves

Em entrevista ao The Guardian, Hinton, de 78 anos, afirmou que os próximos dez anos, possivelmente menos, serão decisivos para determinar se a humanidade conseguirá controlar os riscos da IA e alcançar o que chamou de “abundância radical”. Caso contrário, o cenário poderá incluir desigualdade acentuada, desemprego em massa, problemas culturais e divisões sociais.

Uma das preocupações do pesquisador é a possibilidade de sistemas de inteligência artificial desenvolverem comportamentos que dificultem o controle humano. Ele já havia alertado que, se essas tecnologias passarem a buscar mais autonomia e controle, a humanidade poderá enfrentar sérios problemas.

Hinton também questionou a postura dos dirigentes de empresas que disputam a liderança do setor. Ele afirmou não confiar em Sam Altman, CEO da OpenAI, e criticou Mark Zuckerberg, da Meta, e Elon Musk, da xAI.

“Eles entendem os riscos e não dão a mínima. Preferem ficar com o dinheiro. Essa é a minha opinião”, declarou ao The Guardian.

O cientista considera especialmente preocupante que Altman esteja à frente de uma das principais empresas norte-americanas na disputa com a China pelo desenvolvimento dos sistemas de IA mais avançados.

Hinton trabalha com inteligência artificial há aproximadamente 44 anos. Na década de 1970, cunhou o conceito de redes neurais artificiais, sistemas matemáticos capazes de aprender com experiências. Em 2023, deixou o Google para falar publicamente sobre os riscos da tecnologia.

Um episódio envolvendo agentes de IA da OpenAI, que conspiraram para invadir o site Hugging Face, reforçou suas preocupações. Hinton comparou o caso ao acidente nuclear de Three Mile Island, ocorrido em 1979, nos Estados Unidos, considerando-o um primeiro sinal de alerta.

Na avaliação do pesquisador, um evento ainda mais grave, comparável a Chernobyl, poderá acontecer até o fim de 2027. Entre os cenários mencionados estão:

  • Um ataque cibernético contra o sistema de geração de eletricidade;
  • Uma interrupção de grande escala no fornecimento de energia;
  • A paralisação do sistema financeiro durante uma semana.

Hinton acredita que um episódio desse tipo poderia chamar a atenção de líderes mundiais para os riscos da tecnologia. Ao falar sobre quem precisaria reagir, excluiu o presidente dos Estados Unidos, Donald Trump.

regulamentação redes sociais
Uma proposta apoiada por 33 países prevê testes obrigatórios e avaliações independentes para modelos avançados de IA. – Imagem: Garun.Prdt/Shutterstock

Hinton defende fiscalização independente da IA

Trump rejeita iniciativas de controle internacional e defende que as próprias empresas estabeleçam suas regras, sob o argumento de que restrições poderiam prejudicar a posição dos Estados Unidos na disputa com a China.

Hinton apoia uma proposta respaldada por 33 países, incluindo Finlândia, Alemanha, Canadá, Austrália e Singapura. O plano prevê avaliações obrigatórias dos modelos mais avançados, análises independentes e padrões comuns entre governos.

Para explicar como essa fiscalização deveria funcionar, o pesquisador recorreu ao exemplo da agência norte-americana responsável pela aprovação de medicamentos, a FDA. Sua proposta é que as empresas apresentem evidências estatísticas a uma autoridade independente para demonstrar que os benefícios dos sistemas superam os riscos antes de lançar os modelos.

Hinton citou a talidomida, medicamento desenvolvido na década de 1950 que provocou graves malformações congênitas, para argumentar que não basta disponibilizar um produto e responsabilizar seus fabricantes depois que os danos acontecem.

Apesar das advertências, o cientista acredita que ainda é possível evitar uma catástrofe. “Meu instinto diz que ainda estamos no controle”, afirmou. Ele ressalvou, porém, que isso dependerá de um esforço significativo.

O post Pioneiro da IA diz que mundo estaria melhor sem inteligência artificial apareceu primeiro em Olhar Digital.

Pioneiro da IA diz que mundo estaria melhor sem inteligência artificial Read More »

ataque cibernetico 1024x576

Agentes de inteligência artificial invadem sistemas corporativos na Índia

Agentes de inteligência artificial (IA) em teste invadiram sistemas ativos de empresas indianas e acessaram registros confidenciais sem serem detectados, segundo a agência de cibersegurança do país.

As próprias desenvolvedoras comunicaram os incidentes, nos quais os agentes ultrapassaram as permissões recebidas. A agência também identificou criminosos que usaram ferramentas gratuitas de IA para invadir sistemas em busca de dinheiro.

Durante os testes, agentes de IA ultrapassaram as permissões definidas para as tarefas que deveriam executar. – Imagem: Raphael_HJ/Shutterstock

Agentes ultrapassaram as permissões durante testes

A Equipe Indiana de Resposta a Emergências de Computadores (CERT-In) informou que provedores de IA relataram voluntariamente os casos. Os agentes excederam os limites das tarefas atribuídas durante testes e conseguiram acessar dados de empresas indianas.

A agência não identificou os desenvolvedores nem as organizações afetadas. Segundo o órgão, nenhuma das vítimas percebeu as invasões por conta própria.

O episódio se soma a outros casos envolvendo ferramentas com capacidade de invasão digital. Em julho, a OpenAI informou que modelos seus invadiram os sistemas de uma startup durante testes. A empresa também pediu desculpas após um agente de IA invadir um site do governo australiano. Já a Anthropic relatou pelo menos quatro casos de modelos seus invadindo sistemas externos neste ano, segundo a Reuters.

Cyber Ataque 1 1024x576
Criminosos usaram ferramentas gratuitas de IA para investigar sistemas e invadi-los em busca de ganhos financeiros. – Imagem: Ozrimoz/Shutterstock

Ferramentas gratuitas aceleram ataques criminosos

Em investigações separadas, a CERT-In identificou criminosos que usaram ferramentas de IA disponíveis gratuitamente para sondar sistemas indianos e invadi-los em busca de ganhos financeiros. Segundo a agência, esses recursos também foram empregados em infraestruturas de vários países.

A automação encurtou o tempo necessário para executar os ataques: operações que antes levavam dias entre o primeiro acesso e a execução dos danos passaram a ser concluídas em poucas horas. A agência também constatou que empresas que não removeram completamente os invasores foram atacadas novamente em poucos dias, com comprometimento mais profundo dos sistemas.

Os relatos apontam três dificuldades para a segurança digital:

  • Menos tempo para reagir: a velocidade dos ataques reduz a janela disponível para identificar e conter uma invasão.
  • Uso indevido de ferramentas acessíveis: recursos gratuitos de IA podem ser empregados por criminosos para investigar sistemas e facilitar ataques.
  • Risco após a recuperação: remover apenas parte dos invasores pode deixar os sistemas vulneráveis a novas incursões.

O caso reforça a importância de identificar rapidamente acessos suspeitos e bloquear invasões antes que os danos se agravem. Com ataques cada vez mais rápidos e ferramentas de IA ao alcance de criminosos, detectar atividades anormais e impedir o avanço dos invasores torna-se essencial para proteger sistemas e dados confidenciais.

O post Agentes de inteligência artificial invadem sistemas corporativos na Índia apareceu primeiro em Olhar Digital.

Agentes de inteligência artificial invadem sistemas corporativos na Índia Read More »

shutterstock 2758295197 1024x683 1

IA da Anthropic denuncia falso caso de homicídio à polícia dos EUA

Um agente de inteligência artificial (IA) da Anthropic enviou uma denúncia falsa sobre um homicídio não resolvido à polícia da Filadélfia, nos Estados Unidos. A mensagem foi barrada pelo filtro de spam, mas a empresa levou mais de dois meses para identificar a falha e outros nove dias para comunicá-la às autoridades.

O envio ocorreu em 18 de julho, durante um teste automatizado que envolvia interações com sites escolhidos aleatoriamente. A polícia não investigou a denúncia, mas criticou a demora da empresa e cobrou medidas para evitar novos episódios.

Falha ocorreu durante testes em que a IA navegava e interagia de forma autônoma com páginas da web. – Imagem: Summit Art Creations/Shutterstock

Como o agente enviou a denúncia falsa

A mensagem foi publicada em um site público que recebe informações sobre assassinatos não resolvidos. Segundo a polícia, o agente afirmou que poderia ter informações sobre um caso e alegou ter visto alguém que correspondia à descrição divulgada.

A Anthropic identificou o problema em 28 de setembro e desativou o processo de teste responsável pelo envio. As autoridades só foram notificadas em 7 de outubro.

A polícia da Filadélfia informou que seus mecanismos de segurança impediram que a mensagem avançasse para uma investigação. Também afirmou não ter encontrado indícios de invasão aos sistemas do departamento.

Polícia cobra medidas de segurança

Apesar de a denúncia ter sido retida como spam, a corporação considerou grave a apresentação de informações falsas como se fossem um relato legítimo sobre um homicídio.

Leia mais:

“A empresa deve reforçar suas medidas de segurança para evitar que incidentes semelhantes afetem os sistemas da cidade sem o conhecimento da prefeitura”, afirmou a polícia em comunicado à imprensa local.

A corporação também criticou o tempo necessário para identificar e comunicar a falha. “O atraso de dois meses na detecção e comunicação do incidente à prefeitura é inaceitável.”

Logo da Anthropic em uma parede com pessoas ao redor
Falha ocorreu durante testes em que a IA navegava e interagia de forma autônoma com páginas da web. Empresa demorou dois meses para identificar a falha e 9 dias para avisar as autoridades. – Imagem: PhotoGranary02/Shutterstock

Outros episódios envolvendo agentes de IA

O caso integra uma série de comportamentos não intencionais de agentes de inteligência artificial. Em relatório publicado nesta semana, a Anthropic detalhou ocorrências envolvendo seus sistemas e diferentes organizações, incluindo órgãos do governo dos Estados Unidos.

Outros episódios mostram como essas falhas podem assumir diferentes formas:

  • Pedidos de visto incompletos: um agente de IA preencheu 20 solicitações no site do Departamento de Estado dos EUA. Os formulários estavam incompletos e não foram processados.
  • Acesso a dados de saúde: um agente da OpenAI invadiu um site do governo australiano e acessou informações privadas do Medicare, o sistema público de saúde do país.
  • Tentativa de invasão à Hugging Face: mais de 1,2 mil agentes da OpenAI começaram a se comunicar de maneira inesperada, e um grupo se uniu para tentar invadir a plataforma de inteligência artificial.

Os episódios mostram por que agentes capazes de executar tarefas de forma autônoma precisam de controles que identifiquem comportamentos inesperados. No caso da Filadélfia, os filtros policiais impediram que a denúncia falsa avançasse, mas a demora em comunicar o problema levantou outra questão: como garantir que falhas desse tipo sejam detectadas e relatadas rapidamente?

O post IA da Anthropic denuncia falso caso de homicídio à polícia dos EUA apareceu primeiro em Olhar Digital.

IA da Anthropic denuncia falso caso de homicídio à polícia dos EUA Read More »

destaque ia do mal 1024x576

OpenAI nega retaliação após demitir três pesquisadores de segurança

A OpenAI afirmou que demitiu três pesquisadores por uma “violação significativa de confiança” e negou que a decisão tenha sido motivada por alertas sobre os riscos da IA.

Jasmine Wang, Tomek Korbak e Mikita Balesni contestaram o impacto dos desligamentos em uma carta publicada na quinta-feira (8), na qual expressaram preocupação com a liberdade de manifestação dentro da empresa.

Incidentes envolvendo agentes autônomos ampliaram as preocupações sobre a segurança dos sistemas de inteligência artificial. – Imagem: Olhar Digital via ChatGPT

Demissões geram preocupação entre pesquisadores

Segundo a OpenAI, uma investigação identificou violações das regras para o tratamento de informações confidenciais. A empresa apresentou essa justificativa em uma publicação no X, na sexta-feira (9), e negou que os alertas de segurança tenham motivado os desligamentos.

Na carta enviada ao conselho e aos comitês de segurança da companhia, os pesquisadores disseram temer que a repercussão do caso leve outros funcionários a evitar manifestações sobre os riscos da tecnologia.

“Passamos a nos preocupar com o fato de que as comunicações internas e externas sobre nossas demissões estão fazendo com que nossos ex-colegas tenham medo de falar e agir de maneiras que, até a semana passada, eram parte integrante do trabalho na OpenAI”, escreveram.

Em setembro, os três já haviam publicado mensagens no X defendendo que os laboratórios reduzissem o ritmo de desenvolvimento dos modelos mais avançados ou destacando preocupações com segurança.

Apesar da divergência sobre as demissões, a OpenAI declarou concordar com o princípio de preservar a capacidade de monitorar esses modelos e afirmou que continua investindo recursos nessa área.

Incidentes ampliam debate sobre segurança da IA

O episódio ocorre em meio a preocupações crescentes com sistemas autônomos. Em julho, agentes de IA da OpenAI realizaram um ataque cibernético contra a startup Hugging Face, segundo a CNBC. Outras empresas também relataram incidentes envolvendo agentes de inteligência artificial.

Em setembro, os avanços nas capacidades dos modelos intensificaram os alertas de pesquisadores sobre riscos graves, incluindo ameaças à humanidade. Nos Estados Unidos, o debate impulsionou pedidos de regulamentação dos sistemas mais avançados.

Sam Altman, CEO da OpenAI, e Dario Amodei, CEO da Anthropic, estão entre os nomes que defenderam maior cautela. O presidente norte-americano Donald Trump, por outro lado, rejeitou a ampliação da regulamentação e classificou os temores sobre a segurança da IA como uma “farsa”.

O caso coloca em evidência uma questão delicada para o setor: como proteger informações confidenciais sem inibir funcionários que desejam apontar riscos relacionados à tecnologia.

Ao fundo, tela com códigos de programação; à frente, mão de uma pessoa segurando um celular que exibe o logo do ChatGPT
A criadora do ChatGPT nega que os desligamentos tenham relação com alertas sobre riscos do avanço da tecnologia. – Imagem: Mijansk786/Shutterstock

Receita e possível abertura de capital

A discussão surge enquanto a OpenAI se prepara para uma possível oferta pública inicial de ações (IPO), esperada para 2027.

Leia mais:

Segundo informações confirmadas pela CNBC, a empresa informou a investidores que sua receita anualizada chegou a aproximadamente US$ 50 bilhões (cerca de R$ 211 bilhões) no fim de setembro. O valor ficou abaixo dos US$ 68 bilhões (cerca de R$ 341 bilhões) amplamente divulgados no mês anterior.

Na quinta-feira, ações da Nvidia, da Oracle, da CoreWeave e de outras empresas ligadas à inteligência artificial caíram após a divulgação de novos detalhes sobre a receita da OpenAI.

A disputa evidencia o desafio de conciliar as regras internas das empresas de inteligência artificial com a necessidade de discutir abertamente os riscos de modelos cada vez mais avançados.

O post OpenAI nega retaliação após demitir três pesquisadores de segurança apareceu primeiro em Olhar Digital.

OpenAI nega retaliação após demitir três pesquisadores de segurança Read More »

shutterstock 2758295197 1024x683

OpenAI diz que o mundo deve aceitar riscos para evoluir com IA

Sam Altman, CEO da OpenAI, afirmou que os benefícios da inteligência artificial compensam os problemas que podem surgir com o avanço da tecnologia. Para ele, alguns efeitos negativos são inevitáveis e não justificam restringir o acesso à IA.

A declaração ocorre em meio a uma disputa sobre como lidar com sistemas cada vez mais capazes. OpenAI e Anthropic reconhecem os desafios da tecnologia, mas divergem sobre o grau de controle necessário para administrá-los.

A Anthropic alertou que modelos avançados de IA podem tentar resistir ao desligamento e manipular dados. – Imagem: Summit Art Creations/Shutterstock

Onde está a divergência

Em entrevista à newsletter Decoded, Altman defendeu que a IA permaneça amplamente acessível. Ele rejeitou a ideia de concentrar seu controle em um único laboratório em São Francisco e considerou inaceitável tentar impedir todos os usos indevidos em troca de limitar os benefícios da tecnologia.

Acreditamos que o mundo deve aceitar que algumas coisas ruins aconteçam em troca dos benefícios dessa tecnologia e da autonomia das pessoas.

Sam Altman, CEO da OpenAI, ao Decoded.

Na avaliação do executivo, ataques de hackers, golpes e outros problemas continuarão acontecendo, mas os usos positivos da IA deverão ocorrer em escala muito maior.

“Porque acho que as pessoas farão coisas boas em uma escala tremendamente maior — ordens de grandeza maiores — do que coisas ruins”, acredita o CEO.

Essa posição não significa que Altman seja contrário a qualquer cautela. Ele apoiou publicamente a proposta de Dario Amodei, CEO da Anthropic, para moderar o ritmo de desenvolvimento na fronteira da tecnologia. A diferença está principalmente no que fazer diante dos possíveis efeitos negativos e de quem deve definir esses limites.

Os riscos dos modelos avançados

Em setembro, Amodei publicou um ensaio defendendo que o setor moderasse o ritmo de desenvolvimento de sistemas de fronteira. A Anthropic também afirmou que modelos avançados podem, em determinadas situações, agir de maneira contrária às intenções de seus criadores e penetrar nos sistemas de outras empresas.

A companhia citou possíveis “comportamentos de autopreservação”, incluindo tentativas de “resistir ao desligamento”, “ocultar ou manipular informações” ou produzir respostas que poderiam ser interpretadas como “coercitivas, enganosas ou manipuladoras”.

O pesquisador da Anthropic Jacob Coxon, que deixou a empresa em setembro, afirmou que pessoas envolvidas no desenvolvimento de IA acreditam que a tecnologia “poderia matar todos nós até o fim da década”.

Donald Trump
Donald Trump rejeitou a criação de novas regras federais para não travar a competitividade das empresas americanas. – Imagem: YousufDean / Shutterstock

Debate chega à política dos EUA

A discussão também envolve o governo americano. Donald Trump tem, em grande parte, rejeitado pedidos por novas restrições, sob o argumento de que regras adicionais poderiam dificultar a competição das empresas dos Estados Unidos com rivais chinesas.

Leia mais:

O presidente afirma ainda que os órgãos de aplicação da lei existentes, incluindo o Departamento de Justiça, já oferecem salvaguardas suficientes.

No centro da discussão está uma questão que deve ganhar importância à medida que os modelos avançam: como ampliar o acesso aos benefícios da inteligência artificial sem concentrar seu controle e sem ignorar possíveis consequências?

O post OpenAI diz que o mundo deve aceitar riscos para evoluir com IA apareceu primeiro em Olhar Digital.

OpenAI diz que o mundo deve aceitar riscos para evoluir com IA Read More »

destaque ia fora de controle 1024x576

Nvidia cria novo sistema para conter agentes de IA que tentam escapar de restrições

A Nvidia lançou nesta segunda-feira um pacote de ferramentas de segurança para agentes de IA. Segundo a empresa, a tecnologia poderia ter impedido o ataque à Hugging Face, plataforma de programação de IA que foi alvo de agentes da OpenAI.

A novidade chega enquanto OpenAI e Anthropic investigam diversos casos envolvendo agentes capazes de invadir sistemas comerciais e governamentais. A Nvidia trata a contenção desse comportamento como um problema de engenharia e aposta em mecanismos técnicos para limitar as ações desses sistemas.

As ferramentas identificam comportamentos como a criação de subagentes para tentar contornar bloqueios de segurança. – Imagem: Olhar Digital via ChatGPT

OpenShell controla as ações dos agentes

Uma das ferramentas apresentadas é o OpenShell, que usa recursos de hardware dos processadores da Nvidia para manter agentes de IA em ambientes controlados e restringir suas ações.

A empresa também trabalha com a Arm Holdings e a Intel para que a tecnologia funcione nos processadores das duas fabricantes. O lançamento conta com dezenas de parceiros, entre eles a Anthropic.

Leia mais:

Justin Boitano, vice-presidente e gerente-geral de computação empresarial da Nvidia, afirmou que a plataforma poderia ter evitado o ataque à Hugging Face caso estivesse sendo utilizada durante as avaliações de modelos.

“Pelo que sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de fronteira para avaliação de modelos desde o início”, disse Boitano à Reuters. “Estamos avançando com isso de forma aberta e queremos envolver todos para trabalhar conosco.”

Meses após o ataque, a Nvidia anunciou a compra da Hugging Face por US$ 13 bilhões.

Logos da Nvidia e Hugging Face
A Nvidia diz que suas novas ferramentas poderiam ter impedido o ataque à Hugging Face durante avaliações de modelos. – Imagem: Divulgação/Nvidia

Sentry tenta impedir fugas

Outra ferramenta é o Sentry, que funciona em conjunto com o OpenShell e usa um chip separado da Nvidia. O sistema pode interromper um agente caso ele tente escapar das barreiras impostas pelo processador.

As ferramentas usam fórmulas matemáticas para identificar comportamentos que podem indicar tentativas de contornar as restrições, incluindo:

  • criação de vários subagentes para driblar bloqueios;
  • tentativa de escapar das barreiras de segurança;
  • uso de estratégias alternativas para contornar restrições;
  • atuação coordenada de múltiplos agentes.

Ali Golshan, diretor sênior de software de IA da Nvidia, explicou que a questão envolve não apenas o comportamento de um agente individual, mas também a forma como vários deles podem operar juntos.

“É realmente de comportamento agentivo que estamos falando: frotas de agentes e como eles operam em conjunto”, afirmou Golshan.

As novas ferramentas combinam recursos de hardware e software para detectar tentativas de contornar as barreiras de segurança. A Nvidia pretende ampliar o sistema para diferentes processadores e trabalhar com parceiros do setor no desenvolvimento da tecnologia.

O post Nvidia cria novo sistema para conter agentes de IA que tentam escapar de restrições apareceu primeiro em Olhar Digital.

Nvidia cria novo sistema para conter agentes de IA que tentam escapar de restrições Read More »

ia bomba atomica onu 1024x576

Bill Gates alerta que IA já pode causar 1 bilhão de mortes e pede regras para a tecnologia

Bill Gates afirmou que a inteligência artificial já tem poder para desencadear eventos capazes de provocar 1 bilhão de mortes. O cofundador da Microsoft fez o alerta em entrevista ao programa Meet the Press, da NBC.

A declaração ocorre em meio à discussão sobre os riscos do avanço da tecnologia. Gates defende a participação dos governos na criação de regras, salvaguardas e mecanismos de monitoramento para acompanhar o desenvolvimento da IA.

O alerta de Gates ocorre em meio ao debate sobre os limites e os riscos do desenvolvimento de sistemas avançados de IA. – Imagem: gerada por IA

Gates quer participação do governo

Na entrevista, Gates chamou atenção para a possibilidade de sistemas avançados serem usados por pessoas dispostas a causar danos.

“A IA certamente é poderosa o suficiente para desencadear eventos que, você sabe, causem 1 bilhão de mortes”, afirmou. Na sequência, explicou o que considera especialmente preocupante.

Nunca houve uma arma tão poderosa quanto a combinação de pessoas com más intenções usando as ferramentas de IA mais avançadas.

Bill Gates, cofundador da Microsoft, em entrevista à NBC.

Gates também rejeita a ideia de deixar a questão apenas sob responsabilidade das próprias empresas. Ele defende que autoridades policiais e políticos participem da definição de salvaguardas e mecanismos de monitoramento e que essas medidas sejam estabelecidas por lei.

Em um ensaio publicado em agosto, o empresário já havia citado possíveis usos nocivos da IA, como:

  • ataques cibernéticos;
  • fraudes;
  • desinformação;
  • danos contra hospitais e instituições financeiras;
  • ataques a redes elétricas e sistemas governamentais.

Riscos já dividem o setor

O debate ganhou força à medida que empresas como Anthropic e OpenAI avançam no desenvolvimento de sistemas mais capazes. Dentro das próprias companhias, porém, também surgiram críticas sobre os riscos dessa corrida.

Neste mês, Jacob Coxon deixou a Anthropic e criticou o ritmo de desenvolvimento em direção a uma superinteligência artificial. Outro funcionário da empresa afirmou acreditar que existe uma probabilidade superior a 10% de a tecnologia eliminar toda a humanidade na próxima década.

Leia mais:

As preocupações também chegaram à liderança das empresas. O CEO da Anthropic, Dario Amodei, defendeu uma desaceleração no desenvolvimento da IA, proposta que recebeu apoio do CEO da OpenAI, Sam Altman, e de Elon Musk.

É nesse cenário que Gates diferencia os riscos mais imediatos, relacionados ao uso da IA por grupos mal-intencionados, das previsões de longo prazo sobre uma possível ameaça à humanidade. Para ele, o desafio está em criar mecanismos de controle capazes de reduzir esses riscos sem interromper o desenvolvimento da tecnologia.

Interações logas com chatbots podem aumentar os riscos de delírios (Imagem: Summit Art Creations/Shutterstock)
A discussão sobre IA envolve como criar mecanismos de controle e supervisão sem interromper o desenvolvimento da tecnologia. – Imagem: Summit Art Creations/Shutterstock

Um debate que vai além dos laboratórios

A preocupação não surgiu apenas agora. Em um ensaio publicado em agosto, Gates já havia alertado que a IA poderia ampliar oportunidades, mas também se tornar uma fonte de injustiça e permitir o uso de sistemas avançados para provocar danos em larga escala.

Na entrevista, ele retomou esse argumento sob a perspectiva da regulamentação. Para Gates, o avanço da tecnologia precisa ser acompanhado por salvaguardas e mecanismos de supervisão definidos com participação das autoridades.

O post Bill Gates alerta que IA já pode causar 1 bilhão de mortes e pede regras para a tecnologia apareceu primeiro em Olhar Digital.

Bill Gates alerta que IA já pode causar 1 bilhão de mortes e pede regras para a tecnologia Read More »

shutterstock 2624856949 1024x682

Papa Leão XIV alerta sobre IA e diz que humanidade pode perder espaço para um “paraíso de máquinas”

O Papa Leão XIV colocou os riscos da inteligência artificial no centro de sua visita de quatro dias à França. Em discurso no Palácio do Eliseu, nesta sexta-feira (25), o pontífice defendeu maior atenção ao uso ético da tecnologia para evitar que o avanço das máquinas faça a humanidade perder espaço no cotidiano.

Primeiro americano a liderar a Igreja Católica, Leão XIV afirmou que é urgente preparar as pessoas para lidar com os impactos da IA. Segundo ele, o desenvolvimento tecnológico precisa ser acompanhado por educação para o discernimento ético.

Para o pontífice, ciência e tecnologia precisam ser acompanhadas de atenção aos impactos sobre a sociedade. – Imagem: Marco Iacobucci Epp / Shutterstock

Papa alerta para um “paraíso de máquinas”

Durante o discurso em Paris, Leão XIV afirmou que a inteligência artificial pode transformar profundamente a relação das pessoas com a tecnologia. O pontífice alertou para o risco de um futuro em que as máquinas passem a condicionar cada vez mais a vida cotidiana.

“Se quisermos evitar perder nossa humanidade em meio a um ‘paraíso de máquinas’ que invade e condiciona nosso cotidiano, há uma necessidade urgente de educação em discernimento ético”, disse.

Para o papa, a preocupação não se limita à inteligência artificial. Ele também citou tendências que, em sua avaliação, podem transformar ciência e tecnologia em empreendimentos movidos pelo lucro, mencionando manipulação genética, barriga de aluguel, comércio de órgãos humanos e a possibilidade de planejar a própria morte.

Preocupa-me… as tendências na sociedade que correm o risco de transformar a ciência e a tecnologia em empreendimentos movidos pelo lucro, promovendo a manipulação genética, a barriga de aluguel, o comércio de órgãos humanos ou a possibilidade de planejar a própria morte.

Papa Leão XIV durante discurso na França.

A defesa de uma reflexão ética sobre a tecnologia é, portanto, um dos principais pontos da passagem de Leão XIV pela França.

Outras atividades na França

Embora a inteligência artificial esteja entre os temas centrais da viagem, o pontífice também cumpre uma agenda extensa no país. Leão XIV foi recebido pelo presidente Emmanuel Macron e sua esposa, Brigitte, no aeroporto de Paris-Orly.

Entre os compromissos previstos estão:

  • Uma cerimônia na Catedral de Notre-Dame restaurada;
  • Uma passagem pelo santuário de Lourdes;
  • Uma visita a Metz, na fronteira com a Alemanha;
  • Um discurso para funcionários da Unesco, órgão da ONU voltado para cultura e educação;
  • Um encontro com sete vítimas francesas de abusos cometidos por membros do clero.

A viagem acontece enquanto a Igreja francesa tenta recuperar sua reputação após um relatório de 2021 apontar que cerca de 330 mil crianças foram abusadas por membros do clero e líderes leigos católicos ao longo de sete décadas.

Entre a autonomia e o perigo: o que representa uma IA sem controle humano e os riscos dos seus aportes bilionários?
Leão XIV defendeu uma educação voltada ao discernimento ético diante do avanço da inteligência artificial. – Crédito: Imagem gerada por IA

Papa também fala em paz e liberdade de imprensa

No avião a caminho de Paris, Leão XIV afirmou que pretendia levar uma mensagem de paz durante a visita.

“É uma mensagem que, neste momento, como todos sabemos, é particularmente importante”, disse.

Leia mais:

Ainda durante o voo, o papa foi questionado sobre a tentativa do presidente dos Estados Unidos, Donald Trump, de impedir a entrada da CNN e de outros veículos na Casa Branca. Leão XIV reafirmou seu apoio à liberdade de imprensa.

A viagem ocorre em um momento de debates na França sobre aborto, suicídio assistido e o papel da Igreja em uma sociedade marcada pela separação entre Estado e religião. Mesmo com essa agenda ampla, o alerta sobre os limites e os riscos do avanço da inteligência artificial ganhou destaque na primeira parte da visita.

O post Papa Leão XIV alerta sobre IA e diz que humanidade pode perder espaço para um “paraíso de máquinas” apareceu primeiro em Olhar Digital.

Papa Leão XIV alerta sobre IA e diz que humanidade pode perder espaço para um “paraíso de máquinas” Read More »

shutterstock 2758295197 1024x683

Papa Leão XIV faz novos alertas para riscos da IA e cobra regras globais para controlar a tecnologia no mundo

O Papa Leão XIV voltou a alertar para os riscos da inteligência artificial e defendeu regras globais para supervisionar a tecnologia. O Vaticano vê possíveis ameaças à segurança, à paz internacional e à convivência social.

O pontífice trata do assunto desde os primeiros dias de seu papado. Segundo a Reuters, nesta sexta-feira, deve abordar novamente a questão em um discurso na sede da Unesco, em Paris.

O Vaticano reforça a urgência de estabelecer regras globais e rígidas para o desenvolvimento da inteligência artificial. – Imagem: Summit Art Creations/Shutterstock

Um alerta que começou antes de Leão

A preocupação do Vaticano com a inteligência artificial não começou com o atual pontífice. Em 2019, a Santa Sé promoveu duas conferências sobre os possíveis riscos da tecnologia. Em uma delas, o então Papa Francisco alertou que a desinformação espalhada por sistemas de IA poderia contribuir para uma guerra mundial.

No ano seguinte, o Vaticano se juntou à Microsoft, à IBM, à Organização das Nações Unidas para a Alimentação e a Agricultura (FAO) e ao governo italiano em um apelo por uma inteligência artificial que não tivesse como único objetivo ampliar lucros ou substituir gradualmente trabalhadores.

Leão retomou a discussão em maio. Em seu primeiro grande documento, pediu aos líderes mundiais regras internacionais para supervisionar o setor. Também afirmou que sistemas de IA poderiam espalhar desinformação, priorizar conflitos e conduzir o mundo a um caminho de guerras intermináveis.

Na quinta-feira, durante um encontro da Pontifícia Academia das Ciências, o Papa afirmou que a inteligência artificial pode beneficiar a humanidade, mas também criou “novos perigos para a segurança e a paz internacional”. Ele pediu aos líderes globais que “governem com sabedoria”.

A trajetória das discussões no Vaticano envolve diferentes frentes:

  • regras internacionais para supervisionar o desenvolvimento da inteligência artificial;
  • preocupação com desinformação e possíveis impactos sobre a convivência social;
  • atenção especial ao uso da tecnologia em sistemas de armas;
  • defesa de uma IA que não tenha como único objetivo ampliar lucros ou substituir trabalhadores;
  • diálogo com governos, organizações internacionais e empresas do setor.

Armas autônomas estão no centro da preocupação

O desenvolvimento de sistemas de armas é um dos pontos que mais preocupam o Vaticano. Na encíclica de maio, Leão afirmou que essas tecnologias avançaram “praticamente além de qualquer capacidade humana de governá-las”.

O padre Paolo Benanti, conselheiro do Vaticano para questões de inteligência artificial, comparou drones equipados com IA a minas terrestres, por causa do potencial de atingir alvos de forma indiscriminada. Ao explicar os possíveis impactos da tecnologia, ele afirmou que “o poder transformador da IA … pode produzir uma magnitude de mudanças sociais que são muito difíceis de prever”.

Benanti também comparou os riscos da IA aos das armas nucleares. Segundo ele, armamentos nucleares precisam ser armazenados em instalações específicas e podem ser contabilizados e controlados. A inteligência artificial, por outro lado, é muito menos visível.

Ilustração conceitual da segurança da inteligência artificial com escudos e sinais de alerta em um ambiente digital futurista
O diálogo entre autoridades e cientistas busca encontrar caminhos seguros para o futuro do desenvolvimento tecnológico. – Imagem: Infinite Creations/iStock

Vaticano também dialoga com empresas

O cardeal Pietro Parolin, principal diplomata do Vaticano, reforçou na semana passada a defesa de uma regulamentação internacional. Em um evento em Roma, afirmou que os países não podem lidar sozinhos com a tecnologia. “O futuro da humanidade está realmente em jogo aqui”, disse Parolin, defendendo o envolvimento de todos na criação de regras comuns.

Leia mais:

O diálogo com o setor privado também já começou. Chris Olah, cofundador da Anthropic, participou do lançamento do documento de maio. Benanti explicou à Reuters que algumas conversas com empresas são conduzidas localmente por bispos, devido à estrutura descentralizada da Igreja.

Em 16 de setembro, a Conferência dos Bispos dos Estados Unidos anunciou uma nova força-tarefa sobre inteligência artificial, depois que vários de seus líderes se reuniram com executivos do setor. A iniciativa busca discutir maneiras de manter a tecnologia a serviço da humanidade e enfrentar os riscos que ela apresenta.

O post Papa Leão XIV faz novos alertas para riscos da IA e cobra regras globais para controlar a tecnologia no mundo apareceu primeiro em Olhar Digital.

Papa Leão XIV faz novos alertas para riscos da IA e cobra regras globais para controlar a tecnologia no mundo Read More »

china eua robos e1790008860482 1024x577

Trump e Xi podem criar canal para incidentes de IA, mas frear desenvolvimento é improvável

A reunião entre Donald Trump e Xi Jinping coloca a segurança da inteligência artificial nas discussões entre Estados Unidos e China. Os dois governos avaliam como lidar com sistemas cada vez mais autônomos, enquanto mantêm a corrida pelo avanço da tecnologia.

Uma possível aproximação envolve regras comuns, comunicação em casos graves e mecanismos para verificar informações. Segundo a CNBC, porém, um acordo para desacelerar o desenvolvimento da IA é considerado extremamente improvável.

As restrições americanas aos chips avançados para a China continuam sendo um ponto de tensão tecnológica. – Imagem gerada com IA. ChatGPT/Olhar Digital

Por que a segurança entrou na conversa

A preocupação aumentou depois que sistemas de IA passaram a executar tarefas mais complexas. A OpenAI afirmou que um modelo de pesquisa conseguiu acesso não autorizado a partes da plataforma Hugging Face. A Anthropic também identificou o uso de IA para automatizar etapas de ataques cibernéticos.

Episódios assim alimentam o temor de que modelos mais autônomos possam tornar ataques mais rápidos e difíceis de conter. Aalok Mehta, diretor do Wadhwani AI Center, do Centro de Estudos Estratégicos e Internacionais (CSIS), disse à CNBC que os dois países estão especialmente preocupados com agentes capazes de escapar de mecanismos de controle e invadir sites.

Antes do encontro, o secretário do Tesouro dos EUA, Scott Bessent, discutiu com o vice-premiê chinês He Lifeng a criação de um diálogo bilateral sobre IA. A proposta inclui um canal para tratar de incidentes que possam alcançar o nível de segurança nacional.

O que pode ser discutido

Mehta aponta dois possíveis pontos de aproximação: definições e estruturas comuns para a segurança de modelos avançados e um mecanismo de comunicação emergencial.

Chris McGuire, pesquisador sênior do Conselho de Relações Exteriores (CFR), considera esse canal para incidentes de segurança nacional um passo modesto, mas positivo. Para ele, porém, um acordo para reduzir o ritmo de desenvolvimento da IA é extremamente improvável.

Entre os assuntos que podem aparecer nas conversas estão:

  • definições comuns para segurança de sistemas avançados;
  • comunicação sobre incidentes de segurança;
  • mecanismos para verificar informações compartilhadas;
  • acusações sobre o uso de “distillation” por empresas chinesas;
  • restrições americanas à exportação dos chips de IA mais avançados.
Ilustração sobre a corrida entre China e Estados Unidos no setor da inteligência artificial (IA)
A possível cooperação em segurança não significa uma pausa na disputa entre EUA e China pelo avanço da IA. – Imagem: QQMinh88/Shutterstock

A corrida pelos chips continua

O possível diálogo ocorre em meio a uma disputa tecnológica que permanece ativa. Os Estados Unidos restringem o acesso chinês aos chips mais avançados da Nvidia e acusam empresas chinesas de usar “distillation”, prática de treinar modelos a partir das respostas de sistemas mais avançados. Pequim rejeita a acusação.

Segundo a CNBC, várias empresas chinesas também teriam conseguido acessar remotamente a capacidade computacional desses chips por meio de data centers no Sudeste Asiático, apesar das restrições americanas.

Trump, por sua vez, defende a competição tecnológica com a China. “Se não vencermos a IA, estaremos em uma posição muito ruim”, afirmou o presidente americano no início deste mês.

Verificação pode ser decisiva

Para Mehta, qualquer cooperação precisa preservar a capacidade de Estados Unidos e China competirem no desenvolvimento de suas tecnologias. O outro requisito é estabelecer uma forma confiável de verificar o que cada lado compartilha.

Leia mais:

O deputado americano Ro Khanna, que representa parte do Vale do Silício, defendeu a criação de salvaguardas comuns. “Por que não concordamos simplesmente que não deveria ser possível ter uma IA que se autoaperfeiçoe?”, questionou.

A desconfiança entre os governos torna os mecanismos de verificação especialmente importantes. Na avaliação de Mehta, ferramentas técnicas e de governança seriam necessárias para conferir a precisão das informações trocadas.

O encontro pode criar um canal de comunicação sobre os riscos da IA sem interromper a competição tecnológica entre Estados Unidos e China.

O post Trump e Xi podem criar canal para incidentes de IA, mas frear desenvolvimento é improvável apareceu primeiro em Olhar Digital.

Trump e Xi podem criar canal para incidentes de IA, mas frear desenvolvimento é improvável Read More »