Satya Nadella

Auto Added by WPeMatico

CEO da Microsoft diz que IA precisa de freio controlado por humanos

Satya Nadella, presidente do conselho e CEO da Microsoft, defendeu em uma publicação no X neste sábado (10) que sistemas avançados de inteligência artificial (IA) tenham mecanismos de contenção e um botão de emergência controlado por humanos. A proposta prevê que pessoas autorizadas possam interromper ou desligar um modelo durante a execução de uma tarefa, como parte de uma estrutura de segurança para tecnologias capazes de acessar dados sensíveis e realizar operações importantes.

O executivo argumenta que empresas não devem depender apenas das garantias oferecidas pelos desenvolvedores de IA. Em vez disso, precisam estabelecer limites de acesso, monitorar as ações dos modelos e manter controles externos que permitam intervir quando necessário. As recomendações foram apresentadas em meio a alertas de executivos e pesquisadores sobre os riscos associados ao avanço da tecnologia e à insuficiência de mecanismos de segurança.

Microsoft propõe novos controles para sistemas de IA

Na publicação, Satya Nadella afirma que os modelos atuais não permitem compreender completamente como determinadas respostas e comportamentos são produzidos. Segundo ele, diferentemente dos softwares tradicionais, nem sempre é possível relacionar as ações de um modelo a entradas específicas dos dados de treinamento ou a configurações dos parâmetros internos.

O CEO defende que sistemas de IA sejam tratados como possíveis riscos internos às organizações, não necessariamente por serem maliciosos, mas porque podem cometer erros ou ser comprometidos quando têm acesso a recursos importantes. A abordagem proposta prevê a separação entre o modelo e a estrutura responsável por organizar sua execução, além da definição externa das ações que ele pode realizar.

Nadella também afirma que os controles de segurança não devem ficar sob responsabilidade do próprio modelo. Na avaliação do executivo, as organizações precisam ter autonomia para determinar quais informações podem ser acessadas e quais operações podem ser executadas, sem permitir que a IA altere ou contorne as regras estabelecidas.

Sete princípios para aumentar a segurança da IA

O executivo apresentou uma série de princípios para orientar o desenvolvimento e a operação de sistemas avançados. A lista inclui a utilização de modelos diferentes para tarefas importantes, o registro verificável das ações realizadas e a realização contínua de testes que contemplem falhas, ataques e situações extremas.

Outro ponto é a auditabilidade independente. Para Satya Nadella, a validação de um sistema não deve depender exclusivamente da mesma inteligência artificial que está sendo avaliada. A proposta também prevê que cada ação relevante deixe registros legíveis por humanos e protegidos contra alterações, permitindo reconstruir como determinado resultado foi alcançado.

O princípio de contenção estabelece que as empresas devem partir do pressuposto de que um modelo pode estar comprometido. Por isso, uma pessoa autorizada precisa conseguir pausar ou desligar o sistema durante uma tarefa. Nadella acrescenta que modelos mais avançados exigirão tecnologias de contenção mais sofisticadas, que deverão ser padronizadas.

A lista inclui ainda a divulgação rápida de incidentes às partes afetadas. Quando um sistema falhar ou for comprometido, as organizações deverão informar o ocorrido, explicar quais mecanismos de controle falharam e compartilhar aprendizados que ajudem a prevenir novos problemas.

Executivos alertam para os riscos do avanço da IA

As declarações de Satya Nadella ocorrem em meio a discussões sobre a velocidade de desenvolvimento da inteligência artificial e a necessidade de ampliar as medidas de segurança. Entre os nomes que já se manifestaram sobre o tema estão Bill Gates, cofundador da Microsoft, Dario Amodei, CEO da Anthropic, Sam Altman, CEO da OpenAI, e Elon Musk, CEO da SpaceX.

Em setembro, Amodei defendeu uma desaceleração no desenvolvimento de sistemas avançados de IA. Segundo as informações reunidas pela CNBC, a proposta recebeu apoio de Altman e Musk. Pesquisadores também manifestaram preocupação com os riscos da tecnologia e com a capacidade das empresas de manter o controle sobre seus modelos.

A posição contrasta com a do presidente dos Estados Unidos, Donald Trump, que tem rejeitado alertas sobre possíveis riscos de extinção relacionados à IA e enfatizado a necessidade de manter o país à frente da China no setor. Em outubro, o governo Trump também apresentou uma iniciativa chamada AI Force, liderada pelo diretor de Inteligência Nacional, Jay Clayton, com o objetivo de facilitar as atividades do setor e identificar agentes mal-intencionados.

Para Nadella, a segurança não deve depender da confiança depositada em um modelo específico. O executivo defende uma arquitetura na qual os sistemas possam ser observados, testados e limitados por mecanismos independentes, permitindo que as organizações mantenham o controle sobre as ações executadas em seu nome.

O post CEO da Microsoft diz que IA precisa de freio controlado por humanos apareceu primeiro em Olhar Digital.

CEO da Microsoft diz que IA precisa de freio controlado por humanos Read More »

data center 1024x574

Trump reúne líderes de tecnologia e anuncia acordo sobre segurança de IA

O presidente dos Estados Unidos, Donald Trump, reuniu, nesta terça-feira (29), alguns dos principais executivos do setor de tecnologia para discutir o desenvolvimento da inteligência artificial (IA), seus riscos e a necessidade de manter a liderança estadunidense na área.

O encontro aconteceu durante um almoço na Casa Branca e reuniu nomes, como Jensen Huang, CEO da Nvidia; Mark Zuckerberg, CEO da Meta; Sundar Pichai, CEO do Google; Dario Amodei, CEO da Anthropic; Greg Brockman, presidente da OpenAI; Elon Musk, da Tesla, SpaceX e xAI; Satya Nadella, CEO da Microsoft; e Jeff Bezos, fundador da Amazon.

Ao lado dos executivos, Trump afirmou que as empresas estão dispostas a adotar mecanismos próprios de segurança e disse que os participantes assinaram um acordo que chamou de “moralmente vinculante”.

O documento, apresentado como “Acordo da Casa Branca sobre Superinteligência”, estabelece compromissos voluntários para empresas que desenvolvem e implementam modelos de IA de fronteira. Entre as medidas estão controles internos, avaliações independentes e supervisão por comitês ligados aos conselhos de administração.

O acordo também prevê que as empresas participantes se reúnam regularmente para estabelecer padrões e boas práticas de segurança. O texto não descarta que, futuramente, parte dessas medidas possa ser transformada em leis ou regulamentos.

O que as empresas se comprometeram a fazer

O documento prevê quatro frentes principais:

  • A primeira é a criação de controles internos para acompanhar as capacidades e o comportamento dos modelos durante o treinamento e a utilização. A ideia é monitorar riscos relacionados a áreas, como cibersegurança, biossegurança e ameaças químicas, além de tentar evitar que os sistemas acessem ou invadam outros sistemas de maneira não intencional;
  • A segunda medida determina que cada empresa tenha uma equipe interna responsável por verificar os mecanismos de controle e monitoramento e garantir que eventuais problemas sejam corrigidos;
  • As companhias também deverão contratar avaliadores ou auditores independentes para verificar se os controles e mecanismos de segurança estão funcionando adequadamente;
  • Por fim, cada empresa deverá criar um comitê independente ligado ao conselho de administração, responsável por acompanhar os relatórios das equipes internas e dos avaliadores externos e monitorar a correção de eventuais falhas.

Mark Zuckerberg afirmou que as empresas concordaram em desenvolver controles internos robustos e que auditores deverão verificar esses procedimentos e reportar os resultados aos conselhos das companhias.

Apesar de Trump ter chamado o acordo de “moralmente vinculante”, o presidente da Câmara dos Representantes, Mike Johnson, descreveu o documento como uma declaração de princípios voluntária por parte da indústria.

Trump também afirmou que sua administração está considerando criar um comitê com dez integrantes para supervisionar a segurança da IA. Ele não informou quem faria parte do grupo.

Data centers também estiveram na pauta do presidente estadunidense – Imagem: shihabsarkar/Shutterstock

Trump defende autorregulação e expansão dos data centers

Durante o encontro, Trump afirmou que não pretende interromper o desenvolvimento da IA e defendeu a autorregulação pelas empresas. Segundo o presidente, além dos mecanismos criados pelo próprio setor, órgãos, como o Departamento de Justiça e o FBI, já possuem autoridade para agir em casos problemáticos.

Trump também voltou a defender a expansão dos enormes data centers necessários para treinar e operar sistemas de IA. Os empreendimentos vêm enfrentando resistência de comunidades estadunidenses por causa de questões, como consumo de eletricidade e custos para os serviços locais.

O presidente afirmou que as empresas de tecnologia deverão trabalhar com as comunidades onde os data centers forem instalados e fazer contribuições financeiras para essas regiões. “Eles querem ver comunidades seguras e felizes, e vão tornar as comunidades muito, muito felizes”, afirmou Trump.

Em outro momento, o presidente disse que as empresas fariam “contribuições enormes” para as comunidades que receberem essas estruturas.

A ideia também apareceu nas declarações de executivos. A CEO da AMD, Lisa Su, afirmou que saiu do encontro “muito encorajada” e destacou que existe uma responsabilidade das empresas de demonstrar o potencial da tecnologia ao mesmo tempo em que garantem sua segurança.

“É nossa responsabilidade mostrar o poder da tecnologia e também garantir que ela seja muito segura”, disse Su.

Leia mais:

Amodei reforça preocupação com segurança

O CEO da Anthropic, Dario Amodei, participou do encontro depois de ter se reunido individualmente com Trump no domingo (27).

Amodei vem defendendo medidas para lidar com os riscos associados ao avanço dos sistemas de IA. Após o almoço, ele afirmou que as regras para enfrentar esses riscos ainda estão em discussão. “Todos nós precisamos trabalhar juntos para garantir que possamos vencer, e podemos vencer com segurança. Se fizermos isso da maneira certa, se trabalharmos com o presidente e todos aqui, poderemos vencer com segurança”, declarou.

A presença de Amodei também chama atenção porque a Anthropic está entre as empresas que defendem medidas de segurança para sistemas cada vez mais avançados. Na semana passada, líderes do setor, incluindo Amodei e o CEO da OpenAI, Sam Altman, participaram de discussões internacionais sobre os riscos da tecnologia e a necessidade de mecanismos de segurança.

No encontro desta terça-feira, entretanto, o foco ficou na tentativa de estabelecer controles dentro das próprias empresas, em vez de uma nova estrutura federal obrigatória.

Trump quer chamar IA de “superinteligência”

Além do acordo de segurança, Trump anunciou uma mudança de nomenclatura para a tecnologia. Segundo o presidente, ele assinou um documento para “oficialmente” mudar o nome de inteligência artificial para “superinteligência”.

“Nós mudamos oficialmente o nome hoje”, afirmou Trump. Segundo ele, o novo termo teria sido assinado pelos principais nomes da indústria reunidos na Casa Branca. Questionado se a mudança teria algum caráter obrigatório, Trump respondeu que o documento era “moralmente vinculante”.

Mike Johnson explicou que o documento assinado pelos participantes se chama “Acordo da Casa Branca sobre Superinteligência: Compromisso Conjunto sobre Responsabilidades da Superinteligência de Fronteira” e reúne compromissos voluntários da indústria.

A expressão “superinteligência”, porém, já é utilizada no setor de tecnologia para descrever sistemas de IA hipotéticos ou futuros capazes de superar seres humanos nas mais diversas tarefas. Portanto, o anúncio de Trump funciona como uma mudança de nomenclatura, e não como a criação de uma nova categoria tecnológica.

O presidente havia consultado seus seguidores nas redes sociais na semana anterior sobre possíveis novos nomes para a tecnologia, colocando em votação as opções “SUPER INTELLIGENCE” e “SUPERIOR INTELLIGENCE” (“superinteligência” e “inteligência superior”, em tradução livre).

Donald Trump sentado em frente a uma mesa
Trump também mudou o nome da IA – Imagem: YousufDean / Shutterstock

Disputa entre segurança e desenvolvimento

O encontro ocorre em momento de aumento das discussões sobre a segurança de sistemas de IA. OpenAI e Anthropic relataram incidentes envolvendo agentes capazes de realizar ações não autorizadas, enquanto empresas e pesquisadores discutem como estabelecer limites para modelos cada vez mais autônomos.

Na Casa Branca, Trump manteve a defesa de uma abordagem baseada principalmente na autorregulação. “Acho que estou vendo uma enorme autorregulação. E eles entendem que precisam se autorregular”, disse o presidente.

O acordo firmado nesta terça-feira estabelece mecanismos internos e avaliações externas para acompanhar os sistemas, mas deixa aberta a possibilidade de que parte dessas medidas seja transformada em regras obrigatórias no futuro.

Ao mesmo tempo, Trump afirmou que os Estados Unidos precisam preservar sua vantagem tecnológica sobre a China. “É ótimo para nós, e estamos liderando por muito, e vamos continuar assim”, afirmou o presidente. “Vai ser muito, muito seguro, e haverá autorregulação, e também haverá uma fiscalização conjunta.”

O post Trump reúne líderes de tecnologia e anuncia acordo sobre segurança de IA apareceu primeiro em Olhar Digital.

Trump reúne líderes de tecnologia e anuncia acordo sobre segurança de IA Read More »

destaque satya nadella ceo da microsoft forum economico mundial 1024x576

Satya Nadella, da Microsoft, critica concentração da IA e acende alerta no setor

A inteligência artificial está cada vez mais concentrada nas mãos de poucas empresas. Esse foi o alerta feito por Satya Nadella.

Na visão do CEO da Microsoft, esse cenário pode acabar criando um desequilíbrio difícil de reverter no futuro.

E há uma preocupação adicional no discurso: o atual rumo da IA pode não ser sustentável para usuários e empresas comuns.

O CEO da Microsoft questiona o domínio das big techs na corrida pela inteligência artificial global. – Imagem: FotoField/Shutterstock

“Não podemos deixar a IA dominar a economia”

Em entrevista ao The Wall Street Journal, Nadella criticou o cenário atual da inteligência artificial, marcado pela forte concentração de poder em um pequeno grupo de companhias que lidera o desenvolvimento dos modelos mais avançados.

Na prática, ele questiona não só o modelo de negócio, mas também o impacto dessa centralização.

Você não pode dizer que todos os empregos de escritório vão acabar e, ao mesmo tempo, pedir poder ilimitado para construir data centers.

Satya Nadella, CEO da Microsoft, ao WSJ.

Para ele, o ponto central é simples: não faz sentido imaginar um futuro em que poucas empresas controlem sozinhas o aprendizado da IA em escala global.

Logo do Microsoft 365 Copilot em um tablet
Microsoft aposta em modelos de IA mais acessíveis enquanto critica o atual cenário dominado por poucos players. – Imagem: Azulblue/Shutterstock

Microsoft muda estratégia e aposta em modelos mais baratos

Enquanto faz críticas ao setor, a própria Microsoft já começou a ajustar sua abordagem.

A empresa passou a lançar modelos de inteligência artificial mais baratos e a testar formas de reduzir custos para clientes que lidam com contas cada vez mais altas no uso dessas tecnologias.

O movimento aparece em diferentes frentes dentro dos produtos da companhia.

Entre as iniciativas estão:

  • modelos de IA mais acessíveis para empresas
  • opção de escolher diferentes modelos dentro do Copilot
  • agentes de IA para execução de tarefas mais longas
  • testes com modelos alternativos, como o DeepSeek

A ideia é reduzir a dependência de poucos fornecedores e ampliar as opções disponíveis para os usuários.

Disputa aberta com os gigantes da tecnologia

Mesmo sem citar nomes diretamente, Nadella fez críticas que atingem empresas como OpenAI, Anthropic e Google, que hoje lideram o desenvolvimento dos chamados modelos de fronteira.

Leia mais:

O executivo defende uma mudança de direção: em vez de um mercado concentrado, a IA deveria evoluir como um ecossistema mais distribuído, com diferentes níveis de preço, acesso e capacidade.

Na prática, isso muda o centro da disputa global pela inteligência artificial.

A Microsoft, que mantém parceria com a OpenAI, também vem ampliando acordos com outras empresas e avaliando novas integrações em seus serviços.

Ilustração representa monitoramento digital de funcionários por ferramentas de inteligência artificial no ambiente de trabalho.
O futuro do trabalho também entra na discussão: IA deve apoiar, não apenas substituir empregos, diz Nadella. – Imagem: Skorzewiak / Shutterstock

IA e o futuro do trabalho: ajuste, não ruptura

Outro ponto forte da fala de Nadella foi o impacto da inteligência artificial no mercado de trabalho.

Ele defende que o debate não deve se limitar à substituição de empregos, mas sim à forma como as funções serão reorganizadas dentro das empresas.

A ideia, segundo ele, é que a adaptação seja gradual e baseada em equilíbrio entre tecnologia e trabalho humano.

  • IA como apoio direto à produtividade
  • reorganização de funções dentro das empresas
  • organizações funcionando como sistemas contínuos de aprendizado
  • combinação entre conhecimento humano e inteligência artificial

A fala de Satya Nadella mostra uma mudança de tom dentro de uma das maiores empresas de tecnologia do mundo. Entre críticas à concentração de poder e a defesa de modelos mais acessíveis, a Microsoft tenta reposicionar seu papel na disputa global da inteligência artificial — um debate que segue aberto e sem previsão de consenso no setor.

O post Satya Nadella, da Microsoft, critica concentração da IA e acende alerta no setor apareceu primeiro em Olhar Digital.

Satya Nadella, da Microsoft, critica concentração da IA e acende alerta no setor Read More »