Apple apresenta IA capaz de criar avatares 3D realistas a partir de fotos
Pesquisadores da Apple apresentaram novo sistema de inteligência artificial (IA) chamado HeadsUp, capaz de gerar renderizações gaussianas 3D de cabeças humanas com alto nível de fidelidade a partir de fotografias capturadas simultaneamente por múltiplas câmeras.
O projeto foi detalhado em um artigo técnico assinado por 23 pesquisadores da companhia. Além de criar os modelos tridimensionais, o sistema também consegue animá-los por meio de blendshapes, técnica utilizada para deformar a malha de um modelo 3D e reproduzir expressões faciais.
Segundo o resumo do estudo, o método utiliza “uma arquitetura eficiente de codificador-decodificador que comprime as imagens de entrada em uma representação latente compacta”. Em seguida, essa representação “é então decodificada em um conjunto de gaussianas 3D parametrizadas em UV, ancoradas a um modelo neutro de cabeça”.
O artigo afirma ainda que a representação em UV “desacopla o número de gaussianas 3D do número e da resolução das imagens de entrada, permitindo o treinamento com muitas imagens de alta resolução”.
Leia mais:
Detalhes do projeto da Apple
- De acordo com os pesquisadores, o HeadsUp foi treinado com dados de mais de 10 mil participantes, número descrito como sem precedentes nesse segmento;
- O objetivo do projeto era solucionar um dos principais desafios das reconstruções 3D: equilibrar qualidade visual e escalabilidade;
- Ferramentas desse tipo normalmente levam alguns minutos para mapear um rosto, mas o sistema da Apple consegue gerar um modelo 3D inédito em menos de um segundo;
- Segundo o estudo, o HeadsUp é até 40 vezes mais eficiente que o Avat3r, solução utilizada como referência nos testes comparativos;
- Os pesquisadores também destacaram ganhos de qualidade em relação às soluções concorrentes. Utilizando uma GPU Nvidia A100, GPU voltada para data centers e aplicações de alto desempenho, o sistema levou apenas 0,33 segundo para gerar o modelo 3D de uma cabeça humana. Em testes realizados com quatro câmeras, o resultado foi obtido em 0,14 segundo.
Segundo o artigo, o HeadsUp consegue captar detalhes finos historicamente considerados difíceis para sistemas de reconstrução 3D, incluindo fios de cabelo, cílios, joias e textura da pele. A tecnologia também é capaz de gerar identidades completamente novas a partir de descrições em texto, ampliando as possibilidades de criação de personagens e avatares digitais.
Após a divulgação do estudo, começaram especulações sobre uma possível relação entre a tecnologia e as Personas do Apple Vision Pro, headset de realidade mista da Maçã. A hipótese ganhou força após a descoberta da aquisição da empresa de avatares de IA Animato pela Apple.
Riscos
Os próprios pesquisadores reconheceram os riscos associados à ferramenta. O estudo afirma que a tecnologia reduz barreiras para a criação de deepfakes convincentes, o que pode aumentar riscos de desinformação e fraude.
Como medida de mitigação, a Apple recomendou o uso de marcas d’água em materiais de demonstração produzidos com a tecnologia.
O estudo completo do HeadsUp foi disponibilizado pela Apple em sua página oficial.
O post Apple apresenta IA capaz de criar avatares 3D realistas a partir de fotos apareceu primeiro em Olhar Digital.
Apple apresenta IA capaz de criar avatares 3D realistas a partir de fotos Read More »
