NVIDIA anunció la liberación como código abierto de Audio2Face, su innovador modelo de animación facial impulsado por inteligencia artificial. A partir de ahora, tanto los modelos como el SDK estarán disponibles para que desarrolladores de videojuegos y aplicaciones 3D puedan crear y desplegar personajes digitales de alta fidelidad con animaciones realistas. Además, la compañía adelantó que también pondrá a disposición de la comunidad el Audio2Face Training Framework, lo que permitirá ajustar y personalizar modelos preexistentes según las necesidades de cada proyecto.
Audio2Face acelera el desarrollo de personajes digitales gracias a la animación facial y sincronización labial en tiempo real basadas en IA generativa. La tecnología procesa una entrada de audio, analiza características acústicas como fonemas y entonaciones, y genera un flujo de datos de animación que se adapta a las expresiones faciales del personaje. Estos datos pueden utilizarse tanto en renderizados offline para contenido pregrabado, como en transmisiones en tiempo real, ofreciendo así sincronización precisa y expresiones emocionales naturales que mejoran la interacción con los usuarios.
El impacto de Audio2Face ya es evidente en videojuegos, medios, entretenimiento y atención al cliente, donde se ha convertido en una herramienta clave para dar vida a personajes virtuales. Entre los estudios que han adoptado esta tecnología se encuentran Codemasters, GSC Games World, NetEase y Perfect World Games, mientras que compañías especializadas en software y servicios como Convai, Inworld AI, Reallusion, Streamlabs y UneeQ también la han integrado en sus soluciones. Con su apertura al ecosistema open source, NVIDIA busca ampliar aún más el alcance de Audio2Face y acelerar la innovación en la creación de experiencias digitales inmersivas.
