Nvidia открыла исходный код Audio2Face для реалистичной анимации лиц
Nvidia открыла исходный код Audio2Face — технологии ИИ, создающей реалистичную анимацию лиц на основе звука. Это сделано для ускорения внедрения ИИ-аватаров в игры и 3D-приложения.
Audio2Face анализирует звук (фонемы, интонации) для создания анимационных данных, синхронизирующих мимику персонажа с речью в реальном времени или офлайн. Это обеспечивает высокую точность и эмоциональность.
Также Nvidia предоставила доступ к фреймворку для обучения Audio2Face, позволяя разработчикам адаптировать модели под свои задачи.
Компания надеется на вклад сообщества разработчиков, предлагая присоединиться к обсуждению в Discord и делиться результатами.
Audio2Face уже используется в игровой индустрии, медиа, сфере развлечений и клиентского обслуживания. Технологию интегрировали такие компании, как Convai, Codemasters и другие.
Reallusion, разработчик 3D-персонажей, использует Audio2Face для создания выразительной анимации на разных языках.
Audio2Face является частью платформы Nvidia ACE, оптимизированной для оборудования Nvidia, хотя теоретически может работать и на других видеокартах.
В общем, Nvidia решила поделиться своей игрушкой, видимо, чтобы все могли посмотреть, как это *действительно* работает. Спойлер: лучше всего – на их железе.
