Harmony: Новый фреймворк для идеальной синхронизации аудио и видео
Исследователи из Shanghai Jiao Tong University и Tencent Hunyuan разработали Harmony – новый фреймворк для создания синхронизированного аудиовизуального контента.
В отличие от многих существующих опенсорс-моделей, часто страдающих от рассинхронизации видео и звука, Harmony демонстрирует высокую точность и стабильность. Фреймворк успешно генерирует контент для английской, китайской речи и окружающих звуков.
По результатам тестов, Harmony превосходит такие решения, как JavisDiT, Ovi и UniVerse-1, особенно в сложных и нереалистичных сценах, где способен создавать динамичное и идеально синхронизированное видео.
Источник
