Alibaba запустила Wan 2.2 Animate: анимация персонажей по фото и замена лиц в видео
Компания Alibaba представила открытую видео-модель Wan 2.2 Animate для создания анимации персонажей по одному фото и замены лиц в готовых роликах. Решение входит в семейство моделей Wan 2.2, включающее преобразование текста в видео (T2V), речи в видео (S2V) и другие форматы. Модель доступна на Hugging Face и GitHub под лицензией Apache-2.0 с возможностью онлайн-тестирования.
Архитектура Animate-14B использует технологию смеси экспертов (MoE) с двумя специализированными модулями для обработки разного уровня шума. При общих 27 миллиардах параметров на каждом шаге задействуется лишь 14 миллиардов, что снижает вычислительные затраты. Улучшения в кинематографическом качестве и обработке сложных движений достигнуты за счет расширения обучающих данных: на 65,6% больше изображений и на 83,2% больше видео.
Пользователям достаточно загрузить референсное фото и видео с образцом движений. Система анализирует позы и маски, после чего предлагает два режима: Animation создает новый ролик, перенося движения на персонажа с фото, а Replacement заменяет актера в исходном видео с сохранением фона, сцены и тайминга — от замены лица до полной подмены тела с синхронизацией губ.
Для работы полной версии Animate-14B требуется 80 ГБ видеопамяти. На видеокартах с 24 ГБ (например, RTX 4090) запуск возможен с использованием оффлоада данных в ОЗУ или формата FP8. Упрощенная модель TI2V-5B работает на RTX 4090, генерируя видео в разрешении 720p при 24 кадрах в секунду.
Отныне даже домашние питомцы могут стать голливудскими звездами — достаточно инвестировать в видеокарту стоимостью с подержанный космический корабль и подождать пару лет, пока скачаются 80 ГБ волшебства.
