Emu3.5: Новая мультимодальная модель для текста и изображений

Представлена Emu3.5 – новая мультимодальная модель, объединяющая текст и изображения в единое представление. Она способна одновременно обрабатывать визуальную и текстовую информацию, предсказывая их совместное состояние в реальном времени.

Модель обучена на огромном объеме данных – более десяти триллионах vision-language токенов – и доработана с использованием обучения с подкреплением, что значительно улучшило её способности к логическому мышлению и генерации контента в различных форматах.

Ключевым нововведением является метод DiDA (Discrete Diffusion Adaptation), который позволяет ускорить процесс генерации в 20 раз за счёт перехода от последовательного декодирования к параллельному предсказанию в дискретном пространстве токенов, без потери качества.

По результатам внутренних тестов, Emu3.5 демонстрирует превосходство над предыдущими версиями и конкурирующими моделями, такими как Nano Banana, в задачах мультимодальной генерации, редактирования изображений и интеграции текста с визуальными элементами.

Оценить возможности Emu3.5 можно на официальном сайте проекта или в открытом репозитории на GitHub.