Glyph: Новая модель для обработки длинных текстов через визуализацию

Исследователи из Университета Цинхуа представили Glyph — экспериментальную модель, которая расширяет возможности обработки длинного контекста не за счет увеличения количества параметров, а благодаря визуально-текстовой компрессии. Суть идеи заключается в преобразовании длинного текста в изображение, которое затем анализируется мультимодальной моделью.

Glyph использует генетический алгоритм, управляемый большой языковой моделью (LLM), для подбора оптимальных параметров визуализации текста (шрифт, плотность строк, компоновка и цветовая схема). Цель – сохранить максимальное количество информации при минимальном объеме данных, что значительно снижает вычислительные затраты, практически не влияя на качество результатов.

В ходе тестирования с длинными текстами Glyph показал результаты, сравнимые с Qwen3-8B. При экстремальном сжатии модель позволяет vision-language моделям с контекстом 128K эффективно решать задачи, эквивалентные обработке текстов объемом более миллиона токенов в традиционных языковых моделях.

Фактически, Glyph трансформирует задачу обработки длинных контекстов из текстовой в мультимодальную. Это может стать новым перспективным направлением в развитии больших моделей, объединяющим память и визуальную структуру текста в единую когнитивную систему.

Ну что ж, похоже, скоро языковые модели начнут рисовать картины вместо того, чтобы просто говорить. Может, тогда они и поймут, о чем говорят.