ИИ «Сбера» научился распознавать сложные эмоции

Учёные Центра практического искусственного интеллекта «Сбера» добились значительного прогресса в точности определения эмоций на фото и видео с помощью искусственного интеллекта. Новые исследования открывают возможности для анализа сложных человеческих эмоций в реальных условиях, результаты были представлены на конференции ECCV 2024.

В рамках работы были представлены два исследования. Первое посвящено распознаванию составных эмоций, которые часто встречаются в жизни, например, «радостно удивлённый» или «печально испуганный». Разработанный алгоритм способен улавливать эти нюансы.

В разработке используются легковесные нейросетевые модели, такие как MT-EmotiMobileFaceNet, для извлечения эмоциональных признаков. Специальная постобработка сглаживает предсказания, повышая точность и конкурируя с более сложными методами.

Метод сглаживания предсказаний улучшил F1-меру классификации составных эмоций на 4,5 процентных пункта, обеспечив команде второе место в конкурсе Compound Expression Recognition (ABAW-7).

Ключевым преимуществом метода является точное распознавание без необходимости дообучения модели на новых данных с составными эмоциями.

Второе исследование, «Анализ эмоций на фото и видео с использованием эффективных многозадачных нейросетевых моделей», посвящено созданию лёгких моделей для одновременного решения нескольких задач, включая распознавание выражений лица, знака и интенсивности эмоций, а также 12 кодов лицевых движений.

Разработанные нейросети, MT-EmotiDDAMFNet и MT-EmotiEffNet, позволили улучшить результаты базового решения конкурса ABAW-7. Точность распознавания выражений лица выросла на 7 процентных пунктов, а качество предсказания знака и интенсивности эмоций — в 1,25 раза. Это достижение принесло команде серебряную медаль конкурса Multi-Task Learning Challenge.

Новая технология работает на мобильных устройствах, не отправляя видео лиц в облако, что обеспечивает экономию ресурсов и безопасность персональных данных. Модели и исходный код доступны в открытой библиотеке EmotiEffLib.

Ну что ж, теперь искусственный интеллект будет знать, когда вы притворяетесь, что вам весело на совещании. Похоже, человечеству пора готовиться к эре всевидящего и всезнающего алгоритма.