РАСПОЗНАВАНИЕ ЭМОЦИЙ ПО ПАРАМЕТРАМ МИМИКИ В ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ

Долгих Анатолий Андреевич, Радостев Эдуард Андреевич

В статье представлен метод автоматического распознавания эмоционального состояния пользователя по параметрам мимики лица (коэффициентам blendshape), считываемым встроенными датчиками VR-шлема. Эмоция описывается двумя способами: как одна из семи базовых категорий и как точка в непрерывном трёхмерном пространстве Валентность-Возбужденность-Доминантность (Valence–Arousal–Dominance, VAD). Для распознавания применены как линейные алгоритмы (многомерная регрессия, SVM) с последующим определением ближайшей эмоции в пространстве VAD, так и прямые классификаторы (логистическая регрессия, нейронная сеть) на классы эмоций. Экспериментальные данные собраны в VR и включают 52 показателя мимики лица. Логистическая регрессия достигла точности около 60%, нейросеть 56% (обе показали высокую корреляцию прогнозируемых координат VAD с истинными), тогда как линейные методы дали лишь 30–45%. Ансамблевый классификатор не повысил точность. Также разработана нейросеть, которая по заданным координатам (V,A,D) генерирует соответствующую конфигурацию facial blendshape для управления виртуальным аватаром. Результаты соответствуют современным тенденциям (в современных системах для частично скрытого лица точность порядка 70%) и подтверждают принципиальную реализуемость распознавания эмоций в VR. Отмечены типичные сложности (перекрёстные ошибки между близкими эмоциями) и обозначены перспективы интеграции VR-распознавания эмоций в системы виртуальных агентов.

Ключевые слова:распознавание эмоций, виртуальная реальность, виртуальное окружение, виртуальные аватары, машинное обучение, мимика.