Наука и технологии

Предложен метод распознавания эмоций в видеоиграх

Виртуальная реальность (VR) открывает новые рубежи для разработчиков видеоигр. Речь идет о создании более реалистичных, интерактивных и захватывающих продуктов. Консоли виртуальной реальности, по сути, позволяют геймерам оказаться внутри игры, преодолеть ограничения экрана и проблемы с задержкой.

Интересным вектором дальнейшего развития VR было бы распознавание эмоций. Это бы позволило разработчикам вносить сведения о реакциях на эмоции пользователя в режиме реального времени. Эта идея заинтересовала исследователей из Университета Йонсей и компанию Motion Device. Они предложили методику глубокого обучения, которая позволит распознавать эмоции во время игры с использованием виртуальной реальности. Их доклад был представлен на конференции IEEE 2019 года по виртуальной реальности и трехмерным пользовательским интерфейсам.

Чтобы виртуальная реальность работала, пользователи надевают наголовные дисплеи (HMD); игровой контент появляется прямо перед глазами. Однако, объединение инструментов распознавания эмоций с игровым опытом виртуальной реальности – сложная задача, поскольку большинство моделей машинного обучения для прогнозирования эмоций работают путем анализа лица. HMD частично закрывает лицо пользователя.

Исследователи из Университета Йонсей и компании Motion Device обучили три сверточные нейронные сети (CNN) – а именно DenseNet, ResNet и Inception-ResNet-V2 – прогнозировать эмоций людей по частичным изображениям лица. Они взяли изображения из набора данных Radbound Faces (RaFD), который включает в себя базу из более чем 8 тыс. изображений лиц 67 субъектов. Их отредактировали, закрыв ту часть лица, которая будет закрыта при ношении «очков» виртуальной реальности.

Изображения, используемые для обучения алгоритмов – это человеческие лица. Однако глаза, уши и брови закрыты черным прямоугольником. Когда исследователи оценили их с помощью CNN, то обнаружили, что сети могли классифицировать эмоции, даже не анализируя закрытые участки лица человека, которые, как считается, имеют ключевое значение при распознавании эмоций.

В целом, CNN под названием DenseNet показала лучшие результаты, чем другие, достигнув средней точности более 90 процентов. Интересно, что алгоритм ResNet превзошел два других в классификации выражений лица, которые передавали страх и отвращение.

«Мы успешно обучили три архитектуры CNN, которые оценивают эмоции частично закрытых изображений человеческого лица. Наше исследование показало возможность оценки эмоций по изображениям людей, носящих HMD, с использованием машинного зрения», – отмечают исследователи.

Это показывает, что в будущем инструменты распознавания эмоций могут быть интегрированы с технологией VR, даже если HMD закрывают части лица игрока. Кроме того, разработанные исследователями CNN могут вдохновить другие группы по всему миру на разработку новых методов распознавания эмоций, которые можно применять в виртуальных играх.

В настоящее время исследователи планируют заменить черные прямоугольники, которые они использовали в своем исследовании, реальными изображениями людей, одетых в HDM. Это должно в конечном итоге позволить им обучать CNN более надежно и эффективно, подготавливая их для реальной работы.

Похожие записи

Презентации новых iPhone могут проходить дважды в году

Вадим Ботнарюк

Realme хочет отделиться от материнской компании Oppo

Алина Титова

Apple может лишить iPhone 2021 разъема для зарядки

Firefox 72 принесет новые функции для пользователей Линукс и macOS

Новый глава Alphabet выделил 2 млрд долларов уходящим основателям

Вадим Ботнарюк