Быстрое увеличение доступной виртуальной реальности установленные головами показы предоставляет пользователям реалистические иммерсивные визуальные события. Однако установленные головами показы закрывают верхнюю половину лица пользователя и предотвращают лицевое признание действия со стороны всего лица. Чтобы сражаться с этой проблемой, Профессором университета Бингемтона Информатики, Лицзюнь Инь и его команда создали новую структуру, которая интерпретирует жесты рта как среду для взаимодействия в виртуальной реальности в режиме реального времени.
Команда иня проверила применение на группе аспирантов. Как только пользователь поставил установленный головами показ, им подарили упрощенную игру; цель игры состояла в том, чтобы вести аватар игрока вокруг леса и съесть как можно больше пирогов. Игроки должны были выбрать свое направление движения, используя главное вращение, переместить жесты рта использования и могли только съесть пирог, улыбнувшись.
Система смогла описать и классифицировать движения рта пользователя, и она достигла высоко правильных темпов признания. Система была также продемонстрирована и утверждена через применение виртуальной реальности в реальном времени.«Мы надеемся сделать это применимым больше чем к одному человеку, возможно два года. Думайте интервью скайпа и коммуникация», сказал Инь. «Вообразите, было ли такое чувство, что Вы были в том же самом геометрическом космосе, лицом к лицу, и компьютерная программа может эффективно изобразить Ваши выражения лица и копировать их так, это выглядит реальным».
Хотя технология находится все еще в фазе прототипа, Инь полагает, что его технология применима ко множеству областей.«Виртуальный мир не только для развлечений.
Например, здравоохранение использует СТАБИЛОВОЛЬТ, чтобы помочь искалеченным пациентам», сказал Инь. «Медицинские работники или даже личные вооруженные силы могут пройти учебные маневры, которые может не быть возможно испытать в реальной жизни. Эта технология позволяет опыту быть более реалистичной».Студенты Умур Айбарс Чифтчи и Син Чжан способствовали этому исследованию.
Доклад, «Частично закрытое лицевое признание действия и взаимодействие в приложениях виртуальной реальности», был сделан на Международной конференции IEEE 2017 года по вопросам Мультимедиа и Экспо.