Выделение кончика пальца при нажатии на твердую поверхность, когда он становится белым, стало основой для новой технологии размещения панелей дополненной реальности (AR) на реальных объектах, таких как стены и столы.

Существуют методы, позволяющие проецировать сенсорные панели и клавиатуры так, чтобы они выглядели парящими перед пользователями AR-гарнитур. Однако для взаимодействия с такими интерфейсами обычно требуются специальные контроллеры или перчатки с датчиками. Кроме того, длительное удерживание рук в поднятом положении может вызывать усталость, а отсутствие физического контакта с реальной поверхностью снижает тактильные ощущения.

Новая экспериментальная система использует стандартную камеру гарнитуры для обнаружения побеления кончика пальца при его нажатии на твердую поверхность. Искусственный интеллект анализирует этот эффект, чтобы определить момент и место контакта пальца с виртуальной сенсорной панелью, проецируемой на выбранную поверхность. После фиксации контакта программное обеспечение AR выполняет соответствующее действие.

Этот подход позволяет использовать любые окружающие поверхности — стены, столы, перегородки — в качестве сенсорных панелей без необходимости в дополнительных датчиках, маркерах или устройствах. Технология не требует специального оборудования и может быть использована любым человеком.

Результаты работы были представлены на 33-й конференции IEEE по виртуальной реальности и 3D-интерфейсам пользователя, прошедшей в прошлом месяце в Южной Корее.