Представьте, что вы управляете высокотехнологичным экзоскелетом, словно Тони Старк, используя датчики отслеживания взгляда в шлеме для управления костюмом. Но внезапно вас поражает энергетический луч, а затем мощный удар сбивает с курса. В такой ситуации, когда ваши глаза вращаются, как разбалансированные гироскопы, сможете ли вы продолжить полет или потеряете управление?

Исследователи из Калифорнийского университета в Сан-Диего — Сянцзюнь Чэнь, Чжиюань Лоу, Сяосян Гао и Лу Инь — не ставили перед собой столь фантастическую задачу, когда работали над своей статьёй в Nature Sensors «Шумоустойчивый интерфейс человек–машина на основе носимых сенсоров с поддержкой глубокого обучения». Их цель заключалась в создании надёжной системы дистанционного управления жестами, способной работать даже при неизбежных в реальной жизни толчках, вибрациях и нарушениях моторики.

Искусственный интеллект для фильтрации шумов

С помощью искусственного интеллекта для «очистки данных» Чэнь, научный сотрудник кафедры химической и наноинженерии Инженерной школы Джейкобса, работал над удалением шумных данных сенсоров в реальном времени. Это позволило устройству его команды надёжно распознавать обычные жесты и управлять машинами даже в очень динамичной среде.

От военных задач к носимым технологиям

Первоначально, при поддержке лабораторий профессоров Шэн Сюй и Джозефа Ванга, а также Агентства перспективных исследовательских проектов обороны США (DARPA), команда Чэня стремилась улучшить управление подводными роботами для военных водолазов. Однако со временем стало ясно, что устойчивое управление необходимо и на суше, особенно для быстро развивающейся сферы носимых технологий, где до сих пор не хватало систем, устойчивых к вибрациям.

Технология нового поколения

«Эта работа открывает новый способ обеспечения устойчивости к шуму в носимых сенсорах, — отмечает Чэнь. — Она прокладывает путь к носимым системам следующего поколения, которые не только гибкие и беспроводные, но и способны обучаться в сложных условиях и адаптироваться к индивидуальным пользователям».

Электронный патч, который можно закрепить на повязке или браслете, сочетает в себе датчики движения и мышечной активности, Bluetooth-ретранслятор и растягиваемую батарею. Искусственный интеллект устраняет шумы, вызванные толчками и дрожанием, так что даже при тряске управление остаётся точным.

Проверка в реальных условиях

Используя базу данных жестов, собранных в динамичных условиях на суше и на море, устройство анализирует сигналы руки с помощью собственной платформы глубокого обучения. Это позволяет устранять ложные срабатывания и обеспечивать мгновенное управление механизмами, включая роботизированные руки. Испытуемые управляли устройством во время бега, при воздействии тряски, толчков и высокочастотных вибраций. Морские условия моделировались с помощью симулятора Scripps Ocean-Atmosphere Research Simulator. Во всех случаях система демонстрировала высокую точность и низкую задержку.

Перспективы применения

Если выводы Чэня и его коллег подтвердятся, их устройство станет первым носимым контроллером на основе жестов, который эффективно устраняет проблему шумов, вызванных турбулентностью. Это делает такие системы пригодными не только для идеально стабильных лабораторных условий, но и для реального мира, где люди не всегда могут или хотят оставаться неподвижными.

В будущем технология Калифорнийского университета в Сан-Диего может помочь рабочим на заводах и сотрудникам экстренных служб дистанционно управлять роботами, транспортом и инструментами без помощи рук — даже на высокой скорости или в опасных условиях.

За пределами экстренных ситуаций

Применение устройства выходит далеко за рамки сценариев для боевиков и чрезвычайных ситуаций. Например, пациенты, проходящие реабилитацию, или люди с нарушениями движений смогут обучать модель устройства с помощью своих естественных жестов, даже не обладая полностью восстановленным мелким моторным контролем.

«Этот прогресс, — говорит Чэнь, — приближает нас к интуитивным и надёжным интерфейсам человек–машина, которые можно использовать в повседневной жизни».