Робот EMO учится говорить и выражать эмоции
Исследователи создали робота EMO, который учится говорить и синхронизировать движения губ с речью, наблюдая за собой и анализируя видео людей. Технология пока несовершенна, но с опытом робот становится всё более естественным в общении.
Ingenium
Когда речь заходит о роботах, максимально похожих на людей, одной из ключевых особенностей становится способность губ двигаться в точном соответствии с произносимыми словами. Новый робот не только обладает этой функцией, но и способен самостоятельно учиться говорить, как человек.
Как работает робот EMO
Робот EMO был создан аспирантом Юханом Ху, профессором Ходом Липсоном и их коллегами из Колумбийского университета. Устройство представляет собой голову с 26 миниатюрными моторами, расположенными под гибкой силиконовой кожей лица. Благодаря различным комбинациям работы моторов, лицо робота может принимать разнообразные выражения, а губы — формировать разные формы.
Процесс обучения
Исследователи начали с того, что поместили EMO перед зеркалом. Робот случайным образом создавал тысячи различных выражений лица, наблюдая за собой. Это позволило ему понять, какие комбинации моторов вызывают определённые визуальные движения. Такой подход называется языковой моделью «от зрения к действию» (VLA).
Далее EMO просмотрел множество часов видео на YouTube, где люди разговаривают и поют. Это помогло роботу установить связь между движениями рта и определёнными звуками речи. Система искусственного интеллекта объединила эти знания с тем, что было изучено с помощью VLA-модели, что позволило EMO синхронизировать движения губ с произносимыми словами через синтетический голосовой модуль.
Современные возможности и перспективы
На данный момент технология далека от совершенства: EMO испытывает трудности с некоторыми звуками, например, «Б» и «В». Однако по мере практики и накопления опыта его способность вести естественные беседы с людьми будет улучшаться.
Юхан Ху отмечает: «Когда способность к синхронизации губ сочетается с разговорным искусственным интеллектом, таким как ChatGPT или Gemini, это придаёт совершенно новую глубину связи между роботом и человеком. Чем больше робот наблюдает за человеческими беседами, тем лучше он будет имитировать тонкие мимические жесты, с которыми мы можем эмоционально взаимодействовать. Чем длиннее контекст разговора, тем более контекстно-зависимыми будут эти жесты».
Научная публикация
Результаты этого исследования недавно были опубликованы в журнале Science Robotics.