Человекоподобные роботы могли бы помогать людям с физической работой в самых разных ситуациях. Правда, пока большинство таких машин уверенно выполняют лишь ограниченный набор движений.
Исследователи из Калифорнийского университета в Беркли (UC Berkeley) и Стэнфордского университета создали BeyondMimic — систему ИИ, которая расширяет репертуар движений гуманоидов и снижает потребность в подгонке под конкретные задачи.
Почему это было сложно
Научить гуманоида множеству ловких, естественных движений — задача сложная и долгая. Один из путей — тренировать контроллеры (алгоритмы, которые управляют перемещениями робота) на большом массиве человеческих демонстраций.
Такой подход позволяет воспроизводить некоторые движения, но иногда даёт неестественные результаты или требует подгонки под каждое отдельное действие. К тому же многие прежние методы работали за счёт обучения или тонкой настройки управляющих политик под конкретные движения и цели — и плохо переносились на новые задачи.
В основе нового фреймворка — обучение с подкреплением плюс модель, которая строит планы движений, уточняя шум внутри сжатого представления моторики.
Как работает BeyondMimic
Для обучения системы исследователи взяли около 2,5 часов данных о движениях людей: ходьба, бег, танцы, боевые искусства, прыжки, колесо и другие ловкие элементы. Затем эти движения адаптировали под пропорции и суставы гуманоида G1 от Unitree Robotics.
Команда обучила политики управления с помощью обучения с подкреплением, чтобы воспроизводить положения, ориентации и скорости частей тела в каждом эталонном движении. Обучение с подкреплением — широко распространённый метод тренировки компьютерных алгоритмов через награды и штрафы. В данном случае модель получала награду за точное отслеживание движений, а штрафы отбивали желание делать резкие рывки, занимать опасные положения суставов и допускать нежелательные контакты между частями тела робота.
«Мы представляем BeyondMimic — фреймворк, который масштабируется на разнообразные движения и обладает гибкостью, позволяющей бесшовно их комбинировать при решении невиданных ранее задач», — написали Цяюань Ляо, Такара Э. Чыонг и их коллеги в своей статье. «Компактная формулировка отслеживания движений позволяет освоить широкий спектр высокоманевренных behaviours, включая воздушные колеса, кручёные удары, удары с переворотом и спринт, — всё это с единой настройкой и общими гиперпараметрами, и при этом достигается человекоподобная производительность».
Чтобы сжать действия, выученные роботом, команда использовала вариационный автоэнкодер — алгоритм, который переводит данные о действиях в компактное и структурированное представление (то есть в латентное пространство меньшей размерности). Декодер затем преобразует эти сжатые представления в команды для робота.
После этого исследователи обучили алгоритм, известный как диффузионная модель, распознавать последовательности, содержащие как предсказанные физические состояния робота, так и сжатые представления движений. Во время обучения они добавляли шум в эти последовательности, и модель училась восстанавливать исходные движения.
«Выходя за рамки простого подражания существующим движениям, мы предлагаем единую латентную диффузионную модель, которая обеспечивает гибкую постановку целей, бесшовное переключение задач и динамическую композицию этих ловких behaviours», — написали Ляо, Чыонг и их коллеги. «Используя классификаторное руководство — специфичную для диффузии технику оптимизации во время тестирования под невиданные цели, — наша модель расширила свои возможности для решения нижестоящих задач, никогда не встречавшихся во время обучения, включая восстановление движений, телеуправление джойстиком и обход препятствий, и перенесла эти навыки zero-shot на реальное оборудование».
Первые демонстрации и будущие возможности
Сначала исследователи проверили движения в симуляции, а затем развернули 30 репрезентативных клипов движений на роботе Ubtech Walker S2. Их результаты оказались многообещающими: робот успешно выполнял различные движения, включая балансирующие позы, танцы, ползание, спринт, удары, вращающиеся прыжки и воздушные колёса.
В ходе этих экспериментов исследователи также попросили 77 участников сравнить движения ходьбы и бега, созданные с помощью BeyondMimic, с теми, что генерирует стандартный контроллер Unitree. В 70,8% сравнений участники оценили движения BeyondMimic как более человекоподобные и естественные, чем те, что обеспечивает стандартный контроллер.
В будущем фреймворк команды можно будет доработать и протестировать на ещё более широком спектре движений. Его также потенциально можно адаптировать для других человекоподобных роботизированных платформ.
Смотрите также в каталоге ROBOWIN
Под заказ 25–55 дней, со склада по России 1–3 дня. Частному лицу карта и чек, компании счёт.