Исследователи из Массачусетского технологического института (MIT) создали систему долговременной памяти для роботов. Она позволяет машинам быстро формировать и воспроизводить детальную мысленную модель сложных пространств.
Новый метод объединяет продвинутые картографические представления с подробными описаниями окружающей среды. Робот собирает эти данные во время длительных перемещений и мгновенно обращается к памяти, чтобы отвечать на сложные вопросы на обычном языке.
Проблема пространственно-временной памяти
Работница автозавода может вспомнить, в каком контейнере она оставила недособранную деталь накануне вечером. Она быстро возвращается на то же место, чтобы забрать её. А вот роботам, которые трудятся бок о бок с ней, с такой «пространственно-временной» памятью приходится туго.
Статья о разработке опубликована на сервере препринтов arXiv. В будущем эта технология позволит работнице просто попросить робота-помощника: «Сходи и принеси деталь, которую мы начали собирать прошлой ночью» — и тот выполнит задание.
Система памяти точнее отвечает на запросы, чем современные аналоги. Она работает достаточно быстро для использования мобильным роботом в реальном времени.
Помимо робототехники, метод может найти применение в системах дополненной реальности. Например, помогать ремонтникам выявлять неисправности или подсказывать пассажирам маршрут.
«Если мы хотим, чтобы роботы работали рядом с людьми и лучше с ними взаимодействовали, они должны говорить на одном языке. Робот должен уметь рассуждать о времени и пространстве так же, как человек. По сути, это и делает наш метод. Он превращает обычную карту в карту на основе языка, с которой роботу проще работать и к которой проще обращаться с помощью языка», — объясняет Лука Карлоне, доцент кафедры аэронавтики и астронавтики MIT (AeroAstro), ведущий исследователь Лаборатории информационных и системных решений (LIDS) и директор лаборатории SPARK.
В соавторах статьи — ведущий автор Николас Горло, аспирант MIT, и Лукас Шмид, бывший научный сотрудник MIT, ныне профессор Технологического университета Нюрнберга в Германии. Исследование недавно представили на Конференции по компьютерному зрению и распознаванию образов (CVPR).
Как это работает
Память позволяет системам искусственного интеллекта — тем же чат-ботам — отвечать на сложные вопросы и анализировать предыдущие диалоги с пользователем.
«Мы хотим создать новый тип памяти — пространственно-временную. Такую, чтобы робот на базе ИИ запоминал реальные взаимодействия и данные с датчиков. Как ChatGPT, но привязанный к физическому миру и способный ответить на любой вопрос об окружающей обстановке. Например: „Где я оставил свой бумажник?“», — объясняет Карлоне.
Чтобы разработать такую систему памяти, исследователи из MIT объединили два направления: компьютерное зрение и роботизированное картографирование.
Мультимодальные модели компьютерного зрения умеют распознавать и подробно описывать объекты на сцене. Но, как правило, обрабатывают лишь одну аннотацию за раз. А фреймворки для роботизированного картографирования строят 3D-карты окружения — целой квартиры или университетского кампуса. Зато они часто лишены детальных описаний объектов или требуют огромных вычислительных ресурсов.
Метод, который придумали в MIT, называется Describe Anything, Anywhere, Anytime, at Any Moment (DAAAM). Он берёт лучшее от обоих подходов.
С помощью DAAAM робот, перемещаясь по среде, прикрепляет к увиденным объектам развёрнутые описания. Скажем, отмечает, что конкретное здание в кампусе MIT называется Stata Center и спроектировано в определённом архитектурном стиле. Или что на велопарковке стоят пять велосипедов, и у красного спущено колесо.
Вся эта детальная информация сохраняется в 3D-карте, организованной по пространственному принципу: объекты группируются по отдельным зонам. Так робот запоминает, что красный велосипед со спущенным колесом стоит на парковке у Stata Center.
Но существующие технологии, которые умеют собирать такие богатые описания, тратят по несколько секунд на аннотацию пары объектов. Для работы в реальном времени это слишком медленно — ведь за несколько минут исследования робот может увидеть сотни предметов.
«Чем быстрее робот формирует пространственную память, тем эффективнее он действует в окружающей среде», — добавляет Карлоне.
Ускорение процесса
Чтобы ускорить работу, DAAAM группирует близлежащие объекты по мере движения. С помощью оптимизационного метода система выбирает ключевые кадры для аннотации — изображения с наиболее чётким обзором сразу нескольких предметов. Она описывает их параллельно, что ускоряет вычисления в десять раз.
Исследуя пространство, робот привязывает каждую партию аннотаций к нескольким объектам в конкретной точке 3D-карты.
«Мы аннотируем каждый объект только один раз, поэтому наш фреймворк может работать в очень больших средах в реальном времени. А группируя объекты по зонам, он способен отвечать на самые разные запросы — и о предметах, и о местах», — объясняет Горло.
Когда пространственная память сформирована, системе нужно эффективно извлекать информацию из огромной базы объектов и описаний. Для этого исследователи задействовали LLM, которая вызывает различные инструменты и быстро находит нужные данные, снижая риск галлюцинаций. Благодаря этому DAAAM отвечает на запрос пользователя точно — всего за несколько секунд.
Например, если спросить робота о скульптуре, которую он видел возле одного из зданий кампуса MIT, DAAAM может использовать семантический поиск по слову «скульптура» или другой инструмент — для поиска по местоположению здания.
В тестах по сравнению с другими методами DAAAM показал точность на 21-53% выше — в зависимости от типа вопроса.
В будущем исследователи хотят расширить DAAAM, чтобы система могла фиксировать значимые события, происходящие в среде. Также они работают над внедрением уровней уверенности в ответы системы.
«В конечном счёте мы хотим, чтобы роботы помогали с любыми задачами. С помощью этого фреймворка мы закладываем основы для универсального агента, способного выполнить всё, что вы попросите», — заключает Горло.
Смотрите также в каталоге ROBOWIN
Под заказ 25–55 дней, со склада по России 1–3 дня. Частному лицу карта и чек, компании счёт.