Роботы, шагающие по улице в окружении изумлённых прохожих, — уже не редкость. Но до универсальных помощников, которые могли бы работать на кухне или заводе, этим машинам ещё далеко.
Главное препятствие — данные. Как и люди, роботы лучше всего учатся на собственном опыте. Вот только физически обучать их десяткам действий в разных условиях — дело трудоёмкое и отнимает уйму времени.
Симуляция как тренировочная площадка
«Напрашивается идея использовать симуляцию как тренировочную площадку. За последние годы физические движки, на которых работают симуляторы роботов, серьёзно продвинулись, но одна проблема остаётся: как создать достаточно богатый и разнообразный контент для симуляции, чтобы передать всю сложность реального мира», — говорит Расс Тедрейк, профессор Toyota по электротехнике и компьютерным наукам, аэронавтике, астронавтике и машиностроению в MIT, а также ведущий исследователь в Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL).
Оказалось, что ИИ-агенты — полуавтономные программы, которые «думают» и выполняют чётко поставленные задачи — могут помочь создать те самые реалистичные виртуальные миры, необходимые роботам.
Как работает SceneSmith
Новая система «SceneSmith», разработанная исследователями из MIT CSAIL и Toyota Research Institute, использует трёх агентов, чтобы собрать воедино объекты, стены и общий вид трёхмерной сцены. Её реконструкции внутренних помещений — ресторанов, спален, гостиниц — получаются куда реалистичнее и детальнее, чем у прежних систем.
Это позволяет роботам отрабатывать навыки и перебирать разные способы выполнения задач ещё до того, как их включат. А инженеры экономят время на реальных испытаниях.
Откуда у агентов понимание, как должны выглядеть обычные места? Каждый из них обращается к мультимодальной системе — визуально-языковой модели (VLM), а именно к передовой VLM GPT-5.2. Она обучена на огромном количестве текстов и изображений из интернета, чтобы работать с визуальными подсказками.
Эта продвинутая модель даёт каждому агенту своего рода пространственные знания: сначала агент-«дизайнер» генерирует элементы сцены, затем «критик» оценивает, насколько реалистично это выглядит, и наконец «оркестратор» управляет их диалогом, решая, когда сцена готова. Как только три VLM завершают совместное творчество, сцену можно напрямую загружать в программное обеспечение для физической симуляции.
Креативность и разнообразие
«Мы обнаружили, что система способна строить 3D-сцены так, как это сделал бы человек-дизайнер, — рассказывает Николас Пфафф, аспирант MIT EECS и исследователь CSAIL, ведущий автор статьи, опубликованной на сервере препринтов arXiv вместе с Тедрейком. — Мы создали более 1300 сцен, используя ведущую VLM с интернет-масштабными априорными знаниями, и она выдала невероятно креативные и разнообразные композиции. Я не закладывал это в систему через подсказки — она просто импровизировала».
Благодаря VLM-агентам вы можете попросить SceneSmith сделать, например, «гараж с машиной, верстаком, шинами, сложенными в углу, и лестницей у стены» — и получить виртуальную площадку, полную предметов, с которыми робот может возиться. Такие комнаты содержат до шести раз больше объектов на сцену, чем предыдущие методы.
Это здорово помогает роботам осваивать навыки: поставить чашку в раковину, разложить фрукты по тарелкам или передвинуть банку с газировкой с полки на стол.
Проверка готовности к реальной работе
Имея под рукой столько насыщенных виртуальных миров, можно оценить, готов ли ваш робот к реальной работе, без лишних проб и ошибок в физическом мире. Исследователи тестировали разные планы действий (их еще называют «политиками») в цифровых мирах SceneSmith, создав в процессе сто уникальных пространств.
VLM-агент оценивал каждую попытку — и выяснилось, что планы робота были с изъяном: машина часто проваливала свои задачи. Люди соглашались с выводами модели более чем в 99% случаев. А это значит, что робототехники могут отсеивать неудачные подходы в симуляции, прежде чем робот начнет действовать в реальном мире.
Но насколько реалистичны эти виртуальные миры на самом деле? Доказать это напрямую сложно, поэтому исследователи подошли к вопросу с разных сторон. Самый показательный тест: они взяли предварительно обученную политику робота — ИИ-контроллер, натренированный в основном на реальных данных и никогда не видевший сцен SceneSmith, — и запустили его в сгенерированные среды.
В одном тесте пользователи сказали системе: «Возьми яблоко из миски и положи его на разделочную доску», — и симулированный робот сделал именно это. Если бы сцены не были похожи на реальные условия, на которых училась политика, ничего бы не вышло.
Команда также управляла роботами удаленно через виртуальные пространства: направляла их открывать шкафы, убирать бутылки и перемещаться между комнатами. Эксперименты показали, что среды выдерживают длительное физическое взаимодействие, а не просто годятся для визуального осмотра.
За кулисами: три агента
Агенты, которыми пользуется SceneSmith, играют четко определенную роль в процессе генерации, создавая сцены поэтапно. По сути, они составляют план помещения и оживляют его.
Допустим, вы хотите создать сцену, похожую на первый этаж дома. «Дизайнер» VLM начинает с общего макета, «критик» его проверяет, а «оркестратор» утверждает. Агенты повторяют этот подход на каждом шаге: добавляют мебель, размещают объекты на стенах, потом на потолке и, наконец, расставляют предметы, которыми робот может манипулировать.
Например, VLM могут добавить шкафчики, которые робот способен открывать и закрывать — это подвижные элементы, которых часто не было в предыдущих базовых моделях. На каждом этапе второй VLM следит, чтобы сцена была практичной: скажем, советует убрать ванну из гостиной.
Третий VLM гарантирует высокое качество сцены, даже откатывая процесс проектирования на несколько шагов назад, если визуал не дотягивает. Когда три VLM завершают творческое сотрудничество, с помощью симуляционного ПО добавляется физика реального мира.
Превосходство над аналогами
Благодаря четкому пониманию того, как должны выглядеть комнаты, где размещать объекты и как работают законы физики, SceneSmith заметно превосходит предыдущие методы. По сравнению с базовыми генераторами сцен вроде «HSM» и «Holodeck», SceneSmith создавал среды с большим количеством объектов — включая частный офис, магазин керамики и даже игровую комнату в стиле Minecraft.
SceneSmith также стал фаворитом у более чем двухсот пользователей. В более чем 90% случаев они находили визуал системы более реалистичным. К тому же они заметили, что в целом система точнее следует подсказкам, чем другие подходы. Иными словами, она лучше всех умела генерировать те виртуальные площадки, которые пользователи действительно хотели увидеть.
Сильные стороны и ограничения
Реализм, разнообразие и богатство деталей — вот сильные стороны SceneSmith. Даже когда речь заходит о создании отдельных 3D-объектов. Вы даете команду сделать сервировочный столик на колесах — и система генерирует двухмерное изображение, которое затем превращает в детализированную модель с физическими свойствами: массой, трением и инерцией.
Правда, за такую детализацию приходится платить скоростью. На создание одной сцены могут уйти часы — агенты скрупулезно прорабатывают и проверяют каждый объект. Увеличь вычислительную мощность — и эффективность системы резко вырастет. Инженеры CSAIL к тому же надеются расширить возможности на деформируемые объекты (вроде губок), если появятся обширные 3D-библиотеки.
«SceneSmith — это серьезный шаг вперед. Он предлагает агентную среду для генерации готовых к симуляции интерьеров по простому текстовому запросу, — говорит Джереми Бинагия, прикладной ученый из Amazon Robotics, не участвовавший в исследовании. — Система расширяет границы возможного: повышает плотность объектов в виртуальной среде, гарантирует их физическую точность (а не просто визуальное правдоподобие) и создает активы, не привязанные к фиксированной библиотеке — их можно генерировать через текст-в-3D».
Данные о публикации
Nicholas Pfaff и соавторы, «SceneSmith: агентная генерация симуляционных сцен для помещений», arXiv (2026). DOI: 10.48550/arxiv.2602.09153
Информация о журнале: arXiv
Кто стоит за этой историей? Лиза Лок. Бакалавр искусствоведения, магистр материальной культуры. Бывший музейный редактор, фельдшер и координатор по трансплантации. Редактирует для Science X с 2021 года. Полный профиль →
Эндрю Зинин. Магистр физики с опытом исследований. Давний энтузиаст научных новостей. Играет ключевую роль в редакционном успехе Science X. Полный профиль →
Этот материал перепечатан с разрешения MIT News (web.mit.edu/newsoffice/), популярного сайта, освещающего новости об исследованиях, инновациях и преподавании в MIT. Цитата: «AI-агенты создают виртуальные полигоны, чтобы помочь роботам получить критически важные обучающие данные» (14 июля 2026 года). Получено 15 июля 2026 года с https://techxplore.com/news/2026-07-ai-agents-virtual-playgrounds-robots.html
Данный документ защищен авторским правом. За исключением случаев добросовестного использования в целях частного изучения или исследования, никакая его часть не может быть воспроизведена без письменного разрешения. Содержимое предоставляется исключительно в информационных целях.
Смотрите также в каталоге ROBOWIN
Под заказ 25–55 дней, со склада по России 1–3 дня. Частному лицу карта и чек, компании счёт.