Nvidia научила роботов перенимать навыки у людей

Новая модель GR00T 2 позволяет роботам осваивать действия по видеозаписям с участием людей и других машин. Облегченную версию системы уже испытали на гуманоиде Unitree G1, который научился выполнять бытовые задачи. Подробнее – в материале El.kz.

Компания Nvidia представила GR00T 2, модель искусственного интеллекта для обучения и управления роботами. Она анализирует видеозаписи, на которых люди или другие машины выполняют различные действия, и переносит полученные навыки на роботов с другой конструкцией.

В основе разработки лежит архитектура World-Action Model, которая одновременно прогнозирует изменения окружающей среды и движения робота. Модель учитывает изображение с камер, текстовые инструкции и состояние машины, после чего формирует последовательность действий.

В испытаниях на 50 задачах GR00T 2 справилась с 40% попыток без предварительных демонстраций. После одной демонстрации успешность выросла до 71%, а после пяти достигла 95%. На адаптацию каждой задачи потребовалось менее трёх минут видеоматериала и около получаса дообучения на видеокарте RTX 5090.

Чему роботы научились у людей

Для обучения Nvidia использовала более 400 тысяч часов видео от первого лица, на которых люди выполняют различные действия. В выборку также вошли записи дистанционного управления роботами и демонстрации работы с роботизированными захватами.

Исследователи проверили влияние человеческих видеозаписей на обучение робота Dexter. При увеличении их доли успешность выполнения задач в симуляции выросла с 64% до 77%, а на реальном устройстве с 50% до 70%.

GR00T 2 также продемонстрировала способность переносить навыки между разными типами машин. Например, робот Dexter успешно выполнил процедуры, которым модель обучалась по записям с камер на голове и запястьях человека. Среди других освоенных действий оказались сборка игрушек, сортировка предметов, работа с деталями и приготовление завтрака.

El.kz также писал о том, какой ИИ создают студенты Казахстана.