Учёные Массачусетского технологического института (MIT CSAIL) разработали инновационную систему управления роботами — «Нейронные Якобиановые Поля» (NJF), которая кардинально меняет подход к обучению робототехники. Система позволяет роботам любого типа и сложности самостоятельно осваивать управление своим телом, используя лишь визуальные данные с камеры, без применения сложных датчиков или заранее заданных моделей.
Традиционные методы требуют точного программирования и многочисленных датчиков для создания цифровой модели робота. Это усложняет разработку мягких, деформируемых или нестандартных роботов. NJF меняет правила игры: робот «наблюдает» за собственными случайными движениями, используя камеру, и на их основе формирует внутреннюю модель своего тела. Такой процесс обучения можно сравнить с тем, как человек учится контролировать движения пальцев — через практику и обратную связь.
В основе NJF лежит нейронная сеть, которая связывает трёхмерную форму робота с его реакцией на управляющие команды. Система использует метод нейронных полей излучения (NeRF), расширенный для обучения якобиановому полю — математической модели, описывающей, как движется любая точка тела робота в ответ на команды двигателя. Благодаря этому робот способен предсказывать и корректировать свои движения в режиме реального времени, используя только видеопоток с одной камеры.
Тестирование показало высокую эффективность NJF на разнообразных роботах: пневматической мягкой руке, жёсткой руке Allegro, 3D-печатном плече и вращающейся платформе без встроенных датчиков. Во всех случаях система самостоятельно изучала форму и динамику устройств, демонстрируя точность и скорость обучения, превосходящую традиционные физические симуляторы, которые часто оказываются слишком ресурсоёмкими.
Потенциал технологии огромен: роботы с NJF смогут выполнять точные сельскохозяйственные работы, работать на стройплощадках без сложного оборудования, а также адаптироваться к быстро меняющимся условиям окружающей среды. В настоящее время для обучения требуется несколько камер и повторение процедуры для каждого робота, однако исследователи уже работают над упрощённой версией, которая позволит использовать обычные смартфоны для записи движений и создания моделей управления без специализированного оборудования и глубоких технических знаний.
