Используя эту технологию, названную визуальным предвидением, роботы могут предсказать то, что будут видеть их камеры, выполняют ли они конкретную последовательность движений. Это автоматизированное воображение все еще относительно просто на данный момент – предсказания превратили только несколько секунд в будущее – но они достаточно для робота, чтобы выяснить, как переместить объекты на столе, не нарушая препятствия. Кардинально, робот может учиться выполнять эти задачи без любой помощи от людей или предварительных знаний о физике, ее среде или каковы объекты.
Поэтому визуальное воображение усвоено полностью с нуля из оставленного без присмотра и безнадзорного исследования, где робот играет с объектами на столе. После этой фазы игры робот строит прогнозирующую модель мира и может использовать эту модель, чтобы управлять новыми объектами, которые это не видело прежде.«Таким же образом то, что мы можем вообразить, как наши действия переместят объекты в нашу среду, этот метод может позволить роботу визуализировать, как различные поведения затронут мир вокруг этого», сказал Сергей Левин, доцент в Отделе Беркли Электрического Engineeing и Информатики, лаборатория которой разработала технологию. «Это может позволить интеллектуальное планирование очень гибких навыков в сложных реальных ситуациях».Исследовательская группа выполнит демонстрацию визуальной технологии предвидения на Нервной конференции по Обработке информации Систем в Лонг-Бич, Калифорния, 5 декабря.
В ядре этой системы глубокая технология изучения на основе сверточного текущего видео предсказания или динамическая нервная адвекция (DNA). Основанные на ДНК модели предсказывают, как пиксели по изображению переместятся от одной структуры до следующего на основе действий робота. Недавние улучшения этого класса моделей, а также значительно улучшенные возможности планирования, позволили автоматизированному контролю на основе видео предсказания выполнить все более и более сложные задачи, такие как скользящие игрушки вокруг препятствий и менять местоположение многократных объектов.
«В том прошлом роботы освоили навыки с человеческим наблюдателем, помогающим и обеспечивающим обратную связь. То, что делает это возбуждение работы, – то, что роботы могут изучить диапазон визуальных навыков манипуляции объекта полностью на их собственном», сказал Челси Финн, докторант в лаборатории Левина и изобретатель оригинальной модели DNA.С новой технологией робот выдвигает объекты на стол, затем использует изученную модель предсказания, чтобы выбрать движения, которые переместят объект в желаемое местоположение. Использование робота изученная модель от сырых наблюдений камеры, чтобы самостоятельно учиться, как избежать препятствий и толчка, возражает вокруг преград.
«Люди осваивают навыки манипуляции объекта без любого учителя через миллионы взаимодействий со множеством объектов в течение их жизни. Мы показали, что они возможный построить автоматизированную систему, которая также усиливает большие суммы автономно собранных данных, чтобы освоить широко применимые навыки манипуляции, определенно возразите навыкам подталкивания», сказал Фредерик Эберт, аспирант в лаборатории Левина, который работал над проектом.
Так как контроль через видео предсказание полагается только на наблюдения, которые могут быть собраны автономно роботом, такой как через изображения камеры, получающийся метод общий и широко применимый. В отличие от обычных компьютерных методов видения, которые требуют, чтобы люди вручную маркировали тысячи или даже миллионы изображений, строя видео модели предсказания только требуют неаннотируемого видео, которое может быть собрано роботом полностью автономно. Действительно, видео модели предсказания были также применены к наборам данных, которые представляют все от деятельности человека до вождения с принуждением результатов.«Дети могут узнать об их мире, играя с игрушками, перемещая их, схватывание, и т.д.
Наша цель с этим исследованием состоит в том, чтобы позволить роботу сделать то же самое: узнать о том, как мир работает через автономное взаимодействие», сказал Левин. «Возможности этого робота все еще ограничены, но его навыки освоены полностью автоматически и позволяют ему предсказывать сложные физические взаимодействия с объектами, которые он никогда не видел прежде, основываясь на ранее наблюдаемых образцах взаимодействия».Ученые Беркли продолжают исследовать контроль через видео предсказание, сосредотачивающееся на дальнейшем улучшающемся видео предсказании и основанном на предсказании контроле, а также разрабатывающее более сложные методы, которыми могут роботы, собрал более сосредоточенные видео данные, для сложных задач, таких как выбор и размещение объектов и управление мягкими и непрочными объектами, такими как ткань или веревка и собрание.