Человек с камерой на лбу режет хлеб, наливает кофе, копается в ящике с инструментами. Для него это обычное утро. Для новой индустрии — добыча полезных ископаемых. Добровольцы по всему миру носят эгоцентричные камеры, живут как живут и получают за это вознаграждение уровня подарочной карты. Из тысяч часов таких записей робототехника извлекает то, чего манипуляторам не хватает больше всего: знание о том, как человеческие руки обращаются с предметами. Почему видео с высоты глаз стало главным топливом отрасли, где кончается дешёвое сырьё и что со всем этим происходит в России — попытаемся разобраться.
Классический способ научить манипулятор хватать чашки — телеметрия. Оператор часами ведёт робо-руку через джойстик, а система записывает каждое движение. Точно, добротно — и безумно дорого: плати оператору, занимай самого робота и помещение, а на выходе всё равно сотни часов, не больше.
Эгоцентричные корпуса данных перевернули экономику. Ego4D — проект, запущенный Meta вместе с университетами-партнёрами, — собрал тысячи часов видео от сотен добровольцев в десятках стран. Люди просто жили с камерами, выполняли бытовые задания и получали небольшие подарочные карты. Рядом — EPIC-KITCHENS с сотнями часов кухонных сцен, где руки без остановки возятся с посудой и продуктами. Масштаб вырос на порядки, а час данных подешевел с тарифа оператора-телеметриста до цены сэндвича. Логика железная: человек всё равно собирался резать хлеб. Камера лишь пассивно смотрела.
Пассивное видео бедно: в нём нет действий, только пиксели. Поэтому навык собирают многослойным конвейером.
Первый слой — предобучение. Визуальные модели тренируют на эгоцентричных корпусах, и сеть учится предсказывать, куда двинется рука и что станет с предметом.
Дальше — переносные установки. Инженеры Стэнфорда предложили UMI: портативный захват с экшн-камерой, который человек держит в руках и собирает траектории прямо в реальных условиях. Готовые траектории почти без изменений отдают роботу. Где нужны точные метки действий, в дело идут телеметрические стенды вроде ALOHA, а крупные лаборатории сливают данные разнотипных роботов в общие пулы — так появился Open X-Embodiment от DeepMind с участием десятков исследовательских групп.
Третий слой — симуляция. Движения человека переносят на виртуальные манипуляторы в движках уровня NVIDIA Isaac и MuJoCo, а domain randomization помогает вывезти навык из симуляции в реальность без катастрофы.
У подхода есть жёсткий предел — разрыв тел, embodiment gap. У человека пять пальцев, у типичного робота — пара плоских створок. Видеозапись не передаёт усилие сжатия, скольжение предмета, сопротивление тугой крышки. Ракурс тоже чужой: камера на лбу смотрит совсем не так, как камера на запястье манипулятора. Поэтому тонкие навыки вроде «сжимать спелый помидор аккуратно» из одних пикселей не извлечь — как ни старайся.
Данные к тому же перекошены. Кухни и аккуратные квартиры в корпусах доминируют, редкие ремёсла почти не представлены. Отдельная боль — приватность: постоянно включённая камера снимает не только руки владельца, но и посторонних людей, чужие интерьеры, документы. Создателям Ego4D пришлось строить целые конвейеры размытия лиц и номерных знаков, а юридический статус такой съёмки в разных странах до сих пор серая зона.
Российская робототехника росла другим путём. Пермский Promobot делает сервисных роботов для ресепшн, музеев и мероприятий — но обучает их распознаванию речи и лиц, а не по эгоцентричному видео. Антропоморфные платформы «Андроидной техники», включая FEDOR, летавший к МКС, исторически управлялись операторами через дистанционный костюм. Телеметрия, не корпуса данных.
Зато Yandex накопил один из крупнейших отечественных массивов реальных дорожных данных — за счёт собственного беспилотного парка с подстраховкой операторов. Sber развивает мультимодальные модели, пригодные как визуальная основа. Манипуляцией и симуляцией, по имеющимся данным, занимаются лаборатории Сколтеха, ИТМО и Университета Иннополис; Москва публикует открытые датасеты для компьютерного зрения.
Узкое место, судя по всему, именно в отсутствии крупного публичного эгоцентрического корпуса. Исследователи берут открытые Ego4D и EPIC-KITCHENS по исследовательским лицензиям, а собственные съёмки, вероятно, сдерживают дорогие установки и малый рынок AR-очков. Перспективы связывают с возможным финансированием датасетов в рамках федеральных программ развития ИИ — и с агрономической автономикой вроде систем Cognitive Pilot: бортовые камеры там по духу ближе всего к «эго-видео».
Видео с высоты человеческих глаз не заменит роботу реальную практику — зато радикально удешевило первый этап обучения. Схема теперь такая: модель сначала смотрит, как люди режут и наливают, потом отрабатывает навык в симуляции и лишь затем доучивается на живом манипуляторе. Экономика сдвинулась: дефицитом стали не пиксели, а редкие умения и точные телеметрические траектории. Человек с камерой на лбу, съедающий бутерброд за подарочную карту, — уже не курьёз, а звено промышленной цепочки. По этой цепочке опыт вида превращается в опыт машины.