Дослідники зі Стенфорда виклали на arXiv роботу про алгоритм із назвою Out-of-this-World-Model, або OWM. Перед кожним увімкненням двигунів він прокручує в «уяві» десятки варіантів найближчого майбутнього, оцінює ймовірність кожного і робить крок у бік найкращого. Ціль — стикувальний порт МКС.
Задача звучить буденно, доки не згадаєш умови. Два об’єкти летять зі швидкістю 28 000 км/год, і треба припаркуватися в гаражі на багатомільярдній лабораторії, яка мчить поруч. Додаєш тягу вперед — і замість прискорення піднімаєшся вище. Гальмувати нічим, атмосфери немає. А помилка вбиває всіх на обох апаратах і засипає уламками десятки супутників.
Автоматика справляється зі стикуванням давно: перше безпілотне стикування виконали Kosmos 186 і Kosmos 188 ще 30 жовтня 1967 року за допомогою системи «Игла», яку в 1986-му змінив «Курс» — він і досі обслуговує російський сегмент МКС. Але вся ця техніка тримається на жорстко прописаних рівняннях. Навігаційні комп’ютери рахують алгоритми наведення й керування, розширений фільтр Калмана зшиває дані з GPS-приймачів і зоряних датчиків у команди на двигуни. Відео фільтр Калмана не перетравлює, а класичний комп’ютерний зір ламається від відблиску на сонячній панелі чи тіні на цілі.
Пробували й навчання з підкріпленням — той самий метод, що виграє в шахи та Dota. Воно чудове, поки правила незмінні. Перенеси порт на інший бік станції, і агент розгублюється. Модель світу вчить фізику середовища з досвіду, як гравець у бейсбол, що ловить м’яч без диференціальних рівнянь у голові.
Ціна навчання — сотні тисяч віртуальних польотів, на звичайному процесорі це тижні. Команда написала бібліотеку AstroJAX під відеокарти, і OWM опанував стикування за 500 тисяч ітерацій проти 25 мільйонів у порівнянного RL-алгоритму. На незнайомих портах він теж тримався краще, а коли дослідники навмисне поставили на потрібний порт уже пристикований корабель — знайшов вихід.
Успішність по всіх портах МКС — близько 53 % проти 29 % у конкурента. На такі цифри жоден центр керування корабель не пустить, тим паче з людьми. Найгірше моделі даються останні метри: зіткнення в навчанні карали надто суворо, і апарат боїться підходити впритул. Автори кажуть, що цей штраф — просто коефіцієнт у коді.