ОБУЧЕНИЕ РОБОТА-МАНИПУЛЯТОРА БЕЗОПАСНОМУ ОБХОДУ ПРЕПЯТСТВИЙ: ПЛАНИРОВАНИЕ, ИМИТАЦИЯ И ПОДКРЕПЛЕНИЕ

Гао Тяньцы, Ян Бо, Жао Шэнжэнь

В данной работе предлагается комплексный метод обучения манипулятора UR5 безопасным и эффективным перемещениям в условиях случайно расположенных препятствий. На первом этапе с использованием библиотеки планирования движений OMPL автоматически генерируются коллизионно-свободные «экспертные» траектории, что устраняет необходимость ручного управления роботом и обеспечивает высокую надёжность демонстраций. Затем путём поведенческого клонирования формируется начальная политика, способная воспроизводить данные демонстрации и избегать столкновений. На заключительном этапе используется обучение с подкреплением (алгоритм PPO) для донастройки и совершенствования полученной политики с учётом целевой функции вознаграждения (точность позиционирования, штрафы за столкновения и т.д.). Такой подход позволяет объединить формальное планирование безопасных траекторий с адаптивностью, присущей методам обучения с подкреплением. Результаты экспериментов в симуляторе показывают, что предложенная трёхэтапная схема «планировщик – имитационное обучение – подкрепляющее обучение» обеспечивает более высокую точность достижения цели и меньшую частоту столкновений по сравнению с классическими методами, основанными на обучении с нуля.

Ключевые слова:Планирование движений (OMPL); Имитационное обучение; Обучение с подкреплением; Безопасный обход препятствий; Коллизионно-свободная траектория; Промышленная робототехника