ПОРІВНЯННЯ МЕТОДІВ REINFORCEMENT LEARNING ТА MODEL PREDICTIVE CONTROL ДЛЯ ПОБУДОВИ МАРШРУТІВ РУХУ БПЛА

Анотація

Стаття присвячена огляду та порівнянню двох методів планування маршрутів руху БПЛА: навчання з підкріпленням (Reinforcement Learning) та методу прогнозного керування (Model Predictive Control), що є актуальним питанням у сучасній індустрії навігації БПЛА. Метою роботи є визначення особливостей використання, обмежень та інших властивостей вищезгаданих методів. У статті наведено принципи роботи вищезгаданих методів. Методологія. Здійснено порівняння характеристик методів навчання з підкріпленням та прогнозного керування для побудови маршрутів руху БПЛА. Оцінювання проводилось за критеріями: тип середовища, необхідністю точної моделі середовища, адаптивністю у динамічних середовищах, обчислювальною складністю, та вимогами до даних. Наукова новизна полягає у проведенні комплексного аналізу ефективності методів навчання з підкріпленням та методу прогнозного керування, з метою отримання найбільш затребуваних порівняльних характеристик, необхідних для вибору методу. Висновки. Для методу навчання з підкріпленням описано роль агента, зворотнього звʼязку та вплив розрахованої за допомогою Q-функції винагороди на процес навчання моделі. Для методу прогнозного керування вказано особливості використання лінійної та нелінійної моделей прогнозування майбутньої поведінки у стратегії відступаючого горизонту та повʼязану з цим високу обчислювальну складність. Наведено ключові переваги та обмеження використання вищезгаданих методів. Наголошено, що вибір відповідного методу планування маршруту залежить не лише від специфіки поставленого завдання, а також від вимог до обчислювальних ресурсів, можливостей реагування розглянутої системи в режимі реального часу. Підкреслюється важливість інтеграції різних підходів для досягнення оптимальних результатів у складних умовах. Подальші дослідження в цій області можуть бути зосереджені на вдосконаленні методів та алгоритмів, які дають змогу безпілотним літальним апаратам в реальному часі адаптуватися до мінливих умов навколишнього середовища, на поєднанні методів навчання з підкріпленням та прогнозного керування з іншими алгоритмами планування маршрутів, наприклад А* або Ant Colony Optimization, з метою використання переваг кожного з них.