РОЗРОБКА МЕТОДУ НА ОСНОВІ РОЗПІЗНАВАННЯ ОБ’ЄКТІВ ДЛЯ ВИЗНАЧЕННЯ ПОЛОЖЕННЯ ЛЮДИНИ В ОБМЕЖЕНОМУ ПРОСТОРІ У РЕАЛЬНОМУ ЧАСІ

Анотація

Розпізнавання людини в режимі реального часу дає можливість вирішувати таку складну проблему як визначення положення людини в обмеженому просторі. Розв’язання даної задачі полягає в реалізації ефективного методу локалізації людини в замкнутому просторі (наприклад, всередині кімнати), оскільки системи позиціонування у відкритому просторі, такі як GPS, не забезпечують високої точності у приміщенні. Існуючі комп’ютерні системи, які вирішують дану проблему, потребують спеціалізованої інфраструктури: пристроїв, прикріплених до тіла людини, датчиків тощо. Такий підхід недешевий і не дає універсального рішення. Пристрій, який наявний практично в кожній будівлі – це камера. Переважна більшість існуючих комп’ютерних систем, які аналізують відеопотік, використовують камери глибини Kinect, які є застарілими та потребують додаткового встановлення. Існує обмежена кількість рішень, які аналізують відеопотік з RGB камери у поєднанні з методами комп’ютерного зору для локалізації людини. Отже, дослідження та розробка ефективнішого методу вирішення вищезазначеної проблеми з використанням комп’ютерного зору є актуальним. Метою роботи є розробка ефективного за швидкістю та точністю методу локалізації людини в приміщенні, який би використовував відеопотік камери в поєднанні з методом комп’ютерного зору – розпізнавання об’єктів. Метод повинен працювати на мікрокомп’ютері NVIDIA Jetson Nano (який є відносно дешевим і популярним рішенням від NVIDIA) в режимі реального часу. Методологія вирішення проблеми полягає у використанні глибокої нейронної мережі для розпізнавання людини в режимі реального часу разом з алгоритмом перспективного перетворення для подальшої оцінки положення людини. Положення людини – це центральна точка нижньої сторони обмежувальної рамки, трансформована з перспективи камери таким чином, ніби камера розташована прямо над підлогою. Модель нейронної мережі YOLOv4-tiny була навчена на наборах даних COCO та Open Images за допомогою фреймворку глибокого навчання Darknet. Наукова новизна полягає в тому, що було розроблено метод локалізації людини в приміщенні, який базується на поєднанні методу виявлення людини за допомогою глибокої згорткової нейронної мережі та алгоритму перспективного перетворення для подальшого визначення положення в обмеженому просторі. Запропонований метод є більш універсальним за відомі методи, які використовують камери глибини Kinect. Запропонований метод може працювати на мікрокомп’ютері та визначати положення декількох людей за один прохід із середньою похибкою 23 см та швидкістю 16 FPS, що є кращим за відомі альтернативні підходи. Висновки. Досліджена проблема визначення положення людини в обмеженому просторі у реальному часі та засоби її вирішення на основі розпізнавання об’єктів з використанням глибокої згорткової нейронної мережі. Проведено навчання нейронної мережі на основі моделі YOLOv4-tiny з використанням датасетів COCO та Open Images, яке показало точність 55.1% та 71.4% відповідно. Розроблено метод, який використовує навчену нейронну мережу для визначення обмежувальної рамки навколо людини у кадрі, а після – визначає її положення з використанням алгоритму перспективного перетворення: метод працює на мікрокомп’ютері NVIDIA Jetson Nano із середньою похибкою 23 см та швидкістю 16 FPS, оброблюючи відеопотік з RGB камери.