АЛГОРИТМИ ТРЕНУВАННЯ ТА ОЦІНКИ МОДЕЛЕЙ МАШИННОГО НАВЧАННЯ ДЛЯ СТРУКТУРОВАНОГО НАБОРУ ДАНИХ

Анотація

В статті розглядається послідовний процес попереднього аналізу та обробки структурованих даних про будівельні транспортні засоби різних типів. Наведений алгоритм побудови моделей машинного навчання, зокрема таких як лінійна регресія, дерево прийняття рішень та випадковий ліс, оцінка якості отриманих моделей та продукуючих результатів. Робота описує дослідження сфери покупки та продажу авто на вторинному ринку з використанням сучасних технологій data mining. Основна мета цього дослідження – передбачити вартість транспортного засобу з використанням атрибутів, що сильно корелюють з ціною. Пропонується розглянути концепти ціноутворення побудувавши наступні моделі машинного навчання: з урахуванням ознак специфічних певних марок автомобілів, з урахування ознак специфічних для певних типів автомобілів, а також загальну модель, яка включає усі наявні в наборі ознаки. Моделі було побудовано на основі методів лінійної регресії та дерева рішень. Метою відбору алгоритмів машинного навчання була мінімізація похибок при прогнозуванні вартості, швидкість роботи, легкість інтерпретації отриманих результатів: на основі яких даних приймалося рішення та які дані найбільше впливають на формування вартості. Для мінімізації похибки прогнозування було проведено детальний аналіз даних та їх підготовку для кожного типу будівельного транспортного засобу. Проведено багато експериментів з різними методами для пошуку та видалення аномальних спостережень, для пошуку та використання найбільш важливих ознак, при цьому використовувалися такі методи, як Z-index, міжквартильний розмах, рекурсивне видалення ознак, пошук ознак на основі виявлення залежностей з використанням статистичних методів. Було проведено порівняльний аналіз результатів кожної з моделей, проаналізовано можливі причини тих чи інших результатів. Наведені проблеми, які виникають при вирішенні даної задачі регресійного типу – відбір даних, що якнайкраще узагальнюють систему формування вартості технічного транспортного засобу.