ОСОБЛИВОСТІ АРХІТЕКТУРИ ПРОГРАМНОГО ЗАБЕЗПЕЧЕННЯ ДЛЯ ЗБОРУ ТА АНАЛІЗУ СТАТИСТИЧНОЇ ІНФОРМАЦІЇЇ В ГЛОБАЛЬНІЙ МЕРЕЖІ
DOI:
https://doi.org/10.32782/IT/2023-2-13Ключові слова:
програмне забезпечення, тестування програмного забезпечення, рівні тестування програмного забезпечення, вимоги до програмного забезпечення: функціональні характеристики (вимоги), нефункціональні характеристики (вимоги), специфікація, статистичні методи.Анотація
Для вивчення структури та характеристики web-простору необхідно використовувати спеціалізоване програмне забезпечення. В даній роботі розглянуто особливості архітектури подібного програмного забезпечення та приділена особлива увага важливим аспектам його роботи, таким як: механізми навігації, стратегії сканування та обробка отриманих даних. У статті також розглянуто проблеми ефективності та масштабованості подібних рішень при обробці великої кількості веб-ресурсів. Розроблено програмне забезпечення, яке складається з кроулера та аналітичного модуля. Функціональним призначенням аналітичного модуля є проведення кластерного та статистичного аналізу великих об’ємів даних за допомогою різноманітних статистичних методів. Архітектура розробленого додатку відповідає останнім тенденціям у сфері програмного забезпечення, враховуючи сучасні вимоги та стандарти. За допомогою даного програмного продукту з використанням розробленого аналітичного модуля досліджені статистичні та кластерні характеристики різних сегментів веб-простору (українського – edu.ua, net.ua; польського сегменту – edu.pl та ізраїльського – ac.il).
Посилання
Najork M., Heydon A. High-Performance Web Crawling. In: (eds) Handbook of Massive Data Sets. Massive Computing / J. Abello, P.M. Pardalos, M.G.C. Resende, Boston : Springer, 2002. Vol. 4. P. 25-45.
Najork M. Web Crawler Architecture. Encyclopedia of Database Systems, 2017. P. 1–4.
Говорущенко Т.О., Боднар М.А., Кушнір В.О. Сучасні проблеми формування та аналізу вимог до програмного забезпечення. Вимірювальна та обчислювальна техніка в технологічних процесах. 2019. № 1. С. 45–53.
T. Hovorushchenko, O. Pavlova, M. Bodnar. Development of an Intelligent Agent for Analysis of Nonfunctional Characteristics in Specifications of Software Requirements. Eastern-European Journal of Enterprise Technologies. 2019. Vol. 1. No. 2 (97). P. 6–17.
Paech, Barbara & Dutoit, Allen & Kerkow, Daniel & Knethen, Antje. (2002). Functional requirements, nonfunctional requirements, and architecture should not be separated. A position paper. 2002.
Alashqar A., Elfetouh A., El-Bakry H. Requirement Engineering for Non-Functional Requirements. International Journal of Information and Communication Technology Research. 2015. № 5. P. 21–27.
Кириченко О.Л., Kanovsky I., Остапов С.Е. Програмне забезпечення для дослідження статистичних характеристик глобальної мережі WWW. Системи обробки інформації. 2013. Вип. 3 (110). Т. 2. С. 99–104.
Jaiswal М. Software Architecture and Software Design. International Research Journal of Engineering and Technology. 2019. Vol. 6. P. 2452–2454.
Cook J. Docker for Data Science: Building Scalable and Extensible Data Infrastructure Around the Jupyter Notebook Server. Berkeley : Apress, 2017. 257 p.
Umar M. Comprehensive study of software testing: Categories, levels, techniques, and types. International Journal of Advance Research, Ideas and Innovations in Technology. 2019. № 5. P. 32–40.
