АНАЛІЗ МЕТОДІВ РОЗВ’ЯЗАННЯ ЗАДАЧІ ІЗОМОРФІЗМУ ПРИ МОДЕЛЮВАННІ КОГНІТИВНОГО ПРОЦЕСУ РОЗУМІННЯ
DOI:
https://doi.org/10.32782/IT/2024-1-9Ключові слова:
когнітивна наука, когнітивний процес, граф сцени, ізоморфізм, WL-test, GIN, graphCL, уточнення кольорів.Анотація
Когнітивним процесом розуміння називають процес діяльності мозку людини, що відповідає за ідентифікацію об’єктів, пов’язуючи його з поняттям на основі відомих знань. Однією з важливих задач під час моделювання цього процесу є вибір методу представлення візуальних даних попри їх розмір, контраст, розташування у просторі тощо. Мета роботи. Метою роботи є підвищення ефективності моделювання когнітивного процесу розуміння за рахунок використання графових даних для представлення візуальної інформації. За допомогою графових структур можна представити семантичну інформацію візуальних даних процесу розуміння у вигляді графа сцени, а сам процес представити як пошук аналогій серед сцен графа за допомогою розв’язання задачі ізоморфізму. Методологія. Концепція ізоморфізму графів полягає у тому, що два графи вважаються однаковими у випадку, якщо між ними існує схожість у взаємозв'язках між їх вершинами та ребрами. Сучасними методами для розв’язання цієї концепції є WL-Test, графові нейронні мережі GIN, а також алгоритм графового контрастного навчання graphCL. Під час аналізу основна увага приділялася здатності методів зберігати семантичну інформацію при перетворенні графових даних, а також їх часової оцінки при роботі з великими графами, з якими частіше відбувається робота при представленні даних когнітивного процесу розуміння. Наукова новизна. Запропоновано підхід щодо моделювання когнітивного процесу розуміння за допомогою розв’язання задачі ізоморфізму на графових структурах. Сучасні дослідження не надають єдиної думки про те, які методи використовувати для представлення візуальних даних при моделюванні процесу розуміння. Головним недоліком робіт, у яких представлені моделі розуміння зображень, є відсутність явного представлення даних, що не дозволяє відстежити та проаналізувати систему у випадку збою. Висновки. Результати дослідження виявили ефективність методу graphCL для використання при моделюванні процесу розуміння. Ефективність полягає у тому, що перетворення, які використовуються у методі дозволяють зберігати семантичну інформацію графових даних, що є ключовим фактором для точності моделювання.
Посилання
A layered reference model of the brain (LRMB) / Yingxu Wang et al. IEEE transactions on systems, man and cybernetics, part C (applications and reviews). 2006. Vol. 36, no. 2. P. 124–133.
Image retrieval using scene graphs / J. Johnson et al. 2015 IEEE conference on computer vision and pattern recognition (CVPR), Boston, MA, USA, 7–12 June 2015. 2015.
A cognitive system for understanding human manipulation actions / Y. Yang et al. Advances in cognitive systems 3. 2014. Vol. 2. P. 67–86.
Generating semantically precise scene graphs from textual descriptions for improved image retrieval / S. Schuster et al. Proceedings of the fourth workshop on vision and language, Lisbon, Portugal. Stroudsburg, PA, USA, 2015.
Zitnick C. L., Parikh D. Bringing semantics into focus using visual abstraction. 2013 IEEE conference on computer vision and pattern recognition (CVPR), Portland, OR, USA, 23–28 June 2013. 2013.
Are you talking to a machine? Dataset and methods for multilingual image question answering / H. Gao et al. Advances in neural information processing systems 28 : 29th Annual Conference on Neural Information Processing Systems 2015, Montreal, 7–12 December 2015. 2015. P. 2296–2304.
Grohe M., Neuen D. Recent advances on the graph isomorphism problem. Surveys in combinatorics 2021. 2021. P. 187–234.
Weisfeiler B., Leman A. A reduction of a graph to a canonical form and an algebra arising during this reduction. Nti. 1968. Vol. 2, no. 9. P. 12–16.
Huang N. T., Villar S. A short tutorial on the weisfeiler-lehman test and its variants. ICASSP 2021 – 2021 IEEE international conference on acoustics, speech and signal processing (ICASSP), Toronto, ON, Canada, 6–11 June 2021. 2021.
Graph neural networks: a review of methods and applications / J. Zhou et al. AI open. 2020. Vol. 1. P. 57–81.
How powerful are graph neural networks? / K. Xu et al. ICLR 2019 : International Conference on Learning Representations, New Orleans, 6–9 May 2019. 2019. P. 1–17.
Graph contrastive learning with augmentations / Y. You et al. Advances in neural information processing systems. 2020. Vol. 33. P. 5812–5823.
Adversarial attacks on graph neural networks / D. Zügner et al. ACM transactions on knowledge discovery from data. 2020. Vol. 14, no. 5. P. 1–31.
