КОНЦЕПЦІЯ ІНТЕЛЕКТУАЛЬНОЇ ІНФОРМАЦІЙНОЇ СИСТЕМИ ДЛЯ ПРОВЕДЕННЯ ПРИЙМАЛЬНОГО ТЕСТУВАННЯ НЕЙРОННИХ МЕРЕЖ ГЛИБОКОГО НАВЧАННЯ

doi:10.26565/2519-2310-2025-2-02

Юрій Галайчук аспірант кафедри комп’ютерних систем та робототехніки ННІ комп’ютерних наук та штучного інтелекту, Харківський національний університет імені В.Н. Каразіна https://orcid.org/0009-0004-1048-9425
Марина Мірошник доктор технічних наук, професор кафедри комп’ютерних систем та робототехніки ННІ комп’ютерних наук та штучного інтелекту, Харківський національний університет імені В.Н. Каразіна https://orcid.org/0000-0002-2231-2529
Ельвіра Кулак доктор філософії, доцент кафедри автоматизації проектування, Харківський національний університет радіоелектроніки https://orcid.org/0000-0002-8441-5187

DOI: https://doi.org/10.26565/2519-2310-2025-2-02

Ключові слова: глибоке навчання, інтелектуальна інформаційна система, модель передбачення, оцінювання якості, приймальне тестування користувачами

Анотація

У сучасному світі все більше критичних інфраструктур та комерційних систем покладаються у своїй роботі на результати обчислень алгоритмів штучного інтелекту, зокрема нейронних мереж. Паралельно з цим набуває великого значення проведення процесу оцінювання якості роботи таких алгоритмів та належного виконання всіх етапів їх тестування для усунення можливих недоліків та забезпечення здатності отримувати очікувані результати. Дана стаття присвячена проблемі вдосконалення процесу приймального тестування користувачами (User Acceptance Testing, UAT) для предметно-орієнтованого програмного забезпечення, що використовує нейронні мережі глибокого навчання. У роботі розглядаються виклики, пов’язані з обмеженими ресурсами, недостатньою кваліфікацією команд UAT у сфері машинного навчання та складністю тестування систем, які продовжують навчатися після початкової розробки та проведений загальний огляд наявних шляхів вирішення зазначених проблем з вказанням їх переваг та недоліків. Запропоновано концепт інтелектуальної інформаційної системи, що базується на моделі прогнозування для оцінки показників якості нейронних мереж, зокрема точності та функції втрат та дозволяє провести процес оцінювання якості таких мереж використовуючи набір навчальних і валідаційних даних. Описано експериментальну методологію, яка включає алгоритм розробки моделі прогнозування для аналізу трендів якості нейронної мережі та розробку інтелектуальної інформаційної системи для прискорення та спрощення процесу UAT. Представлено схему розгортання компонентів системи, що охоплює взаємодію між клієнтськими додатками, веб-сервером, сервером виконання та базою даних із застосуванням сучасних мережевих протоколів та технологій. Результати дослідження спрямовані на підвищення ефективності проведення процесу UAT шляхом його автоматизації та застосування моделі передбачення для отримання динамічних показників якості алгоритмів нейронних мереж глибокого навчання.

Завантаження

##plugins.generic.usageStats.noStats##

Посилання

Directive (Goodfellow I., Bengio Y., Courville A. (2016) Deep Learning. Cambridge: MIT Press, 800 с. Deep Learning - Ian Goodfellow, Yoshua Bengio, Aaron Courville https://books.google.com.ua/books/about/Deep_Learning.html?id=Np9SDQAAQBAJ&redir_esc=y

Sommerville I. (2015) Software Engineering. 10th ed. Boston: Pearson, 816 с.Software Engineering,Global Edition - Ian Sommerville https://books.google.com.ua/books/about/Software_Engineering_Global_Edition.html?id=W_LjCwAAQBAJ&redir_esc=y

Myers G.J., Sandler C., Badgett T. (2011) The Art of Software Testing, 3rd ed, New York: Wiley, 256 с. The Art of Software Testing - Glenford J. Myers, Corey Sandler, Tom Badgett https://books.google.com.ua/books/about/The_Art_of_Software_Testing.html?id=GjyEFPkMCwcC&redir_esc=y

ISO/IEC/IEEE 29119-1:2013. (2013) Software and Systems Engineering. Software Testing Part 1:Concepts and Definitions. Geneva: International Organization for Standardization.ISO/IEC/IEEE29119-1:2013 | IEC https://webstore.iec.ch/en/publication/11972

International Software Testing Qualifications Board. (2023). ISTQB Certified Tester Foundation Level Syllabus (Version 4.0.1). URL: https://www.istqb.org/certifications/ certified-tester-foundation-level

Russell S., Norvig P. (2020) Artificial Intelligence: A Modern Approach,4th ed, Boston:Pearson, 1152 с. Artificial Intelligence: A Modern Approach, 4th US ed. https://aima.cs.berkeley.edu/

Tian, Y., Pei, K., Jana, S., & Ray, B. (2018). DeepTest: Automated Testing of Deep-Neural-Network-Driven Autonomous Cars. Proceedings of the 40th International Conference on Software Engineering. DeepTest: Automated Testing of Deep-Neural-Network-driven Autonomous Cars https://arxiv.org/pdf/1708.08559v1

Lundberg S.M., Lee S.I. (2017) A Unified Approach to Interpreting Model Predictions // Advances in Neural Information Processing Systems (NeurIPS), Vol. 30, с. 4765-4774. DOI: https://doi.org/10.48550/arXiv.1705.07874

Ribeiro M.T., Singh S., Guestrin C. (2016) "Why Should I Trust You?": Explaining the Predictions of Any Classifier // Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, c. 1135-1144. DOI: https://doi.org/10.1145/2939672.2939778

He K. (2016) Deep Residual Learning for Image Recognition / K. He, X. Zhang, S. Ren, J. Sun // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). - P.770-778.https://doi.org/10.48550/arXiv.1512.03385

Zhang J. M., Harman M., Ma L., Liu Y. (2020) Machine Learning Testing: Survey, Landscapes and Horizons // IEEE Transactions on Software Engineering. Vol. 48 No. 1, с. 1-36. DOI: https://doi.org/10.1109/TSE.2019.2962027

Axel K. (1998) Using UML for Business Object Based Systems Modeling / Korthaus Axel // ResearchGate. https://doi.org/10.1007/978-3-642-48673-9_15

Nawroze I. (2023) A Comparative Analysis of PHP and Python Programming Languages for Optimal Software Development / I. Nawroze, C. Rubel // International Journal of Information Technology 8(1):1-13, URL: http://dx.doi.org/10.6084/m9.figshare.24885846.v1

Faisal Qureshi, Haida Rasheed. (2022) Comparative Analysis of Modern Database Technologies for Scalable Data Storage in AI-Driven Ecommerce Applications / Faisal Qureshi, Haida Rasheed //ResearchGate, URL: http://dx.doi.org/10.13140/RG.2.2.14668.83848

Howard A.G. (2017) MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications / A. G. Howard, M. Zhu, B. Chen [et al.]. - URL: https://arxiv.org/abs/1704.04861

Tan M. (2019) EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks / M. Tan, Q. V. Le // International Conference on Machine Learning (ICML). https://doi.org/10.48550/arXiv.1905.11946

Hochreiter S. (1997) Long Short-Term Memory / S. Hochreiter, J. Schmidhuber // Neural Computation.- Vol. 9, Iss. 8. - P. 1735-1780.https://doi.org/10.1162/neco.1997.9.8.1735

Vaswani A. (2017) Attention is All You Need / A. Vaswani, N. Shazeer, N. Parmar [et al.] // Advances in Neural Information Processing Systems (NIPS). - P. 5998-6008. https://doi.org/10.48550/arXiv.1706.03762

Ismail Fawaz H. (2019) Deep learning for time series classification: a review / H. Ismail Fawaz, G. Forestier, J. Weber [et al.] // Data Mining and Knowledge Discovery. - Vol. 33. - P. 917-963. https://link.springer.com/article/10.1007/s10618-019-00619-1

Domhan T. (2015) Speeding Up Automatic Hyperparameter Optimization of Deep Neural Networks by Extrapolating Learning Curves / T. Domhan, J. T. Springenberg, F. Hutter // Proceedings of the 24th International Joint Conference on Artificial Intelligence (IJCAI).- P. 3460-3468.https://dl.acm.org/doi/10.5555/2832581.2832731