ПРОБЛЕМИ ОЦІНЮВАННЯ ВИХІДНИХ ДАНИХ НЕЙРОННИХ МЕРЕЖ

doi:10.26565/2519-2310-2024-2-02

Юрій Галайчук аспірант кафедри теоретичної та прикладної системотехніки, Харківський національний університет імені В.Н. Каразіна https://orcid.org/0009-0004-1048-9425
Марина Мірошник доктор технічних наук, професор; професор кафедри теоретичної та прикладної системотехники, Харківський національний університет імені В.Н. Каразіна https://orcid.org/0000-0002-2231-2529

DOI: https://doi.org/10.26565/2519-2310-2024-2-02

Ключові слова: штучний інтелект, експертні системи, F-score, нейронні мережі, оцінювання якості

Анотація

Станом на сьогодні штучний інтелект, зокрема нейронні мережі, все більше використовується у програмному забезпеченні в різних галузях, від критично важливих, таких як охорона здоров’я та військова справа, до комерції та сфери розваг. Одним із основних етапів розробки та впровадження такого програмного забезпечення є етап контролю якості. Для запобігання фатальних помилок та втримання у надто конкурентному середовищі програмне забезпечення потребує належного тестування з урахуванням особливостей даних, що отримані у результаті роботи нейронної мережі. У статті наводиться актуальність використання нейронних мереж та аналізуються основні виклики, що виникають при оцінюванні якості таких мереж. Автор робить порівняння властивостей вихідних даних систем штучного інтелекту минулого покоління та новітніх нейронних мереж, виділяє ключові відмінності останніх, такі як потенційна нескінченність наборів вихідних даних, залежність результатів від етапу навчання мережі та суб’єктивну природу оцінювання таких результатів. Основний зміст складає узагальнений огляд існуючих рішень, з акцентом на такі алгоритми та методи, як розрахунок функції втрат, знаходження F-score, методи інтерпретації та імітаційне моделювання. У результаті дослідження автор приходить до висновку, що, не зважаючи на достатню кількість наявних рішень, вони все ще потребують вдосконалення для підвищення точності оцінювання нейронних мереж, адже стовідсоткова точність оцінювання даних все ще не досягнута.

Завантаження

##plugins.generic.usageStats.noStats##

Посилання

Giesecke K., Horel E., (2020) Significance Tests for Neural Networks by Enguerrand Horel. Journal of Machine Learning Research. July 20, 2020. 1-29. https://jmlr.csail.mit.edu/papers/volume21/19-264/

Saurabh Ranjan Srivastava., (2016) F1 Score Analysis of Search Engines. Skit Research Journal, 2(6)

Ponakala R., Dailey M., (2019). Testing Deep Neural Networks for Classification Tasks Through Adversarial Perturbations on Test Datasets. December, 2019. Asian Institute of Technology, School of Engineering and Technology, Thailand. https://doi.org/10.31237/osf.io/r7wcn

Christian Terwiesch, (2023) Would Chat GPT Get a Wharton MBA? A Prediction Based on Its Performance in the Operations Management Course, Mack Institute for Innovation Management at the Wharton School, University of Pennsylvania, 2023. URL: https://mackinstitute.wharton.upenn.edu/2023/would-chat-gpt3-get-a-wharton-mba-new-white-paper-by-christian-terwiesch/

ISO/IEC/IEEE 29119-1:2013. Software and Systems Engineering. Software Testing Part 1: Concepts and Definitions. Geneva: International Organization for Standardization, 2013

Lundberg S. M., Lee S.-I. A Unified Approach to Interpreting Model Predictions // Advances in Neural Information Processing Systems (NeurIPS), 2017, Vol. 30, с. 4765-4774. DOI: https://doi.org/10.48550/arXiv.1705.07874

Russell S., Norvig P. Artificial Intelligence: A Modern Approach: підручник, 4th ed, Boston: Pearson, 2020, 1152 с.

Zhang J. M., Harman M., Ma L., Liu Y. Machine Learning Testing: Survey, Landscapes and Horizons // IEEE Transactions on Software Engineering. 2020, Vol. 48 No. 1, с. 1-36. DOI: https://doi.org/10.1109/ TSE.2019.2962027

Hossain E. Machine Learning Crash Course for Engineers / Eklas Hossain., 2024. - 453 с.