Модель нейронної мережі для цензурування текстових даних
DOI:
https://doi.org/10.26565/2304-6201-2023-60-06Ключові слова:
нейронні мережі, цензурування тексту, LSTM, NLP, класифікація текстових данихАнотація
Актуальність: в умовах стрімкого розвитку інтернет-комунікацій та зростання обсягів текстового контенту, актуальність роботи обумовлена необхідністю забезпечення ефективного цензурування текстових даних. Особливо в онлайн середовищі, де важливо забезпечити безпеку та етичність спілкування.
Мета: забезпечити більш якісний та безпечний контент для користувачів, які залежать від надійної та безпечної інформації в Інтернеті, за допомогою розробки та впровадження нейронної мережі, яка буде здатна визначати недопустимий контент у текстових дані в реальному часі.
Методи дослідження: в ході виконання досліджень були використані методи обробки та підготовки даних, методи глибокого навчання, теорія нейронних мереж, теорія штучного інтелекту, математичний аналіз, методи аналізу інформативності, методи оцінки якості класифікації, дослідження практичного застосування. Програмне забезпечення розроблено за допомогою мови Python. Також були використані наступні бібліотеки: keras, sklearn, pandas і інші.
Результати: головним результатом роботи була розробка моделі нейронної мережі, яка цензурує текстові дані в реальному часі, модель виявляється високо масштабованою і готовою до навчання на даних інших мов.
Висновки: розглянуто проблему цензурування текстових даних. Оскільки це завдання обробки природної мови, було запропоновано та розроблено модель нейронної мережі на основі RNN, а саме LSTM. Дослідження засвідчило важливість інноваційних підходів у вирішенні проблем цензури текстових даних, а використання нейронних мереж та технологій штучного інтелекту стає перспективним напрямком для подальших досліджень та впроваджень у цій області.
Посилання
Zhang, X. A Mathematical Model of a Neuron with Synapses based on Physiology. Nat Prec (2008). https://doi.org/10.1038/npre.2008.1703.1
Sima J. “Introduction to Neural Networks,” Technical Report No. V 755, Institute of Computer Science, Academy of Sciences of the Czech Republic, 1998.
Kröse B., and van der Smagt P. An Introduction to Neural Networks. (8th ed.) University of Amsterdam Press, University of Amsterdam, 1996.
Harshali M. Deep learning — 2015.
Yingci L. Zhonghua C. Hongkai W. Peiou L. Zongwei Z. Comparison of machine learning methods for classifying mediastinal lymph node metastasis of non-small cell lung cancer from 18F-FDG PET/CT — 2017
Aurélien Géron. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems 3rd Edition
Oliver Theobald, Best Machine Learning Books for Absolute Beginners, 2021 - 50 c.
