Модель нейронної мережі для цензурування текстових даних

Анотація

Актуальність: в умовах стрімкого розвитку інтернет-комунікацій та зростання обсягів текстового контенту, актуальність роботи обумовлена необхідністю забезпечення ефективного цензурування текстових даних.  Особливо в онлайн середовищі, де важливо забезпечити безпеку та етичність спілкування.

Мета: забезпечити більш якісний та безпечний  контент для користувачів, які залежать від надійної та безпечної інформації в Інтернеті, за допомогою розробки та впровадження нейронної мережі, яка буде здатна визначати недопустимий контент у текстових дані в реальному часі.

Методи дослідження: в ході виконання досліджень були використані методи обробки та підготовки даних, методи глибокого навчання, теорія нейронних мереж, теорія штучного інтелекту, математичний аналіз, методи аналізу інформативності, методи оцінки якості класифікації,  дослідження практичного застосування. Програмне забезпечення розроблено за допомогою мови Python. Також були використані наступні бібліотеки: keras, sklearn, pandas і інші.

Результати: головним результатом роботи була розробка моделі нейронної мережі, яка цензурує текстові дані в реальному часі, модель виявляється високо масштабованою і готовою до навчання на даних інших мов.

Висновки: розглянуто проблему цензурування текстових даних. Оскільки це завдання обробки природної мови, було запропоновано та розроблено модель нейронної мережі на основі RNN, а саме LSTM. Дослідження засвідчило важливість інноваційних підходів у вирішенні проблем цензури текстових даних, а використання нейронних мереж та технологій штучного інтелекту стає перспективним напрямком для подальших досліджень та впроваджень у цій області.