Нейроні мережі в сучасну епоху
DOI:
https://doi.org/10.26565/2304-6201-2021-50-05Ключові слова:
нейронні мережі, персептрон, навчання з учителем, навчання без учителя, глибоке навчання, зворотне поширення помилки, згортка матриць, пошарове навчання, градієнтний спуск, функція активаціїАнотація
Показана ідея застосовувати уявлення про роботу людського мозку як математичні моделі, які можна використовувати в безлічі прикладних задачах. Показано, що математичні та фізіологічні моделі по суті мають досить мало спільного, але основну ідею - застосовувати нейрони, як деякі самостійні обчислювальні вузли і комбінувати їх в шари - залишили і розвинули. Наведено історичні підгрунтя розвитку науки нейронних мереж, згадані основні дослідники, чиї роботи впливали на вектор і темп розвитку технологій найсильніше. Показано, що нейронні мережі мали різну підтримку з боку інвесторів за час свого розвитку і пік масового інтересу до них був залежний від виникнення необхідних обчислювальних потужностей або проривний архітектури мережі. Такими були свого часу персептрони, мережі з наявністю зворотного зв'язку, мережі, які застосовують операцію згортки для аналізу і класифікації зображень. Показано, що так зване глибоке навчання розвинулося на базі методів оптимізації ваг градієнтним спуском. Проведено огляд відомих рішень мереж навчання без учителя, зі зворотним зв'язком і мовні моделі. Генеративні моделі виглядають, як найбільш перспективний напрямок у розвитку наукової думки і створенні інтерпретованих рішень на базі нейронних мереж.
Посилання
W.S. МсCulloch, W. Pitts. Logical calculus of ideas related to nervous activity Archived November 27, 2007 at the Wayback Machine // Ed. C.E. Shannon and J. McCarthy. - M .: Publishing house of foreign. lit., 1956. - pp. 363–384. (Translation of an English article of 1943). [in Russian]
Hecht-Nielsen R. Kolmogorov’s Mapping Neural Network Existence Theorem, IEEE First Annual Int. Conf. on Neural Networks, San Diego, 1987, Vol. 3, pp. 11–13.
A.N. Kolmogorov On the representation of continuous functions of several variables by superpositions of continuous functions of a smaller number of variables // Izvestiya AN SSSR, 108 (1956), p. 179-182 [in Russian]
Lorentz George. Metric entropy, widths, and superpositions of functions // American Mathematical Monthly . 1962, vol. 69, P.469–485.
Sprecher D. A. On the structure of continuous functions of several variables //Transactions of the American Mathematical Society1965, vol. 115, P. 340–355.
V.V. Yanovsky Collective intelligence. STC "Institute of Single Crystals" NAS of Ukraine - Kiev: Naukova Dumka, 2020 [in Russian]
A.P.Petrov On the possibilities of the perceptron // Izvestiya AN SSSR, Technical cybernetics. –1964. - No. 6. [in Russian]
M.M. Bongard Problems of recognition. - M .: Fizmatgiz, 1967. [in Russian]
V.V. Kruglov , V.V. Borisov Artificial neural networks. Theory and Practice - 2nd ed. - M. Hot line - Telecom, 2002 - 382s [in Russian]
V.M. Kuklin Features of the development of artificial intelligence at the present stage / Bulletin of the Kharkiv National University of VN. Karazina, seria “Mathematical model. Information technologies. Automated control systems ", 2018 p. 34-40 [in Russian]
V.M. Kuklin Submission of knowledge and operations over them; tutorial. / V. M. Kuklin. Kh.: KhNU imeni V.N. Karazin, 2019.164 p. [in Ukrainian]
I.V. Gushchin Modeling of physical processes using CUDA technology: monograph / I.V. Gushchin, V.M. Kuklin, O.V. Mishin, O.V. Priymak. - Kharkiv: VN Karazin KhNU, 2017. - 116 p [in Ukrainian]
J. Goodfellow ,I. Benjio , A. Courville. Deep learning / trans. from English A. A. Slinkina. - 2nd ed., Rev. - M .: DMK Press, 2018 .-- 652 p [in Russian]
Goldberg YG Neural network methods in natural language processing / per. from English A. A. Slinkina. - M .: DMK Press, 2019 .-- 282 p. [in Russian]
