Нейроні мережі в сучасну епоху
Анотація
Показана ідея застосовувати уявлення про роботу людського мозку як математичні моделі, які можна використовувати в безлічі прикладних задачах. Показано, що математичні та фізіологічні моделі по суті мають досить мало спільного, але основну ідею - застосовувати нейрони, як деякі самостійні обчислювальні вузли і комбінувати їх в шари - залишили і розвинули. Наведено історичні підгрунтя розвитку науки нейронних мереж, згадані основні дослідники, чиї роботи впливали на вектор і темп розвитку технологій найсильніше. Показано, що нейронні мережі мали різну підтримку з боку інвесторів за час свого розвитку і пік масового інтересу до них був залежний від виникнення необхідних обчислювальних потужностей або проривний архітектури мережі. Такими були свого часу персептрони, мережі з наявністю зворотного зв'язку, мережі, які застосовують операцію згортки для аналізу і класифікації зображень. Показано, що так зване глибоке навчання розвинулося на базі методів оптимізації ваг градієнтним спуском. Проведено огляд відомих рішень мереж навчання без учителя, зі зворотним зв'язком і мовні моделі. Генеративні моделі виглядають, як найбільш перспективний напрямок у розвитку наукової думки і створенні інтерпретованих рішень на базі нейронних мереж.
Завантаження
Посилання
/Посилання
W.S. МсCulloch, W. Pitts. Logical calculus of ideas related to nervous activity Archived November 27, 2007 at the Wayback Machine // Ed. C.E. Shannon and J. McCarthy. - M .: Publishing house of foreign. lit., 1956. - pp. 363–384. (Translation of an English article of 1943). [in Russian]
Hecht-Nielsen R. Kolmogorov’s Mapping Neural Network Existence Theorem, IEEE First Annual Int. Conf. on Neural Networks, San Diego, 1987, Vol. 3, pp. 11–13.
A.N. Kolmogorov On the representation of continuous functions of several variables by superpositions of continuous functions of a smaller number of variables // Izvestiya AN SSSR, 108 (1956), p. 179-182 [in Russian]
Lorentz George. Metric entropy, widths, and superpositions of functions // American Mathematical Monthly . 1962, vol. 69, P.469–485.
Sprecher D. A. On the structure of continuous functions of several variables //Transactions of the American Mathematical Society1965, vol. 115, P. 340–355.
V.V. Yanovsky Collective intelligence. STC "Institute of Single Crystals" NAS of Ukraine - Kiev: Naukova Dumka, 2020 [in Russian]
A.P.Petrov On the possibilities of the perceptron // Izvestiya AN SSSR, Technical cybernetics. –1964. - No. 6. [in Russian]
M.M. Bongard Problems of recognition. - M .: Fizmatgiz, 1967. [in Russian]
V.V. Kruglov , V.V. Borisov Artificial neural networks. Theory and Practice - 2nd ed. - M. Hot line - Telecom, 2002 - 382s [in Russian]
V.M. Kuklin Features of the development of artificial intelligence at the present stage / Bulletin of the Kharkiv National University of VN. Karazina, seria “Mathematical model. Information technologies. Automated control systems ", 2018 p. 34-40 [in Russian]
V.M. Kuklin Submission of knowledge and operations over them; tutorial. / V. M. Kuklin. Kh.: KhNU imeni V.N. Karazin, 2019.164 p. [in Ukrainian]
I.V. Gushchin Modeling of physical processes using CUDA technology: monograph / I.V. Gushchin, V.M. Kuklin, O.V. Mishin, O.V. Priymak. - Kharkiv: VN Karazin KhNU, 2017. - 116 p [in Ukrainian]
J. Goodfellow ,I. Benjio , A. Courville. Deep learning / trans. from English A. A. Slinkina. - 2nd ed., Rev. - M .: DMK Press, 2018 .-- 652 p [in Russian]
Goldberg YG Neural network methods in natural language processing / per. from English A. A. Slinkina. - M .: DMK Press, 2019 .-- 282 p. [in Russian]
Мак-Каллок У. С., Питтс В. Логическое исчисление идей, относящихся к нервной активности Архивная копия от 27 ноября 2007 на Wayback Machine // Автоматы / Под ред. К. Э. Шеннона и Дж. Маккарти. – М.: Изд-во иностр. лит., 1956. – С. 363–384. (Перевод английской статьи 1943 г.). http://raai.org/library/books/mcculloch/mcculloch.pdf
Hecht-Nielsen R. Kolmogorov’s Mapping Neural Network Existence Theorem, IEEE First Annual Int. Conf. on Neural Networks, San Diego, 1987, Vol. 3, pp. 11–13. https://cs.uwaterloo.ca/~y328yu/classics/Hecht-Nielsen.pdf
Колмогоров А. Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных // Известия АН СССР, 108 (1956), с. 179–182
Lorentz George. Metric entropy, widths, and superpositions of functions // American Mathematical Monthly . 1962, vol. 69, P.469–485. https://www.tandfonline.com/doi/abs/10.1080/00029890.1962.11989915
Sprecher D. A. On the structure of continuous functions of several variables //Transactions of the American Mathematical Society1965, vol. 115, P. 340–355. https://www.jstor.org/stable/1994273
Яновский В. В. Коллективный интеллект. НТК «Институт монокристаллов» НАН Украины – Киев: Наукова Думка, 2020.
Петров А. П. О возможностях перцептрона // Известия АН СССР, Техническая кибернетика. –1964. – №6.
Бонгард М. М. Проблемы узнавания. – М.: Физматгиз, 1967.
Круглов В. В., Борисов В. В. Искусственные нейронные сети. Теория и практика – 2 изд. – М. Горячая линия - Телеком, 2002 – 382с. https://studizba.com/files/show/djvu/1761-1-kruglov-v-v-borisov-v-v--iskusstvennye.html
Куклин В. М. Особенности развития искусственного интеллекта на современном этапе /Вісник Харківського національного університету імені В.Н. Каразіна, серія «Математичне моделювання. Інформаційні технології. Автоматизовані системи управління», 2018 с. 34-40 http://www.irbis-nbuv.gov.ua/cgi-bin/irbis_nbuv/cgiirbis_64.exe?I21DBN=LINK&P21DBN=UJRN&Z21ID=&S21REF=10&S21CNR=20&S21STN=1&S21FMT=ASP_meta&C21COM=S&2_S21P03=FILA=&2_S21STR=VKhIMAM_2018_40_6
Куклін В. М. Подання знань і операції над ними; навчальний посібник. / В. М. Куклін. Х .: ХНУ імені В. Н. Каразіна, 2019. 164 с http://www-csd.univer.kharkov.ua/wp-content/uploads/2017/09/Kuklin_Podannya-znan....pdf .
Гущин І.В. Моделювання фізичних процесів із використанням технології CUDA : монографія / І. В. Гущин, В. М. Куклін, О. В. Мішин, О. В. Приймак. – Харків: ХНУ імені В. Н. Каразіна, 2017. – 116 с. http://ekhnuir.univer.kharkov.ua/handle/123456789/14304
Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение / пер. с анг. А. А. Слинкина. – 2-е изд., испр. – М.: ДМК Пресс, 2018. – 652 с. https://library.kre.dp.ua/Books/2-4%20kurs/%D0%9F%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D1%83%D0%B2%D0%B0%D0%BD%D0%BD%D1%8F%20+%20%D0%BC%D0%BE%D0%B2%D0%B8%20%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D1%83%D0%B2%D0%B0%D0%BD%D0%BD%D1%8F/%D0%A8%D1%82%D1%83%D1%87%D0%BD%D0%B8%D0%B9%20%D1%96%D0%BD%D1%82%D0%B5%D0%BB%D0%B5%D0%BA%D1%82/Machineobuchenie@bzd_channel.pdf
Гольдберг Й. Г. Нейросетевые методы в обработке естественного языка / пер. с анг. А. А. Слинкина. – М.: ДМК Пресс, 2019. – 282 с. https://www.livelib.ru/book/1003171275-nejrosetevye-metody-v-obrabotke-estestvennogo-yazyka-goldberg-j
