Фрактальні властивості нейронних мереж
Анотація
Роботу присвячено дослідженню властивостей нейронних мереж, які надзвичайно інтенсивно використовуються останнім часом у різноманітних прикладних напрямках. Вивчення їх загальних та фундаментальних властивостей набуває все більшої актуальності у зв’язку з широким застосуванням.
Метою роботи є вивчення поля реакції штучної нейронної мережі у просторі всіх можливих вхідних сигналів певної довжини. На прикладі простого персептрона досліджуються зони в яких поле реакцій нейронної мережі має структурно складний тип.
Методи дослідженн: Для дослідження поля вихідних сигналів було розроблено програмне забезпечення, яке дозволило моделювати та візуалізовати поле вихідних сигналів над простором всіх вхідних сигналів. Також програмне забезпечення дозволяло змінювати функцію активації, ваги та пороги кожного нейрону, що дозволило вивчити вплив усіх цих факторів на структурну складність поля вихідних сигналів.
В результаті було доведено, що, у випадку загального положення, у просторі вхідних сигналів існують зони тіні в яких поле реакції нейронної мережі має самоподібну фрактальну структуру. Визначено умови появи симетрії таких структур, досліджено вплив функцій активації, ваг та порогів нейронів мережі на властивості фрактальних структур. Виявлено, що вхідний шар нейронів на ці властивості впливає домінуючим чином. Отримані залежності фрактарної розмірності структур від ваг нейронів. Обговорено зміни, які відбуваються при зростанні розмірності простору вхідних сигналів.
Наявність зон тіні з фрактальним полем вихідних сигналів має важливе значення для розуміння функціонування штучних нейронних мереж. Такі зони тіні визначають області вхідного простору сигналів у яких реакцію нейронної мережі надзвичайно чутлива навіть до незначних змін вхідних сигналів. Це приводить до принципової зміни вихідних сигналів при незначній зміні вхідних сигналів.
Завантаження
Посилання
/Посилання
W. S. McCulloch and W. Pitts, "A logical calculus of the ideas immanent in nervous activity," Bulletin of Mathematical Biophysics, vol. 5, no. 4, pp. 115–133, 1943. https://doi.org/10.1007/BF02478259
F. Rosenblatt, "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain," Psychological Review, vol. 65, no. 6, pp. 386–408, 1958. https://doi.org/10.1037/h0042519
F. Rosenblatt, Principles of Neurodynamics. Washington, DC: Spartan Books, 1962. https://doi.org/10.2307/1419730
Olazaran, Mikel, “A Sociological Study of the Official History of the Perceptrons Controversy,” Social Studies of Science, vol. 26, no. 3, p.611-659, 1996. https://doi.org/10.1177/030631296026003005
M. L. Minsky and S. A. Papert, Perceptrons. Cambridge, MA: MIT Press, 1969. https://doi.org/10.1016/s0361-9230(99)00182-3
J. J. Hopfield, "Neural networks and physical systems with emergent collective computational abilities," Proceedings of National Academy of Sciences, vol. 79, no. 8, pp. 2554–2558, April 1982. https://doi.org/10.1073%2Fpnas.79.8.2554
J. J. Hopfield, "Neural with graded response have collective computational properties like those of two-state neurons," Proceedings of the National Academy of Sciences, vol. 81, no. 10, pp. 3088-3092, May 1984. https://doi.org/10.1073/pnas.81.10.3088
J. J. Hopfield, "Learning algorithms and probability distributions in feed-forward and feed-back networks," Proceedings of the National Academy of Sciences, vol. 84, no. 23, pp. 8429-8433, December 1, 1987. https://doi.org/10.1073/pnas.84.23.8429
Freund, Y.; Schapire, R. E., "Large margin classification using the perceptron algorithm," Machine Learning, vol. 37, no. 3, pp. 277-296, 1999. https://doi.org/10.1023/A:1007662407062
Mehryar Mohri1, Afshin Rostamizadeh, “Stability Bound for Stationary Phi-mixing and Beta-mixing Processes,” Journal of Machine Learning Research (JMLR), vol. 11, pp. 798-814, 2010. https://doi.org/10.48550/arXiv.0811.1629
Hinton, G., Deng, L., Yu, D., Dahl, G. E., Mohamed, A. R., Jaitly, N. et al., "Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups," Signal Processing Magazine, IEEE, vol. 29, no. 6, pp. 82-97, 2012. http://dx.doi.org/10.1109/MSP.2012.2205597
Jurafsky D., Martin J.H., Speech and language processing, 2nd edition. NJ: Prentice Hall, 2008.
Shinde, B. S., Dani, A. R., "The origins of digital image processing and application areas in digital image processing medical images," IOSR Journal of Engineering, vol. 1, no. 1, pp. 066-071, 2012. http://dx.doi.org/10.9790/3021-0116671
He, K., Zhang, X., Ren, S., Sun, J., "Deep residual learning for image recognition," Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016. http://dx.doi.org/10.1109/CVPR.2016.90
Schmidhuber, J., "Deep learning in neural networks: An overview," Neural networks, vol. 61, no. 3, pp. 85-117, 2015. http://dx.doi.org/10.1016/j.neunet.2014.09.003
Benoit B. Mandelbrot, The Fractal Geometry of Nature. San Francisco: W.H.Freeman and Co, 1982.
Richard M. Crownover, Introduction to Fractals and Chaos. University of Missouri-Columbia: Jones and Bartlett Publishers, 1995.
Takens, F., “Detecting strange attractors in turbulence,” Dynamical Systems and Turbulence, vol. 898, pp. 366-381, 1981. https://doi.org/10.1007/BFb0091924
W. S. McCulloch and W. Pitts, "A logical calculus of the ideas immanent in nervous activity," Bulletin of Mathematical Biophysics, vol. 5, no. 4, pp. 115–133, 1943. https://doi.org/10.1007/BF02478259
F. Rosenblatt, "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain," Psychological Review, vol. 65, no. 6, pp. 386–408, 1958. https://doi.org/10.1037/h0042519
F. Rosenblatt, Principles of Neurodynamics. Washington, DC: Spartan Books, 1962. https://doi.org/10.2307/1419730
Olazaran, Mikel, “A Sociological Study of the Official History of the Perceptrons Controversy,” Social Studies of Science, vol. 26, no. 3, p.611-659, 1996. https://doi.org/10.1177/030631296026003005
M. L. Minsky and S. A. Papert, Perceptrons. Cambridge, MA: MIT Press, 1969. https://doi.org/10.1016/s0361-9230(99)00182-3
J. J. Hopfield, "Neural networks and physical systems with emergent collective computational abilities," Proceedings of National Academy of Sciences, vol. 79, no. 8, pp. 2554–2558, April 1982. https://doi.org/10.1073%2Fpnas.79.8.2554
J. J. Hopfield, "Neural with graded response have collective computational properties like those of two-state neurons," Proceedings of the National Academy of Sciences, vol. 81, no. 10, pp. 3088-3092, May 1984. https://doi.org/10.1073/pnas.81.10.3088
J. J. Hopfield, "Learning algorithms and probability distributions in feed-forward and feed-back networks," Proceedings of the National Academy of Sciences, vol. 84, no. 23, pp. 8429-8433, December 1, 1987. https://doi.org/10.1073/pnas.84.23.8429
Freund, Y.; Schapire, R. E., "Large margin classification using the perceptron algorithm," Machine Learning, vol. 37, no. 3, pp. 277-296, 1999. https://doi.org/10.1023/A:1007662407062
Mehryar Mohri1, Afshin Rostamizadeh, “Stability Bound for Stationary Phi-mixing and Beta-mixing Processes,” Journal of Machine Learning Research (JMLR), vol. 11, pp. 798-814, 2010. https://doi.org/10.48550/arXiv.0811.1629
Hinton, G., Deng, L., Yu, D., Dahl, G. E., Mohamed, A. R., Jaitly, N. et al., "Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups," Signal Processing Magazine, IEEE, vol. 29, no. 6, pp. 82-97, 2012. http://dx.doi.org/10.1109/MSP.2012.2205597
Jurafsky D., Martin J.H., Speech and language processing, 2nd edition. NJ: Prentice Hall, 2008.
Shinde, B. S., Dani, A. R., "The origins of digital image processing and application areas in digital image processing medical images," IOSR Journal of Engineering, vol. 1, no. 1, pp. 066-071, 2012. http://dx.doi.org/10.9790/3021-0116671
He, K., Zhang, X., Ren, S., Sun, J., "Deep residual learning for image recognition," Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016. http://dx.doi.org/10.1109/CVPR.2016.90
Schmidhuber, J., "Deep learning in neural networks: An overview," Neural networks, vol. 61, no. 3, pp. 85-117, 2015. http://dx.doi.org/10.1016/j.neunet.2014.09.003
Benoit B. Mandelbrot, The Fractal Geometry of Nature. San Francisco: W.H.Freeman and Co, 1982.
Richard M. Crownover, Introduction to Fractals and Chaos. University of Missouri-Columbia: Jones and Bartlett Publishers, 1995.
Takens, F., “Detecting strange attractors in turbulence,” Dynamical Systems and Turbulence, vol. 898, pp. 366-381, 1981. https://doi.org/10.1007/BFb0091924
