Зони тіні штучного нейрона
Анотація
Надзвичайна поширеність використання штучних нейронних мереж у самих різноманітних напрямках застосувань робить дослідження їх фундаментальних властивостей надзвичайно актуальним. Таки властивості можуть бути використані для покращення властивостей нейронних мереж.
Мета роботи полягає в визначенні загальних властивостей штучних нейронів та виявлені наявності у просторі всіх вхідних сигналів зон, де поле вихідних сигналів має складну фрактальну структуру.
Методи дослідження: для дослідження простору всіх вхідних сигналів було розроблено програмне забезпечення, яке дозволило моделювати реакцію нейрона на всі можливі вхідні сигнали певної довжини у деякому вхідному алфавіті. За допомогою цього забезпечення було з модульовано простір всіх вхідних сигналів та графічно визначено поле вихідних сигналів у над цим простором. Використовуючи можливість програмного забезпечення змінювати масштаб спостереження простору вхідних сигналів було здійснено пошук зон з самоподібною, фрактальною структурою.
Результати: У роботі визначено, що у випадку загального положення у просторі всіх вхідних сигналів нейрону існують зони - зони тіні, в яких поле вихідних сигналів має складну фрактальну структуру. Визначено вплив зміни ваг та порогу нейрону на існування та розташування таких зон. Виявлено зміни які спостерігаються зі збільшенням довжини вхідних сигналів. Встановлено фрактальну розмірність структур в зонах тіні.
Висновки: отримані загальні властивості нейронів повинні суттєво впливати на властивості нейронних мереж у вигляді наявності зон тіні в яких "відповідь" мережі є надзвичайно чутливою навіть до малих змін вхідних сигналів. Наявність таких зон є надзвичайно важливим фактором який потрібно враховувати при створенні неронних мереж.
Завантаження
Посилання
/Посилання
W. S. McCulloch and W. Pitts, "A logical calculus of the ideas immanent in nervous activity," Bulletin of Mathematical Biophysics, vol. 5, no. 4, pp. 115–133, 1943.https://doi.org/10.1007/BF02478259
F. Rosenblatt, "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain," Psychological Review, vol. 65, no. 6, pp. 386–408, 1958.https://doi.org/10.1037/h0042519
F. Rosenblatt, Principles of Neurodynamics. Washington, DC: Spartan Books, 1962.https://doi.org/10.2307/1419730
B. Widrow and M. E. Hoff, "Adaptive switching circuits," in 1960 IRE WESTCON Conference Record. New York, 1960.https://doi.org/10.7551/mitpress/4943.003.0012
D. O. Hebb, The organization of behavior; a neuropsychological theory. New York: Wiley, 1949.
M. L. Minsky and S. A. Papert, Perceptrons. Cambridge, MA: MIT Press, 1969.https://doi.org/10.1016/s0361-9230(99)00182-3
J. J. Hopfield, "Neural networks and physical systems with emergent collective computational abilities," Proceedings of National Academy of Sciences, vol. 79, no. 8, pp. 2554–2558, April 1982.https://doi.org/10.1073%2Fpnas.79.8.2554
J. J. Hopfield, "Neural with graded response have collective computational properties like those of two-state neurons," Proceedings of the National Academy of Sciences, vol. 81, no. 10, pp. 3088-3092, May 1984.https://doi.org/10.1073/pnas.81.10.3088
J. J. Hopfield, "Learning algorithms and probability distributions in feed-forward and feed-back networks,"Proceedings of the National Academy of Sciences, vol. 84, no. 23, pp. 8429-8433, December 1, 1987.
D. E. Rumelhart, G. E. Hinton, and R. J. Williams, "Learning Internal Representations by Error Propagation," Parallel Distributed Processing, vol. 1, pp. 318–362. Cambridge, MA: MIT Press, 1986.https://doi.org/10.7551/mitpress/5236.003.0012
Y. Wu and J. Feng, "Development and application of artificial neural network," Review of Wireless Personal Communications, vol. 102, no. 2, pp. 1645-56, 2018.https://doi.org/10.1007/s11277-017-5224-x
A. Sharma and A. Chopra, "Artificial neural networks: Applications in management," Review of Journal of Business and Management, vol. 12, no. 5, pp. 32-40, 2013.https://doi.org/10.1371%2Fjournal.pone.0212356
J. Jiang, P. Trundle, and J. Ren, "Medical image analysis with artificial neural networks," Review of Computerized Medical Imaging and Graphics, vol. 34, no. 8, pp. 617-31, 2010.https://doi.org/10.1016/j.compmedimag.2010.07.003
A. Abraham, "Artificial Neural Networks," in Handbook of Measuring System Design, 1st ed., vol. 3, John Wiley & Sons, 2005. http://dx.doi.org/10.1002/0471497398.mm421
G. Cantor, "Über eine elementare Frage der Mannigfaltigskeitslehre," Jahresbericht der Deutschen Mathematiker-Vereinigung, vol. 1, pp. 75–78, 1891.[in German]http://eudml.org/doc/144383
P. Halmos, Naive Set Theory. Princeton, NJ: D. Van Nostrand Company, 1960. Reprinted by Springer-Verlag, New York, 1974.
B. B. Mandelbrot, The Fractal Geometry of Nature. New York: W. H. Freeman and Co., 1982.
M. F. Barnsley and H. Rising, Fractals Everywhere. Boston: Academic Press Professional, 1993.
R. M. Crownover, Introduction to Fractals and Chaos. University of Missouri-Columbia: Jones and Bartlett Publishers, Boston, London, 1995.
H. G. Schuster, Deterministic Chaos: An Introduction. Weinheim: Physik-Verlag, 1984.
W. S. McCulloch and W. Pitts, "A logical calculus of the ideas immanent in nervous activity," Bulletin of Mathematical Biophysics, vol. 5, no. 4, pp. 115–133, 1943.https://doi.org/10.1007/BF02478259
F. Rosenblatt, "The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain," Psychological Review, vol. 65, no. 6, pp. 386–408, 1958.https://doi.org/10.1037/h0042519
F. Rosenblatt, Principles of Neurodynamics. Washington, DC: Spartan Books, 1962.https://doi.org/10.2307/1419730
B. Widrow and M. E. Hoff, "Adaptive switching circuits," in 1960 IRE WESTCON Conference Record. New York, 1960.https://doi.org/10.7551/mitpress/4943.003.0012
D. O. Hebb, The organization of behavior; a neuropsychological theory. New York: Wiley, 1949.
M. L. Minsky and S. A. Papert, Perceptrons. Cambridge, MA: MIT Press, 1969.https://doi.org/10.1016/s0361-9230(99)00182-3
J. J. Hopfield, "Neural networks and physical systems with emergent collective computational abilities," Proceedings of National Academy of Sciences, vol. 79, no. 8, pp. 2554–2558, April 1982.https://doi.org/10.1073%2Fpnas.79.8.2554
J. J. Hopfield, "Neural with graded response have collective computational properties like those of two-state neurons," Proceedings of the National Academy of Sciences, vol. 81, no. 10, pp. 3088-3092, May 1984.https://doi.org/10.1073/pnas.81.10.3088
J. J. Hopfield, "Learning algorithms and probability distributions in feed-forward and feed-back networks,"Proceedings of the National Academy of Sciences, vol. 84, no. 23, pp. 8429-8433, December 1, 1987.
D. E. Rumelhart, G. E. Hinton, and R. J. Williams, "Learning Internal Representations by Error Propagation," Parallel Distributed Processing, vol. 1, pp. 318–362. Cambridge, MA: MIT Press, 1986.https://doi.org/10.7551/mitpress/5236.003.0012
Y. Wu and J. Feng, "Development and application of artificial neural network," Review of Wireless Personal Communications, vol. 102, no. 2, pp. 1645-56, 2018.https://doi.org/10.1007/s11277-017-5224-x
A. Sharma and A. Chopra, "Artificial neural networks: Applications in management," Review of Journal of Business and Management, vol. 12, no. 5, pp. 32-40, 2013.https://doi.org/10.1371%2Fjournal.pone.0212356
J. Jiang, P. Trundle, and J. Ren, "Medical image analysis with artificial neural networks," Review of Computerized Medical Imaging and Graphics, vol. 34, no. 8, pp. 617-31, 2010.https://doi.org/10.1016/j.compmedimag.2010.07.003
A. Abraham, "Artificial Neural Networks," in Handbook of Measuring System Design, 1st ed., vol. 3, John Wiley & Sons, 2005. http://dx.doi.org/10.1002/0471497398.mm421
G. Cantor, "Über eine elementare Frage der Mannigfaltigskeitslehre," Jahresbericht der Deutschen Mathematiker-Vereinigung, vol. 1, pp. 75–78, 1891.[in German]http://eudml.org/doc/144383
P. Halmos, Naive Set Theory. Princeton, NJ: D. Van Nostrand Company, 1960. Reprinted by Springer-Verlag, New York, 1974.
B. B. Mandelbrot, The Fractal Geometry of Nature. New York: W. H. Freeman and Co., 1982.
M. F. Barnsley and H. Rising, Fractals Everywhere. Boston: Academic Press Professional, 1993.
R. M. Crownover, Introduction to Fractals and Chaos. University of Missouri-Columbia: Jones and Bartlett Publishers, Boston, London, 1995.
H. G. Schuster, Deterministic Chaos: An Introduction. Weinheim: Physik-Verlag, 1984.
