Una Revisión de los Fundamentos de Aprendizaje Profundo – El Modelo de Red Neuronal XOR

Este artículo explora los fundamentos de Deep Learning mediante el seguimiento, en un simple modelo de Redes Neuronales de la función XOR, de las señales en forward y backward que fluyen a través de este modelo. Nuestro objetivo es alcanzar una comprensión más profunda de algunos conceptos sobresalientes de Deep Learning, lo que nos permitiría comprender su significado mientras el modelo de Redes Neuronales de la función XOR es entrenado por el algoritmo Retropropagación. El modelo elegido contiene una sola capa oculta con cuatro neuronas y una capa de salida con una neurona. Aunque este modelo no es una red neuronal profunda, su capa oculta lleva los conceptos suficientes de Deep Learning. Se utiliza la sigmoidea como función de activación en todas las neuronas. Se presenta una derivación de una versión simple del algoritmo Gradiente Descendente Estocástico, que se usa para minimizar el error de salida, y luego al retropropagarlo llegamos al algoritmo de retropropagación. Se presentan resultados numéricos, que muestran la convergencia del error de salida y el de un peso seleccionado y su análisis resume la comprensión de los conceptos fundamentales de Deep Learning.

This paper explores the fundamentals of Deep Learning by searching a simple Neural Network model of the XOR function for the forward and backward signals flowing through this model. Our purpose is to reach a deeper understanding of some outstanding concepts of Deep Learning, which would enable us to get the significance of it while the Neural Network model of the XOR function is trained by the backpropagation algorithm. The chosen Neural Network model contains just one hidden layer with four neurons and an output layer with one neuron. Although this model is not a deep neural network, its hidden layer carries the enough concepts of Deep Learning. The sigmoid is used as the activation function in all neurons. A derivation of a simple version of the Stochastic Gradient Descent algorithm is presented, which is used to minimize the output error, and then by backpropagating it we come to the back-propagation algorithm. Numerical results are presented, which shows the convergence of the output error and that of a selected weight and their analysis summarize the understanding of the fundamental concepts of Deep Learning.