Aula 19 - Algoritmo de backpropagation (retropropagação))

Question 1

L

W

|W|

Answer 1

L: Refere-se a última cada da rede neural

W: Conjunto de matrizes que representam os pesos na rede neural

|W|: Número total de pesos na rede

Question 2

∇E_in (W)

Answer 2

∇: gradiente
E_in: Error function

Question 3

backpropagation

significado de θ

Answer 3

função de ativação

funções de ativação: linear, tanh (parecido com a sigmóide) e hard threshold (parecido com a Heaviside)

Question 4

Gradiente descendente estocástico ( SGD: Stochastic Gradient Descent)

Answer 4

É computado o gradiente para um único ponto.

Permultando os pontos e depois rodando todos eles, um por vez (época)

Tipicamente, durante o treinamento é usado várias épocas

Todos esses procedimentos tornam o gradiente descendente estocástico