Funções de Ativação

Question 1

Como a Rectified Linear Unit é definida?

Answer 1

g(z) = max{0,z}

Question 2

O que a Sigmoid faz?

Answer 2

Converte a camada linear em probabilidade.

Question 3

Cite generalizações da ReLU.

Answer 3

Se zi < 0: hi = g(z, alfa)i = max{0,zi} + alfa*min{0,zi}

• Leaky ReLU: alfa próximo de 0
• Parametric ReLU: alfa é parâmetro
• Maxout: “aprende a função
• Absolute Value Rectification: alfa = -1 (object recognition from images)

Question 4

Porque o uso da Sigmoid como hidden unit é desencorajado?

Answer 4

Satura em praticamente todo o seu domínio. Para valores altos quando z é muito positivo e baixos caso contrário. Obs: Pode ser usada como output unit desde que a cost function desfaça a saturação.

Question 5

Em quais redes neurais a Sigmoid costuma ser mais usada?

Answer 5

Recurrent, modelos probabilísticos, alguns Autoencoders.

Question 6

Por que a Tangente Hiperbólica costuma performar melhor que a Sigmoid?

Answer 6

Tem maior semelhança com a função Identidade no sentido de que tanh(0) = 0 enquanto sigma(0) = 1/2.
Quando as ativações da rede são pequenas, treinar com tanh se assemelha a treinar um modelo linear, ou seja, é mais fácil.

Question 7

É possível não ter hidden units?

Answer 7

Sim, seria o mesmo que fazer uso de linear hidden units. Pode ser útil para reduzir o número de parâmetros.

Question 8

É possível usar a softmax como hidden unit?

Answer 8

Sim, em arquiteturas mais avançadas que aprendem a manipular memória.