Training Deep Neural Networks

Question 1

Na czym polega Vanishing Gradient Problem?

Answer 1

Gradient coraz bardziej maleje i praktycznie nie zmienia wag polaczen -> nie osiagnie dobrego rozwiazania

Question 2

Exploding Gradients Problem

Answer 2

gradient coraz to rosnie, zostawiajac ogroomne wagi polaczen -> rozbieznosc

Question 3

Unstable Gradients

Answer 3

rozne warstwy ucza sie z innymi predkosciami

Question 4

Problemy funkcji sigmoid

Answer 4

srednia 0.5 zamiast 0,

kiedy inputy sa bezwglednie duze, funkcja bardzo sie zbliza do 1 lub 0, a pochodna do 0 -> bardzo maly gradient

Question 5

Czym sa fan-in i fan-out

Answer 5

liczba inputow i outputow warstwy

Question 6

Na czym polega inizjalizacja Glorota?

Answer 6

wariancja outputoq powinna byc rowna wariancji outputow

gradienty rowniez powinny miec rowna wariance przed i po przejsciu

kompromis: wagi polaczen powinny byc randomowe:

albo normal ditribution, srednia 0, wariancja = 1/fan_avg

albo uniform distribution, miedzy -r a r, gdzie r = sqrt(3/fan_avg)

Question 7

Jaki jest zwiazek miedzy inicjalizacja LeCun a Glorota?

Answer 7

Zamiana fan_avg na fan_in

Question 8

He inicjalization

Answer 8

inicjalizacja dla funkcji relu,

wariancja 2/fan_in

Question 9

dying Relus

Answer 9

podczas trenowania, niektore neurony umieraja. zwracajac tylko 0
kiedy suma wazona inputow zawszej jest ujemna

Question 10

leaky Relu

Answer 10

max(az,z)
a okresla jak bardzo funkcja ‘przecieka’ - jakie nachylenie dla mniejszych od zera, dzieki czemu neurony nie umieraja, a najwyzej zasypiaja

typy:
standardowa
random
parametric

Question 11

ELU

Answer 11

Exponential Linear Unit
funkcja zastepujaca RELU,
najczesciej lepsza, ale wolniejsza

y = x dla x>=0
y=exp(x) -1 dla x<0

Question 12

SELU

Answer 12

scaled ELU
sama sie normalizuje

warunki:
znormalizowane inputy
Lecun initialization
architektura musi byc sekwencyjne

jesli dropout to alphadropout

Question 13

Batch normalization

Answer 13

dziala przeciwko vanishing/exploding gradients

zawsze przed albo po zastosowaniu funkcji aktywacyjnej

centruje i normalizuje kazdy input dla instancji
potem skaluje i przesuwa, wykorzystujac przygotowane do tego wektory dla kazdej warstwy -> model uczy sie optymalnej skali dla kazdej warstwy

srednia i ochylenia wylicza dla kazdego mini-batcha inputow

2 dodatkowe wektory: srednie ruchome sredniej i sd, wykorzystywane przy testowaniu

lacznie oblicza 4 wektory

Question 14

Gradient Clipping

Answer 14

dzialanie przeciwko exploding gradients,
po prostu ograniczamy gradient do jakiegos przedzialu, czesto uzywane przy sieciach rekurencyjnych

keras.optimizers(clipvalue=1.0)

Question 15

Reusing Pretrained Layers

Answer 15

wykorzystanie juz wytrenowanych warstw jakiejs sieci,
jesli inputy maja innae rozmiary. trzeba wykonac jakis preprocessing

dobrze wstrzymac trenowanie juz juz utworzonych i potem wlaczac po jednej warstwie

najlepiej dziala z glebokimi sieciami konwolucyjnymi

Question 16

Unsupervided Pretraining

Answer 16

wykonywane najczesciej z RBM albo autoencoderami, kiedy mamy malo oznaczonych danych i nie mozna skorzystac z innego modelu

trenuje sie warstwa po warstwie, pozostale sa zamrozone

Question 17

Restricted Boltzmann Machines

Answer 17

_

Question 18

Pretraining on an auxiliary task

Answer 18

kiedy nie mamy za duzo oznaczonych danych, mozna wytrenowac siec na jakies poboczne zadanie dla ktorego latwo mozemy uzyskac labele i potem wykorzystac jego warstwy

np siec porownujaca czy na zdjeciach sa te same osoby -> siec rozpoznajaca twarze

Question 19

Faster Optimizers

Answer 19

momentum, nesterov accelerated gradient, adagrad, rmsprop, adam and nadam

Question 20

Momentum Optimization

Answer 20

na zasadzie przyspieszajacej kuli

w kazdej iteracji: od wektora meomentum odejmuje sie lokalny gradient, przemnozony przez learning rate

do wagi dodaje sie wektor momentum

-> gradient jest uzywany do przyspieszenia, nie szybkosci

zeby momentum nie byl zbyt duzy, wymnaza sie go przez parametr Beta (0 -1)

Question 21

Nesterov Accelerated Gradient

Answer 21

zamist mierzyc gradient w lokalnej pozycji, mierzymy go troche dalej, w kierunku momentum

dziala bo zazwyczaj momentum jest skierowane w dobrym kierunku

Question 22

AdaGrad

Answer 22

wykrywa kierunki gradientu i koryguje w kierunku optimum - skaluje wektor gradientu zgodnie z najbardziej stromymi wymiarami

wyznacz kwadrat gradientu do wektora s
odejmuje od wektora wag gradient podzielony elementami przed pierwiastek z wektora s + jakis epsilon,

nie dziala dobrze dla glebszych sieci

Question 23

RMSProp

Answer 23

dziala podobnie jak Ada, ale uwzglednia tylko gradienty z ostatnich iteracji

wykorzystuje exponential decay

Question 24

Adam

Answer 24

adaptive moment estimations,
laczy idee momentum i rmsprop

roznice - decaying average not sum,

Question 25

Adamax

Answer 25

adam ale do skalowania uzywa l_infinity, zamiast l2, czyli max

Question 26

nadam optimization

Answer 26

adam optimization plus nesterov trick

Question 27

problem adapcyjnych metod optymalizacyjnych

Answer 27

moga miec problem z genrealizacja, nalezy wtedy sprobowac z nesterov

Question 28

trenowanie sparse models

Answer 28

1 opcja: uzycie mocnej regularyzacji l1, co zeruje bardzo duzo wag 2.Dual Averaging - Follow the Regularized Leader

Question 29

Learning Rate Scheduling

Answer 29

strategie opisujace zmiany learning rate

Question 30

power scheduling

Answer 30

_

Question 31

exponential scheduling

Answer 31

zmniejszanie poprzez dzielenie o 10 co s krokow

Question 32

piecewise constant scheduling

Answer 32

stale learning rate dla roznych przedzialow epochow

Question 33

performance scheduling

Answer 33

mierzymy blad walidacji co N krokow i zmieniamy learning rate kiedy blad nie spada

Question 34

regularyzacja l1 i l2

Answer 34

z kazdym krokiem dodaje sie regularization loss

Question 35

dropout

Answer 35

z kazdym krokiem, kazdy neuron oprocz outputu, ma prawdopodobiensto p bycia wyrzoconym z trenowania podczas aktualnego kroku p - dropout rate, najczesciej 50 % powoduje to tworzenie z kazdym krokiem unikalnej sieci dla p =50%, przy testowaniu kazdy neuron bedzie podloczony dla 2-krotnie wiekszej liczby neuronow niz byl przy trenowaniu -> musimy pomnozyc input connection weight kazdego neurona przez 0.5

Question 36

Monte Carlo Dropout

Answer 36

wlaczamy training mode -> wlacza dropout robimy np 100 predykcji i przechowujemy (liczba jest hyperparametrem) poniewaz jest wlaczamy dropout, wszystkie predykcje beda rozne usredniamy predykcje -> dostajemy bardziej realny wynik

Question 37

Max-Norm regularization

Answer 37

dla kazdego neurona ograniczamy wagi inputow tak ze |w|_2 <= r, gdzie r to max-norm hyperparameter mniejsze r-> wieksza regularyzacja i mniejszy overfitting . Maxnorm regularization can also help alleviate the vanishing/exploding gradients prob‐ lems (if you are not using Batch Normalization).

Question 38

3. Name three advantages of the SELU activation function over ReLU.

Answer 38

nie ma problemu dying relus zredukowany czas trenowania moze przyjmowac dowolne ujemne wartosci, przez co sredni output jest bliski zera moze zapewniac wlasna normalizacja

Question 39

In which cases would you want to use each of the following activation functions: SELU, leaky ReLU (and its variants), ReLU, tanh, logistic, and softmax?

Answer 39

selu - generalnie dobra leakyRelu - szybkosc relu - prostota tangent - jesli mamy output 0-1 logistic - jesli mamy ocenic prawdopodobienstwo, softmax - jesli mamy prawdopodobienstwo i ma sie sumowac do 1

Question 40

5. What may happen if you set the momentum hyperparameter too close to 1 (e.g., 0. 99999) when using an SGD optimizer?

Answer 40

nabierze szybkosci ale moze przskoczyc minimum, moze powodowac oscylacje