Week 9

Question 1

Wat is ANN?

Answer 1

Artificial Neural Network. Bestaat uit 10-1000 neuronen. Is expressief: kunnen alle begrensde continue functies benaderen met 1 inwendige laag, en alle functies met twee inwendige lagen.

Question 2

Wat is WNN?

Answer 2

Wet Neural Network (echte).
Neuron switch tijd = 0.001s
Aantal neuronen =10^10 tot 10^11
Connecties per neuron = 10^4 tot 10^5
Visuele herkenningstijd =0.1s
Groot aantal parallelle berekeningen

Question 3

Wat is het verschil tussen ANN en WNN?

Answer 3

ANN heeft veel minder units dan WNN, maar is sneller.

Question 4

Wat is een perceptron?

Answer 4

Een network gebruikt voor patroonherkenning. Activatie begint bij input en eindigt bij output. Kan meerdere in- en outputs hebben.

Question 5

Voor een perceptron met n inputs, hoeveel mogelijk inputcombo’s zijn er dan?

Answer 5

2^n

Question 6

Wat is het enkelvoudig linear perceptron?

Answer 6

Het meest eenvoudige neurale netwerk. Bestaat alleen uit een inputlaag en 1 ouput.

Question 7

Beschrijf een unit:

Answer 7

Een neuroon.

Question 8

Gewicht

Answer 8

Gewogen connecties tussen units

Question 9

Wat is notatie netto invoer?

Answer 9

De gewogen som van invoerwaarden

Question 10

Wat is multivariate regressie?

Answer 10

Inputs worden kolommen in een matrix. De uitkomsten van de inputs worden een vector.
Voor iedere uitkomst j geldt dan dat ie gelijk is aan W^T * de input.
met T = de gewenste uitkomst.

Question 11

Wat kun je met multivariate regressie?

Answer 11

De optimale gewichten voor een perceptron in één keer berekenen.

Question 12

Hoe representeer je ‘en’ met een enkelvoudig linear perceptron?

Answer 12

Van de twee inputs (1 of 0) haalt hij 1.5 eraf. Als de output kleiner is dan 0, dan is de output 0 (want een van de twee inputs was 0). Als de input groter is dan 0, dan is de output 1(want beide outputs 1, nl 2-1.5 is groter dan 0).

Question 13

Geef de delta-leerregel voor w.i:

Answer 13

De nieuwe w.i = de oude w.i + learning rate eta * (target output t - actual output y) * binary input xi

Question 14

Geef de delta-leerregel voor b:

Answer 14

de nieuwe b = de oude b + learning rate eta * (target output t - actual output y)

Question 15

Hoe leren neurale netwerken?

Answer 15

Ze stellen inkomende gewichten bij aan de hand van fouten op leervoorbeelden.

Question 16

Wat is batch leren?

Answer 16

De fout wordt telkens voor alle voorbeelden in de leerverzameling tegelijk verminderd.

Question 17

Wat is online leren?

Answer 17

Per leervoorbeeld d is er een fout. Per leervoorbeeld worden de gewichten bijgesteld.

Question 18

Wat is het verschil tussen batch leren en online leren?

Answer 18

Bij batch leren wordt per update alle leervoorbeelden gebruikt. Bij online leren wordt per updat 1 leervoorbeeld gebruikt.

Question 19

Beschrijf de foutfunctie:

Answer 19

De kleinste-kwadraten som tussen gewenste uitkomst T en verkregen uitkomst Y.
E = 0.5 * (T-Y)^2.

Question 20

Wat zijn de effecten van het verschil tussen batch leren en online leren op de foutfunctie?

Answer 20

Bij online leren wordt de E nu per leervoorbeeld d berekend, terwijl bij batch leren de fout voor alle voorbeelden tegelijk berekend wordt.

Question 21

Y

Answer 21

uitkomst/output

Question 22

T

Answer 22

gewenste uitkomst/output

Question 23

W, w

Answer 23

gewichten

Question 24

d

Answer 24

leervoorbeeld

Question 25

Wat is de X-OR functie?

Answer 25

Exclusive-or functie, de target output is 1 alleen als 1 van de 2 inputs 1 is, en niet beiden. Linearly inseparable.

Question 26

Noem Munsky & Papert’s resultaat van hun onderzoek over het enkelvoudig linear perceptron:

Answer 26

Een enkelvoudig linear perceptron kan de X-OR functie niet representeren

Question 27

Wat was de invloed van Munsky & Papert’s resultaat op het NN-onderzoek?

Answer 27

Werd stopgelegd/ veel minder gedaan voor lange tijd.

Question 28

Beschrijf de uitbreiding van het enkelvoudig linear perceptron:

Answer 28

De unit met een sigmoïde activatiefunctie.
Backpropagation.

Question 29

Beschrijf de sigmoïde activatie functie

Answer 29

De output zegt veel over de input.

Question 30

Wat is FFNN?

Answer 30

Een meerlagig feed forward neuraal netwerk.

Question 31

Uit welke drie lagen bestaat het meerlagige feed forward neurale netwerk?

Answer 31

1) Invoerlaag
2) Verborgen laag
3) Uitvoerlaag

Question 32

Geef de invoernotatie volgens John Mitchell:

Answer 32

Knoop j bezit, voor elke voorgangerknoop i, invoer x.ji en gewicht w.ji.

Question 33

Waar staat MLP voor?

Answer 33

Multilayer Perceptron.

Question 34

Wat is backpropagation?

Answer 34

Een methode om veranderingen in gewicht te berekenen. Past de gewichten telkens zo aan dat de error rate een stapje naar beneden doet in het error surface landschap.
Vindt altijd een lokaal minimum na enige tijd.

Question 35

Hoe ziet de error surface van een MLP eruit?

Answer 35

Heeft veel pieken en dalen. De pieken staan voor hoge error-waardes en dus veel foute outputs, en de dalen staan voor lage error-waardes en dus veel juiste outputs.

Question 36

Wat houdt universal approximation als eigenschap van MLP in?

Answer 36

Given any functional mapping, there exists an MLP that can approximate the mapping to an arbitrary accuracy.

Question 37

Wat zijn de 3 stappen van voorwaartse propagatie in een niet-linear netwerk?

Answer 37

Neem de input vector x
Bereken de gewogen gesommeerde input
Bereken de activatie

Question 38

Hoe bereken je de gewogen gesommeerde input in voorwaartse propagatie?

Answer 38

net.j = de som van alle i, w.ji * x.ji

Dus de netto input van knoop j is gelijk aan de som van gewicht tussen de i-de voorganger van j en j keer de i-de input van knoop j.

Question 39

Hoe bereken je de activatie in voorwaartse propagatie?

Answer 39

sigma (netj) = 1 / (1 + e ^-netj )

Op [0,1] de activatie is gelijk aan 1 gedeeld door e tot de -netto input + 1.

Question 40

Geef de afgeleide sigma-functie:

Answer 40

sigma’(x) = sigma(x) [1-sigma(x)]

Question 41

Downstream(j)

Answer 41

De opvolgers van j.

Question 42

Terugpropagatie bij FFNN: hoe wordt de correctiefactor delta van j bepaald?

Answer 42

• (de afgeleide van Ed(w.vector) / afgeleide van netto input j)