Recurrent Neural Networks

Question 1

Welche Rückkopplungen (Feedback Loops) bei Recurrent Neural Networks?

Answer 1

Rückkoplung (oder Rekursion) gibt es in verschiedenen Arten:
- direkte Rückkopplung (blau)
- indirekte Rückkopplung (grün)
- seitliche Rückkopplung (rot)
- vollständige Verbindung (gelb)

Question 2

Welche Anwendung haben RNNs?

Answer 2

Bei Problemstellungen die das Verarbeiten von Sequenzen erfordern (Rekursion)
- kann Vorhersagen machen
- hat ein Gedächtnis
Bsp.
Handschrifterkennung, Spracherkennung

Question 3

Simple Recurrent Network

Answer 3

Für jede Schicht existieren Kontext-Neuronen (Context Units - CU)

Question 4

Elman Netz

Answer 4

-Ist ein Simple Recurrent Network
-Zusätzliche Kontextschicht

-> Kann eine einfache zeitliche Abhängigkeit erfassen
ABER weniger geeignet als LSTMs

Question 5

Jordan Netz vs Elman Netz

Answer 5

-elman Rückkopplung von Hidden zu Kontextschicht
jordan Output zu Kontextschicht
-Elman-Netz besser für interne Zustandsänderungen, Jordan-Netz besser für direkte Abhängigkeiten vom Output.

Question 6

Backpropagation Through Time

Answer 6

Erweiterung BP-Algo.
Fehler über mehrere Zeitschritte hinweg zu berechnen und die Gewichte entsprechend anzupassen

Question 7

Welches Problem behandelt Long-Short Term Memory (LSTM)

Answer 7

Für RNNs
das Problem der verschwindenden Gradienten zu lösen und langfristige Abhängigkeiten in Sequenzdaten zu lernen​

Question 8

Verschwindende Gradienten (Vanishing Gradient Problem)

Answer 8

Gradienten während des Backpropagation-Trainings immer kleiner
frühe Neuronen (z. B. aus früheren Zeitschritten in RNNs) kaum noch lernen​

Warum?
Ableitungen der Akt.F. oft kleiner als 1

Question 9

Hopfield-Netze

Answer 9

RNNs die als assoziativer Speicher dienen
- Speichern eines Musters
- verrauscht Eingabe rekonstruieren

Mustererkennung und Speicherprobleme