11.

Question 1

Rekurentiniai neuroniniai tinklai (RNN)

Answer 1

Skirti sekoms apdoroti, jie išlaiko informaciją apie ankstesnes įvestis per vidinę būseną

Question 2

Rekurentinis neuronas

Answer 2

Gauna įvestį ne tik iš ankstesnio sluoksnio, bet ir iš savo ankstesnės būsenos

Question 3

RNN būsena

Answer 3

Saugo informaciją apie ankstesnes įvestis, tarsi tinklo “atmintis”

Question 4

RNN būsenos atnaujinimas

Answer 4

Kiekviename laiko žingsnyje būsena atnaujinama naudojant dabartinę įvestį ir ankstesnę būseną

Question 5

Atgalinis sklidimas RNN tinkluose

Answer 5

Specialus atgalinio sklidimo algoritmas, kai klaidos gradientai skaičiuojami per kelis laiko žingsnius

Question 6

Sprogstanty gradientai

Answer 6

Situacija, kai gradientai tampa labai dideli, dėl ko svoriai yra atnaujinami pernelyg stipriai ir tinklas tampa nebestabilus

Question 7

Nykstanstys gradientai

Answer 7

Kai gradientai labai sumažėja, tinklas nesimoko, nes svoriai beveik nesikeičia

Question 8

Ilgos trumpalaikės atminties modelis (LSTM)

Answer 8

RNN variantas, kuris efektyviau valdo ilgalaikę informaciją, naudodamas vidinę atmintį ir speciales sklendes, taip sprendžiant nykstančių gradientų problemą

Question 9

LSTM sklendes

Answer 9

Turi tris pagrindines sklendes - įvesties, pamiršimo ir išvesties, kurios reguliuoja, kiek informacijos įsiminti, pamiršti ar perduoti