12.

Question 1

Transformerių neuroniniai tinklai

Answer 1

Gilių neuroninių tinklų architektūra, pagrįsta dėmesio mechanizmais

Question 2

Dėmesio sutelkimo transformacija

Answer 2

Mechanizmas leidžia modeliams suteikti skirtingą svarbą skirtingiems įvesties sekos elementams, atsižvelgiant į jų tarpusavio ryšius

Question 3

Dėmesio sutelkimo sau transformacija

Answer 3

Leidžia kiekvienam įvesties sekos elementui įvertinti visus kitus elementus ir nuspręsti, kuri informaciją svarbiausia

Question 4

Daugelio galvučių dėmesio sutelkimo transformacija

Answer 4

Tuo pačiu metu atliekamos kelios dėmesio operacijos su skirtingomis parametrų grupėmis

Question 5

Operacijų skaičius reikalingas dėmesio sutelkimo transformacija

Answer 5

Sudėtingumas didėja kvadratiškai pagal sekos ilgį (O(n^2))

Question 6

Pozicijos kodavimas

Answer 6

Būdas pridėti informaciją apie žodžio eiliškuma, kadangi transformeriai savaime nesupranta sekos tvarkos

Question 7

Transformerių neuroninių tinklų architektūros

Answer 7

Sudarytos iš enkoderių ir dekoderių, kuriuose naudojami dėmesio mechanizmai ir feed-forward tinklai