Antra dalis

Question 1

Nuostolių funkcijos (loss)

Answer 1

Matuoja skirtumą tarp modelio prognozių ir tikrųjų reikšmių.

Question 2

Kam reikalingos nuostolių funkcijos?

Answer 2

Padeda modeliui suprasti kiek jo prognozės skiriasi nuo tikrovės, algoritmas tuomet atnaujina modelio svorius, kad sumažintų klaidą

Question 3

Vidutinės kvadratinės paklaidos (MSE) nuostoliu funkcija

Answer 3

Skaičiuoja kvadratinių skirtumų tarp prognozuotų ir tikrųjų reikšmių vidurkį

Question 4

Kryžminės entropijos (cross-entropy) nuostoliu funkcija

Answer 4

Matuoja skirtumą tarp tikrosios klasės ir modelios prognozuotų tikimybių

Question 5

Optimizatoriai

Answer 5

Algoritmai, kurie nustato, kaip atnaujinti neuroninio tinklo svorius mokymo metu, siekiant sumažinti nuostolių funkciją

Question 6

Stochastinis gradientų nusileidimas (SGD optimizatorius)

Answer 6

Optimizavimo metodas, kuris atnaujina svorius po kiekvieno duomenų pavyzdžio

Question 7

Adam optimizatorius

Answer 7

Sujungia inercijos (momentum) metodą ir adaptuojamus mokymosi tempus, dėl to efektyviai konverguoja daugelyje situacijų

Question 8

Reguliarizacija

Answer 8

Metodų rinkinys, padedantis sumažinti testavimo paklaidą ir išvengti permokymo

Question 9

Ankstyvasis sustabdymas

Answer 9

Mokymas stabdomas, kai modelio tikslumas testavimo metu nebegerėja, siekiant išvengti permokymo

Question 10

Rinkinio (batch) normalizacija

Answer 10

Normalizuoja sluoksnio įėjimus, mažina vidaus kintamumą ir paspartina mokymą

Question 11

Atsitiktinio praretinimo tranformacija (Dropout)

Answer 11

Mokymo metu atsitiktinai išjungia dalį neuronų, priversdama tinklą būti atsparesnį ir išmokti geresnių apibendrinimų

Question 12

Duomenų augmentacija (augmentation)

Answer 12

Duomenų išplėtimo metodas, kuriuo sukuriami nauji pavyzdžiai keičiant esamus

Question 13

L2 reguliarizacija

Answer 13

Prideda baudos terminą už didelius svorius, todėl modelis yra skatinamas rinktis mažesnius svorius ir mokytis iš paprastesnių sprendimų

Question 14

Kompiuterinė rega

Answer 14

Leidžia kompiuteriams analizuoti ir interpretuoti vizualinę informaciją iš vaizdų ar vaizdo įrašų

Question 15

Objektų aptikimas

Answer 15

Ne tik atpažįsta objektų klases paveikslelyje, bet ir nusako jų tikslias vietas (ribines dežutes)

Question 16

Vaizdų klasifikavimas

Answer 16

Priskiria visam paveikslėliui vieną klasę

Question 17

Semantinis segmentavimas

Answer 17

Priskiria kiekvienam vaizdo pikseliui klasę, leidžiant tiksliai pažymėti objektų ribas paveikslėlyje

Question 18

Kovoliucija

Answer 18

Pagrindine operacija konvoliuciniuose neuroniniuose tinkluose, leidžianti aptikti vietinius duomenų bruožus, tokius kaip kražtai ar tekstūros

Question 19

Kokiu būdu veikia konvoliucija

Answer 19

Ji atliekama taikant “slankiojanti langą” (filtrą), kuris juda per įvesties duomenis, išgaudamas vietines savybes

Question 20

Konvoliuciniai neuroniniai tinklai (CNN)

Answer 20

Specializuoti neuroniniai tinklai, skirti vaizdinių duomenų apdorojimui.

Question 21

Kaip veikia CNN

Answer 21

Jie automatiškai išmoksta išgauti reikšmingas savybes iš paveikslelių, naudodami mažų dydžių filtrus (branduolius), kurie leidžia sumažinti parametrų skaičių ir skaičiavimo sudėtingumą

Question 22

Sutelkimas (pooling)

Answer 22

Sumažina erdvinį duomenų dydį, išlaikydamas svarbiausią informaciją.

Question 23

AlexNet

Answer 23

Pirmasis gilus CNN tinklas, pirmasis plačiai panaudojo ReLU aktyvacijas ir sudėtines konvoliuvines struktūras

Question 24

VGG, ResNet

Answer 24

VGG turėjo 16-19 sluoksnių tinklą, ResNet įvedė likutinius ryšius (skip connections), leidžiančius treniruoti labai gilius tinklus

Question 25

Rekurentiniai neuroniniai tinklai (RNN)

Answer 25

Skirti sekoms apdoroti, jie išlaiko informaciją apie ankstesnes įvestis per vidinę būseną.

Question 26

Rekurentinis neuronas

Answer 26

Gauna įvesti ne tik iš ankstesnio sluoksnio, bet ir iš savo ankstesnės būsenos

Question 27

RNN būsena

Answer 27

Saugo informaciją apie ankstesnes įvestis, tarsi tinklo "atmintis", ji perduodama tarp laiko žingsnių

Question 28

RNN būsenos atnaujinimas

Answer 28

Kiekviename laiko žingsnyje būsena atnaujinama naudojant dabartinę įvestį ir ankstesnę būsena, leidžiant modeliui sekti kontekstą laiko tėkmėje

Question 29

Atgalinis sklidimas RNN tinkluose

Answer 29

Skirtas RNN mokymui, kai klaidos gradientai skaičiuojami per kelis laiko žingsnius

Question 30

Sprogstantys gradientai

Answer 30

Situacija, kai gradientai tampa labai dideli, dėl ko svoriai atnaujinami pernelyg stipriai, tinklas tampa nebestabilus

Question 31

Ilgos trumpalaikės atminties modelis (LSTM)

Answer 31

RNN variantas, kuris efektyviau valdo ilgalaikę informaciją, naudodamas vidinę atmintį ir specialias sklendęs, taip išsprendžiant nykstančių gradientų problemą

Question 32

LSTM sklendės (gates)

Answer 32

Yra trys pagrindinės sklendes - įvesties, pamiršimo ir išvesties, kurios reguliuoja kiek informacijos įsiminti, pamiršti ar perduoti, suteikiant lankstų informacijos valdymą

Question 33

Transformerių neuroniniai tinklai

Answer 33

Gilių neuroninių tinklų architektūra, pagrįsta dėmesio (attention) mechanizmais

Question 34

Dėmesio sutelkimo transformacija (attention)

Answer 34

Leidžia modeliam suteikti skirtingą svarbą įvesties sekos elementams, atsižvelgiant į jų tarpusavio ryšius

Question 35

Dėmesio sutelkimo sau transformacija (self-attention)

Answer 35

Leidžia kiekvienam įvesties sekos elementui įvertinti visus kitus elementus ir nuspręsti, kuri informacija yra svarbiausia

Question 36

Daugelio galvučių dėmesio sutelkimo transformacija (multihead-attention)

Answer 36

Tuo pačiu metu atliekamos kelios dėmesio operacijos su skirtingomis parametrų grupėmis

Question 37

Operacijų skaičius reikalingas dėmesio sutelkimo transformacijai

Answer 37

Transformacijos skaičiavimų sudėtingumas didėja kvadratiškai pagal sekos ilgį (O(n²))

Question 38

Pozicijos kodavimas

Answer 38

Būdas pridėti informaciją apie žodžiu eiliškumą, nes transformeriai savaime nesupranta sekos tvarkos

Question 39

Transformerių neuroninių tinklų architektūros

Answer 39

Sudarytos iš enkoderiu ir dekoderių, kuriuose naudojami dėmesio mechanizmai ir feed-forward tinklai