7.8.9 Flashcards
(13 cards)
Nuostolių funkcijos
Matuoja skirtumą tarp modelio prognozių ir tikrųjų reikšmių
Kam reikalingos nuostolių funkcijos
Padeda modeliui suprasti kiek jo prognozės skiriasi nuo tikrovės
Vidutinės kvadratinės paklaidos (MSE) nuostoliu funkcija
Skaičiuoja kvadratinių skirtumų tarp prognozuotų ir tikrųjų reikšmių vidurkį
Kryžminės entropijos nuostoliu funkcija
Matuoja skirtumą tarp tikrosios klasės ir modelio prognozuotų tikimybių
Optimizatoriai
Algoritmai, kurie nustato, kaip atnaujinti neuroninio tinklo svorius mokymo metu, siekiant sumažinti nuostoliu funkcija
Stochastinis gradientų nusileidimas (SGD) optimizatorius
Optimizavimo metodas, kuris atnaujina modelio svorius po kiekvieno duomenų pavyzdžio
Adam optimizatorius
Sujungia inercijos (momentum) metodą ir adaptuojamus mokymosi tempus
Reguliarizacija
Technika, kuri padeda išvengti permokymo
Ankstyvasis sustabdymas
Mokymas stabdomas, kai klaida validavimo duomenyse nustoja mažėti
Rinkinio (batch) normalizacija
Normalizuoja sluoksnio įėjimus, mažina vidaus kintamumą ir paspartiną mokymą
Atsitiktinio praretinimo transformacija
Mokymo metu, atsitiktinai išjungia dalį neuronų, priversdama tinklą būti atsparesnį ir išmokti geresnių apibendrinimų
Duomenų augmentacija
Duomenų plėtimo metodas, kuriuos sukuriami nauji pavyzdžiai keičiant esamus
L2 reguliarizacija
Prideda baudos terminą už didelius svorius, todėl modelis yra skatinamas rinktis mažesnius svorius ir mokytis paprastesnių sprendimų