Lesson_3 Neuronale Netze Flashcards
(15 cards)
Welche Arten des maschinellen Lernens gibt es?
- Überwachtes Lernen (Supervised Learning)
- Unüberwachtes Lernen (Unsupervised Learning)
- Reinforcement Learning
Was ist die lineare Regression?
Eine Methode zur Vorhersage eines Zielwertes (abhängige Variable) anhand von unabhängigen Beobachtungen.
Vorhersagefunktion: ( h_{ heta}(x) = heta_0 + heta_1 \cdot x )
Was ist der Mean Squared Error (MSE)?
Der MSE misst die durchschnittliche quadratische Abweichung der vorhergesagten Werte von den tatsächlichen Werten:
( MSE = \frac{1}{2m} \sum_{i=1}^{m} (h_{ heta}(x^{(i)}) - y^{(i)})^2 )
Was ist der Gradient Descent-Algorithmus?
Ein iterativer Algorithmus, der den Gradienten der Kostenfunktion nutzt, um die Parameter ( \theta ) zu aktualisieren und die Kostenfunktion zu minimieren.
Wie werden Daten im maschinellen Lernen aufgeteilt?
- Trainingsset: Zum Erstellen des Modells.
- Validationsset: Zum Testen verschiedener Modelle.
- Testset: Zum Evaluieren des fertigen Modells.
Was ist die Hypothese der logistischen Regression?
Die Hypothese der logistischen Regression nutzt die Sigmoid-Funktion:
( g(z) = \frac{1}{1 + e^{-z}} ).
Diese Funktion gibt Wahrscheinlichkeiten zurück und wird zur Klassifikation verwendet.
Was ist die Kostenfunktion der logistischen Regression?
Die Kostenfunktion basiert auf der Kreuzentropie:
( CE(h_{\theta}(x), y) = -y \log(h_{\theta}(x)) - (1-y) \log(1 - h_{\theta}(x)) ).
Die Funktion wird genutzt, um die Differenz zwischen den vorhergesagten und den tatsächlichen Werten zu berechnen.
Was ist Regularisierung?
Regularisierung hilft, Overfitting zu verhindern, indem sie die Größe der Parameter ( \theta ) reduziert. Dies geschieht durch Hinzufügen eines Regularisierungsterms zur Kostenfunktion:
( J(\theta) = \frac{1}{2m} \sum(h_{\theta}(x^{(i)}) - y^{(i)})^2 + \frac{\lambda}{2m} \sum \theta_j^2 ).
Was ist der ‘One vs. All’ Ansatz?
Beim ‘One vs. All’-Ansatz wird für jede Klasse ein Klassifizierer trainiert, der entscheidet, ob ein Beispiel zu dieser Klasse gehört oder nicht. Für ein neues Beispiel wird der Klassifizierer mit der höchsten Wahrscheinlichkeit gewählt.
Was ist die Softmax-Regression?
Die Softmax-Regression erweitert die logistische Regression auf mehrere Klassen. Jede Klasse erhält eine Wahrscheinlichkeit, die durch die Softmax-Funktion berechnet wird:
( \text{SoMa}(y_k) = \frac{e^{y_k}}{\sum_{i=1}^{K} e^{y_i}} ).
Wie ist die Geschichte neuronaler Netze?
- Inspiriert von der Funktionsweise des menschlichen Gehirns.
- Seit den 80er Jahren populär, mit einer Pause in den 90ern.
- Heute sind neuronale Netze eine der populärsten Klassen von Algorithmen im maschinellen Lernen.
Wie ist die Grundstruktur neuronaler Netze?
Neuronale Netze bestehen aus:
- Eingabeschicht (Input-Layer)
- Eine oder mehrere versteckte Schichten (Hidden-Layers)
- Ausgabeschicht (Output-Layer)
Sie bestehen aus vielen einfachen Neuronen, die in Schichten angeordnet sind.
Was ist Forward Propagation?
Forward Propagation bezeichnet die Berechnung der Aktivierungen in einem neuronalen Netz, indem die Eingabewerte durch das Netz propagiert werden, um die Vorhersage zu machen.
Es handelt sich um den Prozess der Vorwärtsausbreitung der Daten durch die Schichten des Netzes.
Was ist eine Aktivierungsfunktion?
Aktivierungsfunktionen bestimmen, ob ein Neuron aktiviert wird. Übliche Funktionen sind:
- Sigmoid-Funktion: ( g(z) = \frac{1}{1 + e^{-z}} )
- Softmax-Funktion: Verwendet für Multi-Class Klassifikation zur Ausgabe von Wahrscheinlichkeiten.
Was ist ein künstliches Neuron?
Ein künstliches Neuron simuliert die Funktion eines biologischen Neurons. Es berechnet eine gewichtete Summe der Eingaben und verwendet eine Aktivierungsfunktion, um das Ergebnis zu bestimmen.
Formel: ( h_{\theta}(x) = g(\theta^T x) ).
