Linear Regression Flashcards
Was ist das Ziel der linearen Regression
Das Ziel der linearen Regression ist es, eine lineare Beziehung zwischen Eingabevariablen und einer kontinuierlichen Ausgabevariable zu bestimmen.
Wie wird die Methode der kleinsten Quadrate in der linearen Regression eingesetzt
Die Methode der kleinsten Quadrate minimiert die Summe der quadrierten Abweichungen zwischen den beobachteten Werten und den durch das Modell vorhergesagten Werten.
Was versteht man unter dem Gradientenabstieg in der linearen Regression
Der Gradientenabstieg ist ein Optimierungsverfahren, das durch iterative Anpassung der Modellparameter die Verlustfunktion minimiert.
Was ist die Designmatrix in der linearen Regression
Die Designmatrix ist eine Matrix, die die Eingabedaten in einer strukturierten Form darstellt, wobei jede Zeile einen Datenpunkt und jede Spalte ein Merkmal repräsentiert.
Wie werden die Parameter in der linearen Regression geschützt
Die Parameter werden durch Minimierung der Verlustfunktion geschätzt, wobei die Normalgleichung oder Methoden wie der Gradientenabstieg genutzt werden können.
Was ist die Normalgleichung und wie wird sie in der linearen Regression verwendet
Die Normalgleichung ist eine analytische Lösung zur Bestimmung der Parameter des linearen Modells, indem sie das System der linearen Gleichungen direkt löst.
Was ist der Hauptunterschied zwischen dem Batch-Gradientenabstieg und dem stochastischen Gradientenabstieg
Der Batch-Gradientenabstieg aktualisiert die Parameter nach Betrachtung aller Datenpunkte, während der stochastische Gradientenabstieg nach jedem einzelnen Datenpunkt aktualisiert.
Wie beeinflusst der Lernratenparameter den Prozess des Gradientenabstiegs
Der Lernratenparameter α bestimmt die Schrittgröße bei der Aktualisierung der Parameter und beeinflusst die Konvergenzgeschwindigkeit des Algorithmus.
Was sind Residuen in der linearen Regression
Residuen sind die Differenzen zwischen den beobachteten Werten und den vom Modell vorhergesagten Werten.
Wie funktioniert die Residuenquadratsumme (RSS) als Verlustfunktion in der linearen Regression
Die Residuenquadratsumme misst die Summe der quadrierten Differenzen zwischen den vorhergesagten und den tatsächlichen Werten und wird zur Beurteilung der Modellgüte verwendet.
Was versteht man unter Überanpassung (Overfitting) in der linearen Regression und wie kann man es vermeiden
Überanpassung tritt auf, wenn das Modell zu stark an die Trainingsdaten angepasst ist und bei neuen Daten schlecht generalisiert; vermeidbar durch Regularisierung oder Validierung.
Wie trägt die Lernrate zur Effizienz des Gradientenabstiegs bei
Eine angemessene Lernrate α hilft, die Konvergenz zu optimieren, indem sie zu große oder zu kleine Schritte im Optimierungsprozess verhindert.
Wie wird die Leistung eines linearen Regressionsmodells bewertet
Die Leistung wird oft durch den mittleren quadratischen Fehler (Mean Squared Error, MSE) oder den Bestimmtheitsmaß (R²) bewertet.
Welche Rolle spielt die Feature-Selektion in der linearen Regression
Die Auswahl relevanter Merkmale verbessert die Modellgenauigkeit und verhindert Überanpassung.
Was ist die Bedeutung von Multikollinearität in der linearen Regression
Multikollinearität beschreibt eine Situation, in der mindestens ein Prädiktor durch einen oder mehrere andere Prädiktoren im Wesentlichen vorhergesagt werden kann.
Problem - Führt zu höheren Standardfehlern, erschwert die Suche nach signifikanten Effekten, weniger verlässlich
