Lecture 08: Visualization

Question 1

What are target groups of dashboards (Schwendimann et al, 2016)?

Answer 1

Question 1

What is a Dashboard?

Answer 1

Learning Analytics Dashboards sind Anzeigen, die verschiedene Indikatoren über Lernende, Lernprozesse und Lernkontexte in einer oder mehreren Visualisierungen zusammenfassen.

Question 2

What are commonly used indicators (Schwendimann et al., 2016)

Answer 2

Learner-related
- Frühere Ausbildung, Hochschulzugangsnote und Kompetenzen
- Alter

Action-related
- Anzahl der Seitenbesuche und Dateidownloads
- Zeitaufwand für Aufgaben und Login-Zeit

Content-related
- z.B behandelte und ausgelassene Themen

Result-related
- Durchschnittliche Note
- Notenverteilung in einer Gruppe

Context-related
- Platzierung in einem Klassenzimmer
- Geografischer Standort

Social-related
- die Kommunikation mit anderen in einem Gruppenforum zeigt oder die Richtung der Interaktion in einer Gruppe

Question 3

Name different visualization idioms and when to use which one?

Answer 3

Visualisierungsidiome im Kontext von E-Assessment:

Niedrigdimensionale Tabellendaten:
- 1D: Liniendiagramm (für Vergleiche), Balkendiagramm (für Verteilungen), Stacked Balkendiagramm (Composition), Pie Chart (Composition),
- 2D: Scatterplot (für Vergleiche, Beziehungen, Verteilungen)
- 3D: 3D-Scatterplot, Heatmaps

Hochdimensionale Tabellendaten:
- Parallelkoordinaten-Diagramm, Radardiagramm, chernoff faces

Bäume/Hierarchien:
- TreeMap, Sunburst-Diagramme

Karten:
- Geografische oder abstrakte Karten bieten die Möglichkeit, räumliche Daten oder Strukturen zu visualisieren.

Metaphern:
- Smiley, Ampel

Question 4

How can you evaluate Learning Analytics Dashboards?

Answer 4

Ellix & Dix (2006) betonen, dass die Evaluation explorativ, qualitativ und iterativ erfolgen sollte. Das primäre Ziel ist es, zu überprüfen, ob das Dashboard seine vorgegebenen Ziele erreicht hat. Daneben sollten die Auswirkungen des Dashboards auf die Emotionen und Motivation der Lernenden sowie die Benutzerfreundlichkeit (pädagogische Designmerkmale etc.) des Tools evaluiert werden. Um das Vertrauen in das Tool zu stärken, sollte ebenfalls untersucht werden, ob die Lernenden die präsentierten Daten richtig interpretieren und verstehen.

• Um die Ergebnisse zu validieren, ist eine Daten-Triangulation, die selbst berichtete Daten, verfolgte Daten und Bewertungsdaten einschließt, wichtig.

Die Evaluation von Learning Analytics Dashboards ist ein vielschichtiger Prozess, der verschiedene Aspekte und Methoden umfasst, um ihre Effektivität und Nützlichkeit in einem Lernkontext zu beurteilen. Gemäß Ellix & Dix (2006) sollte diese Evaluation explorativ, qualitativ, und iterativ gestaltet sein.

Ziele der Evaluation:
- An erster Stelle sollte die Evaluation überprüfen, ob die Ziele des Dashboards erfüllt wurden.
- Sekundär ist es wichtig, die Auswirkungen auf die Affekte und die Motivation der Lernenden zu untersuchen.
- Abschließend sollte die Benutzerfreundlichkeit des Tools bewertet werden.

Nützlichkeit und Benutzerfreundlichkeit:
- Die Evaluation sollte sich nicht nur darauf beschränken, ob die Nutzer das Tool als benutzerfreundlich und nützlich empfinden. Um Vertrauen in Learning Analytics Tools zu schaffen, ist es ebenso wichtig zu untersuchen, ob die Lernenden die Daten verstehen, inwiefern sie damit übereinstimmen und wie sie diese interpretieren.

Daten-Triangulation:
- Um die Auswirkungen des Dashboards zu validieren, sollte eine Daten-Triangulation durchgeführt werden. Dabei sollten sowohl selbst berichtete Daten, verfolgte Daten als auch Bewertungsdaten berücksichtigt werden.

Beurteilung der Designmerkmale:
- Die Evaluation sollte auch eine Beurteilung der Designmerkmale einschließen, die sich auf pädagogische Konzepte stützen. Dies hilft zu verstehen, wie gut das Dashboard in einen Lernkontext integriert ist.

Verwendung validierter Messinstrumente:
- Um die Auswirkungen des Dashboards auf die Lernenden zu beurteilen, sollten validierte Messinstrumente eingesetzt werden. Auch sollte untersucht werden, inwiefern die Merkmale der Lernenden, gemessen durch diese Instrumente, eine Rolle dabei spielen, wie die Lernenden das Dashboard wahrnehmen und darauf reagieren.

Evaluation Frameworks LA von Scheffel: Data, Awareness, Reflection, Impact