Evaluierung

Question 1

Evaluierung

Answer 1

Evaluierung sammelt Informationen über Performanz, Probleme und Erfahrungen
der Benutzer mit interaktiven Systemen. Evaluierung ist ein wesentlicher Bestandteil
der Mensch-Computer-Interaktion.

Question 2

Warum Evaluierung ? Arten der Evaluierung

Answer 2

-Exploration:
Benutzeranforderungen sollen möglichst früh qualitativ und informell erkundet
werden.
-Beurteilung:
Designalternativen sollen gegeneinander abgewogen werden oder der Stand der
UI-Entwicklung soll abgeschätzt werden.
-Vergleich:
Verschiedene Alternativen sollen gegenübergestellt und verglichen werden (z.B.
auf Geschwindigkeit).
-Validierung:
Rahmenbedingungen sollen überprüft werden (z.B. Höchstfehlerrate bei der Bedienung)

Question 3

Wann Evaluierung?

Answer 3

Evaluierung kann im Prinzip zu jeder Zeit im Entwicklungsprozess durchgeführt werden.
Man unterscheidet formative und summative Evaluierungen

Question 4

Formative Evaluierung

Answer 4

formative Evaluierungen auch vor oder während der Entwicklung, um eine Anforderungsanalyse
zu erstellen oder verschiedene Alternativen zu testen.

Question 5

Summative Evaluierung

Answer 5

Summative Evaluierungen

werden erst nach der Entwicklung zur Validierung oder zum Vergleich durchgeführt

Question 6

Wo Evaluierung ? (Feldstudie)

Answer 6

Eine Feldstudie ist eine systematische wissenschaftliche Beobachtung unter natürlichen Bedingungen
-> Nur sehr schlecht um einzelne Parameter zu isolieren

Question 7

Wo Evaluierung ? (Laborstudie)

Answer 7

Eine Laborstudie ist eine wissenschaftliche Methode, um mit Hilfe von Laborexperimenten
bestimmte Arbeitshypothesen zu testen.
-> Können nie genaue Rückschlüsse auf die Realität zulassen

Question 8

Die Unterscheidung von Evaluierung

Answer 8

Man kann Evaluierung zwischen leicht quantifizierbare
und schwere unterscheiden.
-Im ersten Fall nennt man die objektive
-Im zweiten subjektive

Question 9

Quantitative Ergebnisse

Answer 9

• Man versucht die Ergebnisse der Evaluierung meist zu Quantitisieren
• Quantitative Ergebnisse ermöglichen eine genaue Bestimmung von Fehlerraten und anderen Parametern.

Question 10

Empirische Untersuchungen (Evaluierung)

Answer 10

Empirische Methoden befassen sich mit den Ergebnissen bei der Bedienung eines
interaktiven Systems. Dazu werden Testpersonen eingesetzt.

Question 11

Analytische Methoden (Evaluierung)

Answer 11

Analytische Methoden zeichnen sich durch eine reine Analyse und das Fehlen von
Testpersonen aus. Häufig kann man so Erklärungen von Arbeitsweisen oder Eigenschaften aufdecken.

Question 12

Bewertungsskalen

Answer 12

Um möglichst gut mit jeder Sorte Ergebnis umgehen zu können, führt man meistens Bewertungsskalen ein.

Question 13

Empirische Methoden

Answer 13

Sammlung von Daten:
-Objektivität
Die erhobenen Daten müssen unabhängig von der Messmethode, den Erwartungen
und den Hypothesen des Experimentators sein.
-Reproduzierbarkeit
Das Experiment muss hinreichend genau beschrieben sein, um es mit denselben
Ergebnissen erneut durchführen zu können.
-Validität
Die Ergebnisse messen nur das, was sie auch messen sollen (interne Validität)
und sind repräsentativ für die Allgemeinheit (externe Validität).
-Relevanz
Die Ergebnisse liefern tatsächlich neue Erkenntnisse.

Question 14

Kontrolliertes Experiment

Answer 14

Ein kontrolliertes Experiment zeichnet sich dadurch aus, dass alle relevanten Einflussfaktoren
bekannt sind und kontrolliert werden können.
-Es gbt abhängige und unabhängige Variablen
-Daneben noch Kontroll-, Zufallsvariablen und Störfaktoren

Question 15

Datenanalyse

Answer 15

Nach Experiement -> Schlussfolgerung ziehen, mithilfe von quantitativen und qualitativen Daten

• Es geht meisten darum Unterschiede zu indentifizieren
• > Mithilfe von der Subgruppenanalyse und Diagrammen

Question 16

Deskriptive Statistik

Answer 16

Mithilfe einer deskriptiven Statistik Ergebnisse beschreiben:

• Minimum, Maximum
• Mittelwert : μ = Summenzeichen/n
• Standardabweichung: sigma = Wurzel (a0−μ)2+···+(an−μ)2/ n
• Median: Mittlerer Wert in geordneter Liste
• Modus: Am häufigsten auftretender Wert

Question 17

Statistische Tests

Answer 17

Nachdem man ein quantitatives Experiment durchgeführt hat, kann man die Ergebnisse
mit einem statistischen Test verarbeiten.

Es gilt:
-Hypothese
Eine Vorhersage, wie sich die Konditionen auf die Messwerte auswirken
-Nullhypothese
Das Gegenteil der Hypothese. Tritt ein, wenn die Vorhersage nicht gestimmt hat.
Die Testmethoden unterschieden sich unter Anderem danach, welche Variablentypen
vorliegen. Es wird unterschieden:
-Nominal
Werte ohne natürliche Ordnung (Geschlecht, Beruffstatus, . . . )
-Ordinal
Werte mit natürlicher Ordnung (jeden Tag, einmal in der Woche, . . . )
-Intervall
Werte mit natürlicher Ordnung und gleichen Abständen zwischen den Werten. Es
gibt keinen absoluten Nullpunkt. (z.B. Lickert-Skalen)
-Ratio
Werte mit natürlicher Ordnung, gleichen Abständen und absolutem Nullpunkt.
(Einkommen, Alter)

Question 18

DECIDE-Framework

Answer 18

Das DECIDE-Framework bietet einen Ablaufplan zur Durchführung von Benutzerstudien.
-> Überlegen von Rahmenbedingungen

Question 19

DECIDE -> Steht für?

Answer 19

-Determine Goals
Was sind die Ziele?
-Explore the Question
Welche Frage soll durch die Evaluierung beantwortet werden?
-Choose Evaluation Method
Welche Methode soll gewählt werden? Triangulation: Man verscuht verschiedene
Methden zur Erhebung der Daten zu verwenden
-Identify Practical Issues
Welche Aspekte beeinflussen reibungslosen Ablauf der Evaluierung? Pilot Studien
(nicht repräsentativ, sollen in kleinem Unfeld prüfen, ob der Test überhaupt
praktikabel ist; z.B. durch die Experimentatoren selbst)
-Decide on Ethical Issues
Wie wird mit ehtischen Fragestellungen umgegangen? Man benötigt eine Zertifizierung
der Ethikkommission.
-Evaluate
Evaluierung, Analyse und Interpretation der gesammelten Daten.