Evaluation Adaptiver Systeme

Question 1

Welche Herausforderungen hat man bei der Evaluation von Adaptiven Systemen?

Answer 1

• nicht nur das explizite Userverhalten beeinflusst das System
• Adaptivität beeinflusst Interaktion und Darstellung
• es gibt also ein eigenes Systemverhalten das der Nutzer nicht beeinflussen kann
• zeitliche Komponenten: System schaut zu jedem Zeitpunkt anders aus
• wenn beim Testen Probleme auftreten, ist schwer herauszufinden warum/wo genau sie das erste mal auftreten
• Kriterien können sich spießen => man muss einen Kompromiss finden

Question 2

Welche 2 Ansätze gibt es für die Evaluation Adaptiver Systeme?

Answer 2

• A/B Testing (adaptives System wird gegen eine nicht-adaptive Variante abgeprüft)
• Mehrschichtige Evaluation

Question 3

Was sind Problem beim einfachen A/B Testing von Adaptiven Systemen?

Answer 3

• wenn das System immer adaptiv geplant war, kann es schwierig sein eine Kontrollbedingungen zu finden
• schwierig denn idealen Zeitpunkt für die Prüfung zu finden.
• Eigendynamik des adaptiven Verhaltens

Question 4

Nenne die 5 Ebenen der Layered Evaluation

Answer 4

1. Erfassen der Eingabedaten
2. Interpretation der Eingabedaten
3. Modellierung des aktuellen Zustands der Welt
   (Ableitung von neuem Wissen über die Nutzer*innen)
4. Entscheidung über Adaptivität
5. Anwendung der Adaptivitäts-Entscheidung

Question 5

Nenne das Grobziel der 1. Ebene der Layered Evaluation

Answer 5

1. Erfassen der Eingabedaten

Qualität der rohen Eingabedaten überprüfen

Question 6

Nenne das Grobziel der 2. Ebene der Layered Evaluation

Answer 6

2. Interpretation der Eingabedaten

Überprüfung ob Eingabedaten korrekt interpretiert werden

Question 7

Nenne das Grobziel der 3. Ebene der Layered Evaluation

Answer 7

3. Modellierung des aktuellen Zustands der Welt

Überprüfung ob das aufgebaute (User)Modell die Realität darstellt

Question 8

Nenne das Grobziel der 4. Ebene der Layered Evaluation

Answer 8

4. Entscheidung über Adaptivität

Herausfinden ob die getroffene Adaptionsentscheidungen passen

Question 9

Nenne das Grobziel der 5. Ebene der Layered Evaluation

Answer 9

5. Anwendung der Adaptivitäts-Entscheidung

Entscheiden ob die Adaptivitäts-Entscheidungen optimal umgesetzt werden

Question 10

Was versteht man unter Scrutability?

Answer 10

Kontrollierbarkeit
Haben die Nutzenden eine Möglichkeit Adaptionsentscheidungen und Systeminterpretationen bewusst zu beeinflussen oder zu ändern?

Question 11

Was versteht man unter Serendipity?

Answer 11

Kommen die Nutzenden auch mit Informationen außerhalb der eigenen Filterbubble in Berührung?
Haben die Nutzer*innen die Möglichkeit über eine zufällige, angenehme Entdeckung zu stolpern? (Ich habe noch nie etwas in diese Richtung bewertet und dennoch trifft es meinen Geschmack).
Spießt sich z. B. mit dem Kriterium dass Empfehlungen möglichst perfekt sein sollten.

Question 12

Was ist das so genannte Long-Tail Problem?

Answer 12

• Nur kleiner Prozentsatz aller Produkte ist sehr populär (Head)
• Die meisten Produkte sind weniger populär und fallen dadurch weniger auf (Tail)
• Will man Serendipity erhöhen -> Tail-Produkte vorschlagen

Question 13

Was versteht man unter Unobtrusivness?

Answer 13

Sind die Nutzenden vom System genervt?
Möchte ich mein System z. B. besonders kontrollierbar machen und hole ständig Bestätigung vom Nutzenden ein, kann das (wenn es zu oft passiert) aufdringlich wirken und den Nutzenden nerven

Question 14

Layered Evaluation: Was sind mögliche Kriterien für alle Ebenen?

Answer 14

• Privatsphäre
• Transparenz
• Kontrollierbarkeit (durch die Nutzenden)

Question 15

Layered Evaluation: Was sind mögliche Methoden für alle Ebenen?

Answer 15

• Fokusgruppen
• Cognitive Walkthrough
• Heuristische Evaluation
• User Test