Uke 10

Question 1

Evaluering - Hvorfor?

Answer 1

• En av de mest viktige aktivitetene i UCD.
• en datainnsamling
• Dersom man ikke evaluerer, hvordan skal man ellers vite at man har laget et system brukeren vil ha(validere), og at man har laget det slik brukeren vil ha det(verifisere)?
• kan brukes til å utrede nye krav (ny iterasjon)

Question 2

Evaluering - Hvordan?

Answer 2

• Hva ønsker jeg å finne ut av om systemet?
• Hvilken metode gir meg den dataen jeg er ute etter?
• Hvilken metode vil gi meg svar på mine spørsmål?
• Ofte velger man kombinasjoner av tilnærminger -> triangulering

Question 3

Evaluering - når?

Answer 3

• Så ofte som mulig.
• Kan gjøres som en gjennomgående aktivitet eller hovedsakelig tilknyttet milepæler

Question 4

Kontrollerte omgivelser

Answer 4

En TILNÆRMING!
* Definerte oppgaver i kontrollerte omgivelser.
* Evalator har kontroll og det er så lite forstyrrelser som mulig.
* Kan telle metrikker. Finner kun det man leter etter.
* Fint for mer lavoppløselige prototyper.
* kan bli kunstig
* eks. Metode - brukbarhetstesting: obervasjon, intervjue bruker, testing

Question 5

Naturlige omgivelser

Answer 5

En TILNÆRMING!
- Ser bruk i tiltenkt miljø.
- Minimere hawthorn effekt og observasjonsbias.
- Mer høyoppløselig prototype
- Teste med variabler som man finner ute i omgivelsene.

• eks. Metoder - Feltstudier: observasjon, intervjue brukere, intervjue eksperter

Question 6

Evaluering uten bruker:

Answer 6

En TILNÆRMING!
* Bruker holdes utenfor evalueringen og kan gjøres hvor som helst.
- Burde kombineres med andre tilnærminger.
* eks. Metode- Analytisk evaluering: teori/heuristikker med eksperter. Kognitiv gjennomgang med eksperter. Ekspertevaluering.

Question 7

Cognitive Walkthrough

Answer 7

EN TEKNIKK
* Evaluering uten brukere
* Designet evalueres av eksperter.
* Fokus på om designet støtter brukeren i oppgaveløsning
* Bruker psykologiske prinsipper.
* For hvert steg:
- Hvilken påvirkning vil interaksjonen ha?
- Hvilke kognitive prosesser kreves fra brukeren?
- Hvilke læringsporblemer kan oppstå

Question 8

Heuristisk evaluering

Answer 8

EN TEKNIKK
- Evaluering uten brukere
* Kunnskap om typiske brukere brukes til å identifisere brukbarhetsproblemer
* Desingere vurderer aspektere ved grensesnittet opp mot passende heuristikker. - Heuristikker er lister av egenskaper som ofte er laget med utgangspunkt i desginprinsipper

Question 9

Ekspertevaluering

Answer 9

EN TEKNIKK
- En eller flere eksperter evaluerer en løsning og påpeker problemer og svakheter
- Ekspertene setter seg inn i brukers rolle
- Kan være både HCI-eksperter og domeneeksperter

Question 10

Brukbarhetstesting

Answer 10

EN METODE!
- Når? du har metrikker du ønsker å måle opp mot brukbarhetsmål
* Evaluering i kontrollerte omgivelser
* Tester opp mot brukbarhetsmål: Effektivitet, Flittighet, Tilfredshet, Lærbarhet, Memorerbarhet
* Følgende metrikker(måleenhet) kan brukes: tid, antall feil, antall forsøk, fullføringsrate
* Teknikker: Observasjon, Intervjue brukere, AB-testing

Question 11

Feltstudier

Answer 11

EN METODE!
- beskriver evaluering av prototype i brukssituasjonens naturlige omgivelser
- Kan også gjøres i en tidlig fase
- Foretas som regel i en senere fase når:
- Prototypen er mer sofistikert og utviklet
- Ikke bare horisontale, men også vertikale funksjoner
- Prototypen allerede er evaluerte i kontrollerte omgivelser
- Fordeler:
- Representative omgivelser(beliggenhet og kontekst)
- Bruker oppfører seg mer naturlig
- Mer realistisk (støy, andre personer, dekningsproblemer osv)
- Kan utvides til langtidsstudier.

Teknikker: Observasjon, Intervjue bruker, Intervjue eksperter

Question 12

Analytisk evaluering

Answer 12

EN METODE
* Uten bruker
* Teori, modeller, retningslinjer og prinsipper
* Empirisk: observasjoner, spørreundersøkelse, litteratur

Question 13

Tilnærming

Answer 13

Den overordnede ideen man har om og hvordan best få svar på det man lurer på. Gir indikasjon på passende metoder.
- Tilnærminger:
kontrollert, naturlig og uten bruker

Question 14

Metode

Answer 14

• Den konkrete strukturen og omfanget på hvordan man har gått frem med en aktivitet.
• Inkluderer detaljer omkring aktiviteten som formål, kontekst, antall deltakere osv.
• Valg av metode må samsvarer med den overordnede tilnærmingen.
• ## Metoder: Brukbarhetstesting, feltstudier, analytisk evaluering

Question 15

Teknikk

Answer 15

Beskriver detaljene i fremgangsmåten man har valgt innen en bestemt metode.
-Teknikker: Gruppeobservasjon, intervjue bruker, intervjue eksperter, heuristisk evaluering, cognitive walkthrough, ekspertevaluering,

Question 16

Kognitiv gjennomgang

Answer 16

• Oppgavebasert (vi ønsker å se på spesielle oppgaver eller elementer)
• Når? Hvis du ville brukerutfordringer og har skisser
• Uten brukere
• Formålet er å undersøke hvor godt designet støtter brukeren i oppgaveløsning
• Ekspertene følges gjennom designet steg for sted for å identifisere potensielle problemer.
  
  • Hvilken påvirkning vil interaksjonen ha?
  • Hvilken kognitive prosesser kreves fra brukeren?
  • Hvilke læringsproblemer kan oppstå?

Question 17

Think aloud

Answer 17

• Tilnærming: kontrollerte omgivelser.
• Når? Du mangler gode interaksjonsmuligheter og vil evaluere konsepter eller du gjør en brukbarhetstest.

Question 18

Validering

Answer 18

Teste om det er det riktige systemet
- Måler jeg det jeg hevder å måle?

Question 19

Verifisering

Answer 19

Teste om systemet er laget riktig

Question 20

Bias

Answer 20

Resultater i en forskning er skjeve eller feilaktige. Resultatene i en undersøkelse blir påvirket av systematiske skjevheter eller feil i gjennomføringen av undersøkelsen.
- Oppstår ubevisst eller bevisst hos både deltaker og forsker.

Question 21

Scope(omfang)

Answer 21

Kan funnene generaliseres utover utvalget?

Question 22

Økologisk gyldighet

Answer 22

Hvorvidt omgivelsene i studien legger til rette for å kunne generalisere til de naturlige omgivelsene for fenomenet.

Question 23

Reliabilitet

Answer 23

Graden av pålitelighet og konsistens i en undersøkelse. Om metoden gir omtrent samme resultater etter gjentatte målinger -> høy grad av reliabilitet
- kan resultatet reproduseres?

Question 24

Memorerbarhet

Answer 24

Et brukbarhetsmål.
- Hvor lett det er å huske hvordan man bruker et produkt, når man først har lært det. Man bør ikke måtte lære seg hvordan man gjør en oppgave hver gang.

Question 25

DECIDE

Answer 25

Et RAMMEVERK for å planlegge en evaluering.
Overordnet veiledning/sjekkliste - IKKE en metode for å evaluere!

Question 26

Decide (determine the goals)

Answer 26

• Bestemme mål og beskrive hva vi ønsker å finne ut av.
• Målene påvirker evalueringsmetoden man bør bruke.

Question 27

Decide (Explore the questions)

Answer 27

• Beskrive sentrale spørsmål i evalueringen.
• F.eks. Er det vanskelig å navigere i systemet?

Question 28

Decide(choose the evaluation methods)

Answer 28

• Beskrive valg av tilnærming, metode og teknikk, og begrunne hvorfor.
• Hva slags data trenger man å samle inn? og hva vil gi deg mulighetene til å nå målet med evalueringen?

Question 29

Decide(identify the practical issues)

Answer 29

• Identidisere og beksrive hvordan de praktiske forholdene rundt evalueringen skal løses.
• Valg av deltakere, utstyr, lokasjon, kostnader, tid

Question 30

Decide(decide how to deal with the ethical issues)

Answer 30

• Er det noen spesielle etiske utfordringer knyttet til evalueringen, hvordan kan de evt.løses?
• Alle deltakere må få god informasjon om hva de er med på, og singere et samtykke.

Question 31

Decide ( evaluate, analyze, interpret and present the data)

Answer 31

-Planlegge hvordan dataen skal analyseres, tolkes og presenteres. Dette bør planlegges i forkant!
- Følgende må vurderes: Bias, reliabilitet, validitet, omfang og økologisk gyldighet