Betrouwbaarheid

Question 1

Wanneer gebruik je Percentage Agreement?

Answer 1

Bij eenvoudige situaties met twee codeurs en vooral nominale data. Het is makkelijk te berekenen, maar houdt geen rekening met toevallige overeenstemming.

Question 1

Wanneer gebruik je Cohen’s Kappa?

Answer 1

Bij twee codeurs en nominale data.
Deze methode corrigeert voor toeval en is betrouwbaarder dan percentage agreement. Cohen’s Kappa houdt echter geen rekening met de grootte van de onenigheid.

Question 2

Wanneer gebruik je Krippendorff’s Alpha?

Answer 2

Wanneer je met twee of meer codeurs werkt en verschillende soorten data hebt (nominaal, ordinaal, interval, ratio). Houdt rekening met de grootte van de onenigheid.
Het is de meest algemene en flexibele maat, ook geschikt bij ontbrekende waarden.

Question 3

Welke maat wordt aanbevolen als je data niet volledig is (bv. niet iedereen heeft alles gecodeerd)?

Answer 3

Krippendorff’s Alpha — deze maat houdt rekening met ontbrekende data en verschillende schaaltypes.

Question 4

Noem bij elke maat wanneer de betrouwbaarheidsscore ‘goed genoeg’ is.

Answer 4

📏 Percentage agreement
< 80% = ondergrens (herzien)
* ≥ 80% = vaak als minimum beschouwd voor acceptabele betrouwbaarheid
* > 90% = uitstekend

📏 Cohen’s Kappa
< 0.40 = Onvoldoende (herzien)
0.41 – 0.60 = Matig (herzien)
0.61 – 0.80 =Goed
0.81 – 1.00 = Zeer goed

📏 Krippendorff’s Alpha
< 0.667 = onvoldoende (herzien)
* 0.667 - 0.799 = minimum voor voorlopige conclusies
* ≥ 0.800 = minimum voor betrouwbare conclusies