U20 Statistisk power og replikationskrisen

Question 1

Statistisk Power

Answer 1

Sandsynligheden for at korrekt afvise en falsk nulhypotese (opdage en sand effekt)

Lav power øger risikoen for Type II-fejl (ikke at opdage en eksisterende effekt).

Power kan øges ved:

At forøge stikprøvestørrelsen.

At vælge en større minimal detectable effect size (MDE).

At reducere standardafvigelsen (f.eks. ved at inkludere relevante kontrolvariable).

Praktisk anvendelse: Power-beregninger bruges til at planlægge studier og vurdere, om eksisterende data er tilstrækkelige til at opdage meningsfulde effekter.

Question 2

Replikationskrisen

Answer 2

Mange videnskabelige resultater kan ikke gentages, hvilket underminerer forskningens troværdighed.

Årsager inkluderer:

P-hacking: Manipulation af analyser for at opnå signifikante resultater.

HARKing: Opfindelse af hypoteser efter dataanalyse.

Selective reporting: Kun rapportering af signifikante resultater.

Løsninger:

Præ-registrering: Fastlæggelse af hypoteser og metoder før dataindsamling.

Sensitivitetsanalyser: Test af robusthed ved forskellige modeltilgange.

Fokus på effektstørrelser fremfor kun signifikans.

Question 3

Minimal Detectable Effect Size (MDE)

Answer 3

Den mindste effektstørrelse, et studie kan opdage med en given power.

Question 4

Standardafvigelse (SD)

Answer 4

Mål for spredningen i data; lavere SD øger power.

Question 5

Præ-registrering

Answer 5

Registrering af hypoteser og metoder før dataindsamling for at reducere bias.

Question 6

P-hacking

Answer 6

Manipulation af analyser (f.eks. udeladelse af outliers eller valg af specifikke variable) for at opnå signifikans.

Question 7

HARKing (Hypothesizing After Results are Known)

Answer 7

Opfindelse af hypoteser efter at have set data for at matche resultaterne.

Question 8

Reproducerbarhed

Answer 8

Mulighed for at gentage en analyse med samme data og metode.

Question 9

Replicerbarhed

Answer 9

Mulighed for at opnå lignende resultater med nye data eller metoder.

Question 10

Signifikansfilteret

Answer 10

Tendens til kun at publicere resultater, der er statistisk signifikante (p < 0,05).

Question 11

Sensitivitetsanalyser

Answer 11

Test af, hvor robuste resultater er ved variation i modeltilgange (f.eks. inklusion/eksklusion af kontrolvariable).

Question 12

Kumulativ Forskning

Answer 12

Forskning, der bygger på tidligere resultater frem for at søge “banebrydende” fund.

Question 13

Open Science

Answer 13

Bevægelse mod større gennemsigtighed (deling af data, kode og præ-registrering).

Question 14

Vigtige Takeaway-points: (Statistisk power)

Answer 14

Statistisk power er afgørende for at undgå falske negative resultater.

Replikationskrisen viser behov for mere robust forskningspraksis (f.eks. præ-registrering og open science).

P-hacking og HARKing underminerer troværdigheden; løsninger inkluderer bedre incitamenter og metodisk strenghed.

Sensitivitetsanalyser og fokus på effektstørrelser fremfor kun p-værdier kan forbedre forskningens kvalitet.

Question 15

Vurdering af intern validitet

Answer 15

• Udeladt variabel bias (selektionsbias)?
• Korrekt specificeret regression? (f.eks. lineær model for nonlineær sammenhæng i pop.)
• Systematiske målefejl?
• Manglende data (missing)
• Omvendt kausalitet?
• Heteroskedasticitet?

Question 16

Vurdering af ekstern validitet

Answer 16

På baggrund af tre dimensioner
1) Målingsvaliditet (både begreber og treatment)
2) Setting
3) Population

Eksperimentel realisme: Eksperimentsubjekternes oplevelse af eksperimentets grad af realisme

Mundan realisme: Eksperimentets grad af overensstemmelse med den ”virkelige verden”