Studietaak 9 - Wetenschappelijke integriteit en Open Science Flashcards
(23 cards)
2 redenen waarom mensen methodologische gebreken kunnen vergeven
- Eerdere overtuigingen van onderzoekers over een bepaald onderwerp
- Belang van het onderwerp van een onderzoek
2 manieren waarop het belang van een onderwerp de evaluaties van mensen kan beïnvloeden
- Clementie bias = wetenschappers die onderzoek artikelen lezen zijn vergevingsgezinder voor methodologische zwakheden die ze opmerken in studies van belangrijke problemen
- Oversight bias = het belang van een probleem maakt het moeilijke om methodologische zwakheden op te sporen
Resultaat van onderzoek naar clementie en onoplettendheid
- Sterke correlatie tussen methodologische deugdelijkheid en geschiktheid van de getrokken conclusies
- Correlatie tussen publiceerbaarheid en methodologische strengheid
- Correlatie tussen publiceerbaarheid en belang van onderwerpen
- Correlatie tussen methodologische strengheid en belang van onderwerpen
Binominale effectgrootteweergave
De grootte van een effect illustreren door de effectgroottes om te zetten in binominale succespercentages.
2 oorzaken waarom mensen eerder methodologische zwakheden over het hoofd zien in een onderzoek dat belangrijke problemen aanpakt
-
Representativiteitsheuristiek = veronderstelling dat een onderdeel, het geheel vertegenwoordigt.
Voorbeeld: omdat een probleem belangrijk is, moet de studie ook belangrijk zijn. -
Halo-effect = wanneer iemands algemene indruk is gebaseerd op een bepaalde eigenschap/evaluatie wat de specifieke kenmerken nadelig kan beïnvloeden.
Voorbeeld: door verliefdheid van onderzoekers op het belang van een onderwerp, kunnen ze de onvolkomenheden ervan over het hoofd zien.
Publish or perish (publicatiedruk)
Soms zijn er sterke stimulansen om snel, veel en vernieuwend te publiceren, terwijl de negatieve aspecten voor twijfelachtige onderzoekspraktijken laag zijn.
Bias in wetenschappelijk onderzoek
- Novelty bias
- Leniency bias
- Confirmation bias
- Hindsight bias
Novelty bias
Een resultaat dat nieuw of vernieuwend is kan minder kritisch onder de loep genomen worden. Het gevolg van deze bias kan zijn dat onderzoekers gericht op zoek gaan naar vernieuwende inzichten, omdat ze dan namelijk meer kans maken om hun bevindingen in een vooraanstaand tijdschrift te publiceren.
Leniency bias
De neiging om de methodologische kwaliteit van onderzoek minder kritisch te
beoordelen als het om een belangrijk onderwerp gaat.
Confirmation bias
De neiging om informatie te filteren en te interpreteren op een manier die past bij je eigen overtuigingen. Informatie die niet past wordt kritischer bekeken.
Dit kan bijvoorbeeld leiden tot cherry-picking van artikelen of tot p-hacking: langer zoeken naar positieve resultaten voor een verband waarvan ze overtuigd zijn dat deze bestaat.
Hindsight bias
Onderzoekers kunnen de neiging hebben om te denken dat de resultaten die ze toevallig hebben gevonden, ook al hadden voorspeld. Dit kan leiden tot HARKing. “Hypothesizing After the Results are Known”
Voorkomen van ruis in wetenschappelijk onderzoek
- Peerreview (collegiale toetsing): het lezen, becommentariëren en adviseren over ‘of een artikel al dan niet goed genoeg is voor publicatie’ door andere onderzoekers met expertise in het betreffende vakgebied. Peerreview is een van de belangrijkste controlemechanismen in de wetenschap om de kwaliteit van wetenschappelijke publicaties te waarborgen. Dit kan enkel-blind (auteur weet niet wie de reviewer is) dubbel-blind (auteur weet niet wie reviewer is en reviewer weet niet wie auteur is) of niet-blind.
- Open science: onderzoek moet transparant en toegankelijk zijn.
- Gedragscodes opstellen
Twijfelachtige onderzoekspraktijken
Dit is een probleem omdat slordigheid moeilijk te detecteren is en onderzoekers er zelf vaak niet van bewust zijn dat ze iets verkeerd doen. Enkele twijfelachtige onderzoekspraktijken:
* HARKing (Hypothesizing After Results are Known): hypotheses formuleren nadat er (significante) resultaten zijn gevonden. Als de onderzoeker een onverwacht resultaat vindt en vervolgens het onderzoek presenteert op een manier alsof het onderzoeken van de (achteraf geformuleerde) hypothese altijd al het doel was.
* Cherry-picking: als onderzoekers alleen de meest positieve onderzoeksresultaten presenteren, terwijl ze andere resultaten achterwege laten of minder belang geven in een rapportage. Ook het selectief citeren van onderzoeken of juist studies bewust uit de bespreking weglaten om een bepaalde theorie te ondersteunen, valt onder cherry-picking.
* P-hacking: Als je op dezelfde data verschillende analysestrategieën loslaat om zo op zoek te gaan naar een significant resultaat, ter ondersteuning van hun hypothese.
* Belangenverstrengeling verbergen: Er is sprake van belangenverstrengeling wanneer een onderzoeker baat heeft bij een bepaalde uitkomst, bijvoorbeeld op persoonlijk, politiek, professioneel, financieel of legaal vlak. Als dit verborgen wordt is het onmogelijk om te bepalen of het onderzoek objectief is.
Wat wordt verstaan onder wetenschappelijke fraude?
Fraude is bedrog of het opzettelijk misleiden. Onder wetenschappelijke fraude valt het fingeren van resultaten of onderzoeksgegevens, en het opzettelijk kopiëren van andermans werk en dit als eigen ideeën presenteren (plagiaat).
Amerikaanse socioloog Robert K. Merton formuleerde halverwege de twintigste eeuw een aantal uitgangspunten (of normen) die volgens hem het fundament, oftewel het ethos, van een gezonde wetenschap zijn
-
Gemeenschappelijkheid
Kennis is gemeenschappelijk. Alle wetenschappers moeten toegang hebben tot de producten van wetenschap (kennis) om de bloei van nieuwe kennis te maximaliseren. -
Universalisme
Kenmerken van de wetenschapper (zoals geslacht, afkomst enzovoort) mogen geen rol spelen bij het beoordelen van wetenschappelijke producten. -
Belangeloosheid
Wetenschap komt ten goede van het algemeen belang en niet ten goede van persoonlijk gewin. -
Georganiseerde scepsis
Wetenschap moet voortdurend blootgesteld kunnen worden aan kritische analyse en collegiale toetsing, bijvoorbeeld voordat het als publicatie geaccepteerd wordt.
ook wel bekend als de CUDOS-norm, naar de Engelse benamingen van de vier normen: communalism, universalism, disinterestedness en organized skepticism.
Open science is een poging om deze normen in de praktijk te brengen
Pijlers van open science
- Preregistratie: het openbaar maken van onderzoeksplannen, verwachtingen (hypotheses) en analyseplannen, inclusief alle beslissingen die kunnen worden geanticipeerd, voordat de data verzameld wordt. (gaat HARK-ing, P-hacking, fishing voor significance grotendeels tegen).
-
Open data: het openbaar maken van onderzoeksgegevens, zoals bijvoorbeeld de (geanonimiseerde) antwoorden op vragenlijsten volgens de FAIR-principes (findable, accesible, interoperable, reusable)
(1) te vinden is voor andere onderzoekers
(2) toegankelijk is voor anderen,
(3) te gebruiken is onafhankelijk van specifieke software, en
(4) praktisch te gebruiken is door anderen.
Naast een kritische analyse van resultaten zorgt dit ook voor een verantwoorde besteding van publiek geld omdat er niet telkens niet nieuwe data verzameld hoeft te worden. - Open materialen: onderzoeksmaterialen (vragenlijsten, analysescripts en aanvullende materialen) moeten openbaar en toegankelijk zijn. Het vermindert de noodzaak om telkens zelf het wiel opnieuw uit te vinden, en het biedt de kans om beter gebruik te kunnen maken van de kennis van anderen waardoor onderzoek sneller en efficiënter is.
-
Open acces publiceren: anderen hebben geen abonnement nodig om de publicatie over jouw onderzoek te kunnen lezen (zoals bij veel wetenschappelijke tijdschriften wel het geval is). De meeste universiteiten hebben een abonnement op de meest belangrijke wetenschappelijke
tijdschriften zodat hun onderzoekers en studenten deze kunnen lezen.
Reproduceerbaarheid
Een centraal begrip binnen open science.
Onderzoekers kunnen op basis van de informatie die over een studie wordt gegeven het onderzoek op dezelfde manier opnieuw doen. Je verwacht dan ook dezelfde of vergelijkbare resultaten. Reproduceerbaarheid kan gaan over de volledige studie of een onderdeel ervan (bijvoorbeeld de statistische analyses).
Vijf principes van de Nederlandse gedragscode
- Eerlijkheid
- Zorgvuldigheid
- Transparantie
- Onafhankelijkheid
- Verantwoordelijkheid
Eerlijkheid (Nederlandse gedragscode)
Geen ongefundeerde claims doen, correct rapporteren over het onderzoeksproces, dat men data of bronnen niet verzint of vervalst, dat men alternatieve visies en tegenargumenten serieus neemt, dat men open is over onzekerheidsmarges, en dat men resultaten niet gunstiger dan wel ongunstiger voorstelt dan ze zijn.
Zorgvuldigheid (Nederlandse gedragscode)
Houdt onder andere in dat men wetenschappelijke methoden gebruikt en
optimale precisie betracht bij het ontwerp, de uitvoering, verslaglegging en disseminatie van het onderzoek.
Transparantie (Nederlandse gedragscode)
Dat het voor anderen helder is op welke data men zich heeft gebaseerd, hoe deze zijn verkregen, welke resultaten men heeft bereikt en langs welke weg, en wat de rol van externe belanghebbenden is geweest.
Als delen van het onderzoek of van de data niet toegankelijk worden gemaakt, dient de onderzoeker goed gemotiveerd aan te geven waarom dat niet mogelijk is. De wijze van uitvoering en fasering van het onderzoeksproces moet tenminste voor vakgenoten te volgen zijn. Dit betekent in ieder geval dat de argumentatie helder moet zijn en dat de stappen in het onderzoeksproces controleerbaar moeten zijn.
Onafhankelijkheid (Nederlandse gedragscode)
Dat men zich in de keuze van de methode, bij de beoordeling van de data en in de weging van alternatieve verklaringen, maar ook bij het beoordelen van onderzoek of onderzoeksvoorstellen van anderen, niet laat leiden door buiten-wetenschappelijke overwegingen (bijvoorbeeld overwegingen van commerciële of politieke aard). (onpartijdigheid).
Onafhankelijkheid is in elk geval vereist bij de opzet en uitvoering van en rapportage over het onderzoek; bij de keuze van het onderzoeksobject en van de onderzoeksvraag is onafhankelijkheid niet altijd nodig.
Verantwoordelijkheid (Nederlandse gedragscode)
