Hc 10 Flashcards
(52 cards)
Experts vs modellen
Eenvoudige regressie analyses of lineaire modellen kunnen beslissingen van experts veranderen door betere voorspellingen te doen; de vraag is of regressiemodellen causale verbanden kunnen blootleggen die verborgen kunnen zijn voor toevallige of deskundige observatie
- We weten dat regressiemodellen hier inderdaad toe in staat zijn; wanneer experts denken dat een factor belangrijk is voor het recidiverisico, kan een regressiemodel dit met meer betrouwbaarheid vaststellen dan ons klinisch inzicht dat kan
Tabel = een overzicht van de domeinen waarin experts goede of slechte voorspellingen doen; we zien dat klinische psychologen en rechters geen goede voorspellingen doen, wat natuurlijk geen goed teken is;
PLAATJE
Het verschil tussen beroepen met een goede of slechte voorspellende waarde, komt doordat de beroepen in de linker rij de mogelijkheid hebben om snel
feedback te krijgen op hun beslissingen, waardoor ze hun beslissingen kunnen kalibreren op basis van de feedback. Bij de beroepen in de rechter rij is dit niet zo; zij moeten vaak lang wachten voordat ze na kunnen gaan of hun voorspelling klopte of niet
Kan het zijn dat onafhankelijke toetsen of beslisregels gebaseerd op statistische voorspellingen beter presteren dan de beslissingen van traditionele deskundigen die hun beslissingen baseren op ervaring en intuïtie?
Martin et al. (2004) hebben hier onderzoek naar gedaan. In deze studie is er specifiek gekeken naar de rechtspraak; ze hadden gekeken naar verschillende zaken die voor zouden komen voor het Hooggerechtshof in oktober 2002. Hierbij hebben ze geprobeerd om de uitkomst van die zaken te voorspellen. Later hebben ze deze voorspellingen vergeleken met de werkelijke beslissingen
Om dit te doen hebben ze twee methoden gebruikt: (martin et al)
- Een statistisch prognosemodel; deze werkte op basis van informatie die ze gekregen hadden van eerdere beslissingen van het Hooggerechtshof
- Een deskundig oordeel van juridische academici en professionals; ze hadden aan 83
experts gevraagd om op basis van de beschikbare informatie een oordeel te vellen
Om manipulatie van de resultaten te voorkomen, hebben Martin et al. zowel de computer- als de deskundige voorspellingen al op een website geplaatst, vóór de bekendmaking van het besluit van het Hooggerechtshof
In het onderzoek wilden Martin et al. de voorspellende kracht testen ten opzichte van de werkelijke uitkomst, maar ze wilden het ook tegen elkaar testen—>
ze wilden vergelijken welke de betere voorspellingen deed; het statische model of de experts
- Er werd gevonden dat statistische modellen in 75% van de gevallen de uitkomst correct voorspelden, terwijl experts dit in 59% van de gevallen deden; deze studie liet zien dat de voorspellingen van complexe zaken beter voorspeld kan worden door een statistisch model dan door een expert (statistisch model > expert)
Hoe is het mogelijk dat een statistisch model in vergelijking met advocaten en deskundigen, die een bredere kennis hebben en toegang hebben tot gedetailleerdere informatie over de zaken, beter voorspelde?
Is dit resultaat slechts een anomalie (fout)? Heeft het misschien iets te maken met overmoedigheid in de juridische beroepsgroep?; Deze vraag interesseerde vooral Paul Meehl, die hierover dan ook een boek schreef; “Klinische Versus Statistische Voorspelling”. In dit boek keek hij welke beslissingen het best gemaakt konden worden door statistische modellen, en welke door klinische experts
Anomalie
een feit, verschijnsel, tegenspraak of theorie die binnen een bepaald model of paradigma niet verklaard kan worden
De eerste vraag die Meehl zichzelf stelde was “Wat is beter? Een statistisch model of een klinische inschatting?”; Om deze vraag te beantwoorden heeft hij een meta-analyse uitgevoerd op basis van 136 mens-tegen-machine onderzoeken. Hij veronderstelde hierbij dat er drie basisregels moesten zijn om deze vergelijking te kunnen doen
- Beide methoden moeten op dezelfde dataset of gegevensreeks worden gebaseerd
- Kruisvalidatie zou vereist moeten zijn
- Er moet een expliciete voorspelling zijn van succes, recidive of herstel
- Beide methoden moeten op dezelfde dataset of gegevensreeks worden gebaseerd
• Een klinische rechter en een statistisch model moeten exact dezelfde gegevens
gebruiken om beslissingsstrategieën of regels af te kunnen leiden
• Maar deze basisregel houdt er geen rekening mee dat clinici eerdere ervaring en kennis
hebben; je kunt klinische kennis dus niet gelijk stellen aan de kennis die een
statistisch model heeft
- Kruisvalidatie zou vereist moeten zijn
• Kruisvalidatie = de toepassing van de beslisregel op nieuwe gevallen; de beslissingen die je maakt moeten ook toepasbaar zijn op andere (doel)gebieden
• Deze toepassing is essentieel, want er moet worden aangetoond dat een procedure werkt waar het nodig is; in gevallen waar de uitkomst onbekend is
- Er moet een expliciete voorspelling zijn van succes, recidive of herstel;
het hoeft niet per se te gaan over recidive (het kan ook gaan om het wel of niet hebben van kanker)
Door het vergelijken van deze 136 onderzoeken kwam Meehl tot de volgende conclusies:
- Over het algemeen had de gemiddelde deskundige het ongeveer 2/3 van de tijd goed (66.5%) - Statistische modellen hadden daarentegen een slagingspercentage van bijna 3/4 (73.2%)
- Maar bij 8 van de 136 studies werd gevonden dat experts het beter deden dan statistische
modellen
• Meehl en Grove concludeerden echter dat de verklaring voor deze ‘afwijkende’ studies
kon liggen aan het feit dat deze resultaten ontstaan zijn door een combinatie van random steekproeffouten; ze denken dus dat ondanks de resultaten, de experts het niet beter doen dan statistische modellen - Meer dan 20 studies ondersteunen de superioriteit van lineaire statistische modellen. Dit was om verschillende redenen een verrassing voor Meehl:
• Meehl was zelf een clinicus
• De vergelijkingen waren erg eenvoudig; hoe is het mogelijk dat modellen met zulke
makkelijke vergelijkingen deze moeilijke beslissingen kunnen maken?
• Men had altijd aangenomen dat het klinisch oordeel te complex was om in een lineaire
vergelijking te ‘stoppen’
Ten opzichte van statistische modellen hebben clinici wel drie voordelen:
- Theorie-gemedieerde oordelen
- Clinici zijn in staat om complexe voorspellende oplossingen te detecteren
- Clinici hebben de mogelijkheid om zeldzame gebeurtenissen te gebruiken
1.Theorie gemedieerde oordelen
Onze oordelen kunnen beïnvloed worden door theorieën. Dit betekent dat wanneer clinici genoeg informatie hebben over relevante oorzakelijke invloeden, deze gemeten kunnen worden en er een (verklarings)model bestaat dat specifiek genoeg is
- Maar er zijn redenen waarom we aan dit potentiële voordeel kunnen twijfelen; we kunnen te veel redeneren vanuit bepaalde theorieën, wat kan zorgen voor biases
• Het kan dus zowel een voordeel als een nadeel zijn
2) Clinici zijn in staat om complexe voorspellende oplossingen te detecteren
Voorlopig zijn mensen nog steeds de meesters in het herkennen van sommige complexe figuraties (gezichtsuitdrukkingen); mensen kunnen hele complexe patronen sneller herkennen dan statistische modellen, omdat het menselijk brein geprogrammeerd is om overal patronen in te zien
3) Clinici hebben de mogelijkheid om zeldzame gebeurtenissen te gebruiken
Wanneer iemand verlamd is vanaf de middel na het plegen van een delict, kan een mens inschatten dat een high-security instelling niet nodig is, omdat de persoon nu mindervalide is en hierdoor heel moeilijk nieuwe delicten kan plegen. Een computer kan deze zeldzame gebeurtenis niet inschatten en zal de persoon gewoon scoren voor een high-security afdeling; mensen kunnen rekening houden met zeldzame gebeurtenissen
- Als het huidige geval een uitzondering is op de statistische trend, kan een mens die informatie gebruiken om de trend te omzeilen (en dus een andere beslissing of voorspelling te doen)
- Het is in theorie mogelijk om deze zeldzame gebeurtenissen in te bouwen in actuariële methoden, maar om dit te kunnen doen heb je zoveel zeldzame gebeurtenissen nodig, dat dit bijna onmogelijk is; je kan als clinicus nooit elke zeldzame gebeurtenis bedenken (er zijn zoveel verschillende dingen die kunnen gebeuren)
Ten opzichte van statistische modellen hebben clinici twee nadelen:
- Menselijke invloeden
- Overmoed
Menselijke invloeden
Externe invloeden (honger, vermoeidheid, onwetendheid, toevallige schommelingen, vooroordelen) kunnen de beslissingen van experts positief of negatief beïnvloeden; het menselijk oordeel is dus onderhevig aan bepaalde systematische gebreken (biases):
- Motivationeel; in de hoop de gewenste overtuiging te ondersteunen denk je soms niet kritisch genoeg na over de gevolgtrekkingen
- Cognitief; je probeert altijd accuraat te zijn, maar kan misleid worden door je normale manier van denken
Overmoed
De meest prominente fout is overmoedigheid; overmoed = een ongerechtvaardigde overtuiging dat jouw voorspelling juist is. Het gaat hierbij niet om één specifiek geval, maar over een systematische overschatting van je kunnen! Het lijkt dus een beetje op confirmation bias
- Overmoedigheid is iets waar statistische modellen geen last van hebben
- Voorbeeld van wat overmoedigheid NIET is, omdat het een enkel geval is; als je 80% zeker
weet dat je een 9 haalt op één vak, maar je haalt een 8
- Voorbeeld van wat overmoedigheid WEL is; als je 80% zeker weet dat je in elk van de 100
lessen een 9 haalt, en je in meer dan 20 van de lessen een 8 haalt
Bij risicotaxatie speelt overmoed een grote rol in hoe accuraat je bent;
een onderzoek van Desmarais et al. (2010) heeft gekeken naar de START (risicotaxatie-instrument) en de mate van overmoedigheid van de clinici die het instrument af nam. Hierbij werd er aan de clinici gevraagd wat ze van hun eigen beslissingsvermogen vonden, waarna ze werden ingedeeld in een groep met lage/gemiddelde overmoedigheid en hoge overmoedigheid
- Plaatje = bij het voorspellen van alle vormen van agressie, scoren de mensen met een lage overmoedigheid .79, terwijl de mensen met een hoge overmoedigheid maar .68 scoren; clinici met een hoge overmoedigheid voorspellen slechter dan clinici met een lage overmoedigheid. Hoe minder overmoedig je dus bent, hoe beter je voorspellingen zijn; deze bevinding zie je in de hele tabel terug
PLAATJE
Er zijn vier manieren om overmoedigheid te vermijden:
- Voorspellingen in onbekende domeinen vermijden; je moet niet denken dat als je goed
bent in risicotaxatie op het gebied van agressieproblemen, je ook goed bent in risicotaxatie
op het gebied van zedendelicten - Vooral als het vertrouwen hoog is, stel dit naar beneden bij; wees kritisch naar jezelf toe
- Uitdagen van je eigen overtuigingen; bedenkt redenen waarom je het mis kan hebben
- Maak gebruik van uitgesplitste oordelen in plaats van holistische oordelen; we kunnen
wel gericht oordelen, maar als het gaat over een groter geheel zijn onze oordelen vaker verkeerd
Er zijn verschillende redenen waarom regressiemodellen het beter doen dan experts:
- Modellen leiden altijd tot dezelfde conclusie voor een gegeven dataset
• Het maakt bij modellen niet uit op welk tijdstip de analyse gedaan wordt, ze zullen altijd
op dezelfde conclusie uitkomen. Dit is bij mensen niet het geval (honger hebben, toe zijn aan pauze, persoonlijke omstandigheden) - Omdat modellen toegang hebben tot alle data, kunnen ze beter nagaan welk gewicht aan
individuele factoren moet worden toegekend bij het maken van een voorspelling
• Mensen wijzen gewicht toe aan factoren op basis van hun klinische blik, en hier zit een
mate van subjectiviteit in. Modellen hebben geen last van deze subjectiviteit - Statistische regressies hebben geen ego’s of gevoelens, in tegenstelling tot zelfingenomen
experts - Statistische voorspellingen door modellen zijn niet overmoedig
- Modellen gebruiken consequent dezelfde voorspellers en wegingen van voorspellers,
deskundigen doen dit niet
Bij experts VS. statistische modellen speelt feedback een belangrijke rol:
- Feedback en base rate
- Geheugen
Feedback en base rate
• Bij modellen zit feedback ‘ingebouwd’ in het systeem, maar bij experts is dit niet zo. Bij hen ontbreekt vaak de feedback over de juistheid van hun eigen oordelen, waardoor ze vaak niet weten of een voorspelling correct is geweest of niet