Hc 2 Flashcards
(67 cards)
Roc- analyse
Receiver Operating Characteristic (ROC)- analyse = wordt gebruikt om te kijken tot in hoeverre een risicotaxatie-instrument goed voorspelt. Daarnaast helpt het instrument bij het classificeren van toekomstige recidivisten VS. niet-recidivisten
De ROC-analyse geeft inzicht in de Area Under the Curve (AUC)
geeft aan wat de kans is dat een willekeurige recidivist een hogere score krijgt dan een willekeurige niet-recidivist, wat aangeeft dat het instrument dus goed voorspelt (goede waarde/voorspellend vermogen > .70)
2 soorten info nodig voor de AUC
- Risicoscores= de scores op het gebruikte risicotaxatie instrument
- Een dichotome uitkomst (eerdere gewelddadige veroordeling —> ja of nee)
De uiteindelijke AUC-waarde is de maat die het meest gerapporteerd wordt in de literatuur —> je kunt deze waarde op de volgende manier interpreteren:
- AUC-waarde = 0.50–> het instrument is hetzelfde als kans niveau (hetzelfde als een muntje opgooien)
- AUC-waarde 0.56 – 0.64 —> het instrument heeft een klein voorspellend vermogen
- AUC-waarde 0.64 – 0.71 —> het instrument heeft een matig voorspellend vermogen
- AUC-waarde > 0.71—>het instrument heeft een groot voorspellend vermogen
- AUC-waarde = 1.00 —> het instrument heeft een perfect voorspellend vermogen
AUC is een retrospectieve maat:
een maat die gericht is op het verleden —> je maakt dus gebruik van recidive-cijfers uit het verleden en kijkt hierbij tot in hoeverre het instrument de recidive-cijfers kan voorspellen. Je kijkt dus retrospectief i.p.v. prospectief
- Makkelijkere uitleg retrospectieve maat = je hebt een groep mensen waarvan je weet dat ze opnieuw een delict hebt gepleegd. Bij deze groep mensen ga je vervolgens kijken wat hun score was op het risicotaxatie instrument wat toen bij hen is gebruikt, in het verleden —> je kijkt dus naar hun score in het verleden
AUC-waarde is de afweging tussen:
- De sensitiviteit van een instrument = de proportie recidivisten die in het verleden als een hoog risico werden beoordeeld
• Als de sensitiviteit van een instrument hoog is wil dit zeggen dat het instrument heel
goed is in het identificeren van mensen die een hoog risico vormen —> je voorspelt goed
welke mensen zullen recidiveren
. - De specificiteit van een instrument = de proportie niet-recidivisten die in het verleden als een laag risico werden beoordeeld
• Als de specificiteit van een instrument hoog is wil dit zeggen dat het instrument heel
goed is in het voorspellen van de mensen die een laag risico vormen—> je voorspelt
goed welke mensen niet zullen recidiveren
—> Naast de AUC-waarde, zijn de sensitiviteit en specificiteit ook retrospectieve maten
Predicitieve validiteit
De predictieve validiteit van een instrument wordt dus bepaald door de sensitiviteit en specificiteit van dat instrument vast te stellen
- Plaatje = schematische weergave die je krijgt bij de AUC- waarde;
maakt een afweging tussen de sensitiviteit en de specificiteit
• Stel je hebt een instrument met een totaalscore van 30, en
je beslist dat mensen die 5 van de 30 punten scoren een hoog risico lopen op recidive. Hierdoor ‘vang’ je iedereen met een hoog risico, omdat je een lage cut-oG hebt (iemand met ‘maar’ 5 van de 30 punten classificeren als hoog risico is erg streng). Maar je gaat ook veel vals-positieven hebben, omdat je mensen die eigenlijk geen risico vormen ook labelt als hoog risico (mensen met bijvoorbeeld een score van 7 op 30)—> je sensitiviteit is hoog (alle mensen die recidiveren heb je als hoog risico gescoord), maar je specificiteit is laag
2 voordelen auc
- De AUC-waarde wordt niet beïnvloed door de base-rate = hoe vaak iets voorkomt/gebeurt;
hoe groot de kans is dat iets zal gebeuren
• Als je iets voorspelt wat 8 van de 10 keer gebeurt, is het makkelijk om te zeggen dat iets met grote waarschijnlijkheid gaat gebeuren, omdat je dit 80% zeker weet = een hoge base-rate
• Iets wat 1 op de 1000 keer voorkomt, is veel lastiger te voorspellen waardoor je sneller geneigd bent om te zeggen dat iets niet zal gebeuren
• De sensitiviteit en specificiteit worden ook NIET beïnvloed door de base-rate! - De AUC-waarde heeft geen cut-off score nodig: het systeem maakt deze berekeningen
voor jou
Nadeel auc
Het enige nadeel van de AUC-waarde is dat het de vraag is of het wel klinisch relevant is; je weet a.d.h.v. van de AUC-waarde of een instrument goed voorspelt of niet, maar in de praktijk zelf kunnen mensen er vaak weinig mee —> de waarde is handiger voor onderzoekers dan voor clinici
NPV
Negative predictive value;
de proportie delinquenten die werden ingeschat als een
laag risico, en later inderdaad ook NIET recidiveerden
Ppv
Positive predicitive value;
de proportie delinquenten die werden ingeschat als een
hoog risico, en later inderdaad ook WEL recidiveerden
Npv/ppv; retrospectief of prospectief?
Prospectieve waardes; op de toekomst gericht (terwijl de AUC-waarde een retrospectieve maat is); iemand heeft een score op een risicotaxatie instrument, en vervolgens ga je kijken hoe groot de kans is dat die persoon zal recidiveren
- Het nadeel van deze waarde is dat het wel beïnvloed wordt door de base rate
NSD
Number Safety Discharged (NSD) = het aantal laag risico patiënten die ontslagen kunnen
worden voordat er een recidive-feit plaatsvindt —> hoeveel mensen kan je veilig vrijlaten om
één recidive te vermijden?
NND
Number Needed to Detain (NND) = het aantal hoog risico patiënten die opgesloten moeten
worden om één recidive-feit te vermijden —>hoeveel mensen moet je gevangen houden om
één recidive te vermijden?
—> Ook deze waardes (NSD en NND) zijn een prospectieve maat
Voor/nadeel NSD en NND
Voor;
Prospectief
Klinisch relevanter
Na;
Beïnvloed door de base rate
- Sensitiviteit 67% en specificiteit 53%
binnen de groep recidivisten werden 67%
geclassificeerd als hoog risico volgens de test. Binnen de groep niet-recidivisten werd 53% correct geclassificeerd als laag risico à het instrument is beter in het voorspellen van mensen met een hoog risico dan met een laag risico
- PPV 20% en NPV 90%
onder degenen die volgens de test een hoog risico zijn, zal uiteindelijk 20% recidiveren. Onder degenen die volgens de test een laag risico hebben, zal uiteindelijk 90% niet hervallen —> het instrument is beter in het voorspellen van mensen die niet hervallen
Tabel acuuraatheid
PLAATJE
Generaties van risicotaxatie instrumenten
- Eerste generatie; ongestructureerd professioneel oordeel
- Tweede generatie; actuariële instrumenten
- Derde generatie; gestructureerd klinisch oordeel
- Vierde generatie
Eerste generatie; ongestructureerd professioneel oordeel
Bij het ongestructureerd professioneel oordeel wordt er geen onderliggend beoordelingsinstrument gebruikt! Het is enkel op basis van de klinische inschatting van de beoordelaar, waarbij vaak gebruik wordt gemaakt van het ‘onderbuikgevoel’. Dit doet men op basis van gesprekken die clinici hebben met de cliënt en soms ook aangevuld met dossierinformatie
Voordelen eerste generatie
- geen kosten aankoop instrument
- flexibel, gemakkelijk; je mag zelf invullen hoe je het aanpakt
- geen opleiding nodig (kost ook geld)
Nadelen eerste generatie
- Gebrek aan consistentie —> je weet niet hoe een beoordelaar aan zijn of haar oordeel is gekomen, waardoor andere beoordelaars tot andere conclusies kunnen komen
- Gebrek aan transparantie —> je weet niet hoe de beoordelaar tot deze beslissing is gekomen en welke factoren de persoon daarvoor in kaart heeft gebracht
- Gevoelig voor vooroordelen/biases/ tegenoverdracht gevoelens—> doordat je persoonlijk contact hebt met de cliënt kunnen gevoelens en gedachtes je oordeel beïnvloeden
- Geen opleiding nodig—> kan ervoor zorgen dat mensen niet de juiste kennis hebben om deze oordelen te vellen
- gebrek aan scoringsintegriteit
- Nauwkeurigheid van beoordelen is gelijk aan toeval (50%) —> slechte betrouwbaarheid + validiteit
Tweede generatie; actuariële instrumenten
Actuariële instrumenten = instrumenten die empirisch onderbouwd zijn, waarbij de alleen totaalscore van het risicotaxatie instrument gebruikt wordt om in te schatten of het recidive risico laag, matig of hoog is. Er komt verder dus geen mening van een clinicus bij kijken! de factoren die gemeten worden zijn meestal statische items = items die niet meer veranderbaar zijn (de leeftijd bij het eerste delict kan je niet meer veranderen in de toekomst, en hiervoor kun je dus ook geen behandeldoelen voor opstellen)
