Hoorcollege 7A: Survey Flashcards
- Welke kenmerken heeft een survey?
- Wat wordt bedoeld met ‘standaardisatie bij vragenlijsten’?
- Bespreek de interne en externe validiteit bij surveys.
- De dataverzamelingsmethode ‘direct vragen stellen’ is reactief (=respondenten worden beïnvloed door de vraag die je stelt of door de interviewer: door het doen van onderzoek). Je wil dat de respondent een zo natuurlijk antwoord geeft en dat antwoord niet beïnvloed wordt.
- Grote mate van standaardisatie van de vragenlijst.
- Grote aantallen respondenten (grote steekproef).
- Geschikt voor het meten van: kenmerken van personen - gedrag - meningen (attitudes; gevoelens;opinies).
- De dataverzamelingsmethode ‘direct vragen stellen’ is reactief (=respondenten worden beïnvloed door de vraag die je stelt of door de interviewer: door het doen van onderzoek). Je wil dat de respondent een zo natuurlijk antwoord geeft en dat antwoord niet beïnvloed wordt.
- Standaardisatie van vragenlijst: elke respondent krijgt dezelfde vragen als alle anderen. En op een gestandaardiseerde manier vragenlijst uitvoeren: schriftelijk - telefoon - internet. Dus op 1 manier de vragenlijst voorleggen: elke respondent via internet (online) vragenlijst invullen.
> standaardisatie maakt vergelijkbaarheid van de antwoorden tussen interviews mogelijk (en replicatie). Als je alles standaardiseert kun je concluderen dat de verschillen tussen mensen echte verschillen zijn op basis van hun antwoorden en niet als gevolg van andere vragen of andere manier van vragen stellen (telefonisch of online). - EXTERN (is afhankelijk van steekproef)= sterk bij surveys. Omdat je een grote steekproef trekt, is je steekproef representatief voor de hele populatie. Want je kan meer generaliseren dan als je een kleine steekproef hebt.
INTERN (afhankelijk van design)= minder sterk bij surveys. Soms zijn er andere storende factoren aanwezig die ertoe leiden dat de respondent niet zijn echte antwoord geeft op de vraag. En voor het kijken naar de samenhang en chronologie (eerst X en dan Y) kun je dat niet zo goed vaststellen bij surveys. Want je neemt maar op 1 moment de vragenlijst af, dus dan kun je helemaal niet meten of X vooraf gaat aan Y.
Welke survey designs (meetmomenten) heb je?
EENMALIG
A. (=coss-sectie): vragen voor eenmalig respondenten ondervragen. Kenmerken/verbanden op individueel of geaggregeerd niveau. wel sterke externe validiteit, want je stelt 1 keer de vraag en dan kun je de resultaten generaliseren naar de hele populatie (bij panel is externe validiteit minder sterk, want je vraag dezelfde mensen weer, het kan dan zo zijn dat ze niet meer willen meedoen).
HERHAALD (logitudinaal):
B. Trendsurvey (=herhaalde cross-sectie): dezelfde vragen meerdere keren stellen over tijd bij andere respondenten. Dus kijken naar veranderingen op geaggregeerd niveau (trends). Je kunt alleen niet binnen individu niet kijken wat ze over 10 jaar denken.
C. Panelsurvey: selecteert personen en stelt nu en over een bepaalde tijd precies dezelfde vragen, dus dezelfde vragen en dezelfde respondenten. Kijken naar veranderingen op geaggregeerd en individueel niveau.
»> Panelsurvey: sterker bij interne validiteit, maar je moet er wel voor zorgen dat dezelfde mensen blijven meedoen, dit is het probleem bij de externe valditeit, als een specifieke subgroep niet meedoet en de rest nog wel, is je steekproef niet meer representatief voor de populatie.
- Welke modes (afnamevormen) heb je?
2. Welke vier factoren moet je rekening mee houden voor de keuze welke mode je kiest?
- Modes:
MET INTERVIEWER:
A. Persoonlijk (face to face) (CAPI)
B. Telefonisch (CATI)
ZONDER INTERVIEWER:
C. Schriftelijk (self-administered) (CASI)
D. Email/web (online survey, ook CASI).
- RESPONS=
Ftf > beste respons oplevert, mensen zijn minder geneigd om de deur dicht te slaan als iemand op de stoep staat. Mensen overtuigen dat het belangrijk is.
Telefonisch > redelijk.
Schriftelijk > matig: ze gooien het dan weg.
Email: redelijk tot matig.- SNELHEID=
ftf > langzaam, je moet een afspraak maken, interview afnemen, uren duren.
internet > zeer snel
telefonisch > snel
schriftelijk > langzaam, je stuurt het op en dan wacht je en dan stuur je nog een melding, kan weken duren. - KOSTEN:
Ftf > (zeer) hoog
telefonisch > hoog
Schriftelijk > laag
Email/web > (zeer) laag, goedkoop tot gratis. - COMPLEXITEIT:
ftf > persoonlijk is beter, om uitleg te geven, als iemand het niet snapt.
telefonisch > hoog
schriftelijk > laag
email/web > routing beter hier, hoog (uitleg in i’tje)
- SNELHEID=
- RESPONS=
- Wanneer doe je een open?
- Wat zijn de voor-en nadelen bij een open vraag?
- Wat zijn de voor-en nadelen bij een gesloten vraag?
- Waaraan moeten antwoordmogelijkheden aan voldoen?
- Open vraag wanneer: als de antwoordcategorieën te groot zijn, of overbodig of voor de hand liggend en als je nog niet weet wat de respondent gaat antwoorden.
- Open vraag= wel een vraag, maar geen antwoordmogelijkheden gegeven: wel heel erg valide, mensen geven hun echte antwoord en worden niet geleid om een ander antwoord te geven.
VOORDELEN: respondenten niet sturen via antwoordopties, dus geen bias.
NADELEN: antwoord invoeren/coderen is veel werk (en kost tijd) (heel veel lange en niet vergelijke antwoorden, kun je niet goed vergelijken) & antwoorden verduidelijken de vraag niet (meer moeite voor respondent). - Gesloten vraag= vraag met antwoordmogelijkheden gegeven.
VOORDEEL: makkelijk voor respondent en makkelijk voor data-invoer.
NADELEN: mogelijke beïnvloeding door antwoordopties. - Antwoordmogelijkheden moeten:
- alle mogelijke antwoorden bevatten (uitputtend zijn - exhaustive), want misschien zit jouw favo serie er niet tussen, dus dan kan jij je echte antwoord niet invullen (niet valide).
- wederzijds uitsluitend zijn (mutually exclusive), het moet niet met elkaar overlappen. Alle categorieën moeten elkaar uitsluiten.
Welke problemen heb je bij vragen?
- TAALGEBRUIK= Vragen stellen op een te hoog niveau. Waarbij de gemiddelde Nederlander het niet duidelijk is wat er met de vraag bedoeld wordt. In het algemeen is de onderzoeker slimmer dan het merendeel van de respondenten. Daarom moet je vragen stellen die aansluiten op je niveau van je doelgroep. Schrijf vragen die iedereen begrijpen.
- DUBBELZINNIGE VRAGEN= Wat is geweld? Wat zijn jonge kinderen? Wanneer zijn kinderen jong. Niet eenduidig.
- DOUBLE BARRELLED QUESTIONS = zijn vragen die twee dingen tegelijkertijd vragen. Wat is het meest leukst en het mooist? Wat als het een leuk is maar niet mooi. Dit zijn vaak niet eenduidige vragen. Oplossing: gewoon twee vragen stellen en niet twee dingen vragen in 1 vraag.
- SOCIALE WENSELIJKHEID= De druk van de groep en gedrag wat zich daarnaar verricht. De respondent antwoord niet oprecht, dus is het antwoord niet valide. Want hij beantwoord de vraag niet oprecht door groepsdruk of door wat er sociaal wenselijk is van de maatschappij (reactief). Maar ze geven een antwoord dat in lijn is met het antwoord wat de maatschappij goed keurt of bij de groep waarbij ze willen horen. Om dit te voorkomen moet je het gedrag minder bedreigend te maken. En geen interviewer gebruiken.
> > > Vraag invalide door de manier van formuleren van een vraag: de respondent weet niet wat hij of zij moet antwoorden door double barrelled of dubbelzinnige vragen. Waardoor ze hun echte antwoord niet geven, dus niet valide.
- Wat zijn manifeste en latente variabelen?
2. Hoe kun je latente variabele meten? En noem de kenmerken/voordelen hiervan.
- MANIFESTE variabelen= ‘direct waarneembaar’, zoals geslacht, opleiding, leeftijd (je geeft een cijfer en dan weet de onderzoeker dat het in jaren is gegeven). > Meting doorgaans geen probleem. De inhoud van het concept is duidelijk voor zowel respondent als onderzoeker.
LATENTE variabelen= ‘niet direct waarneembaar’ en bevat meerdere aspecten, zoals vertrouwen in de media. Gevoelens, attitudes en meningen = complexe begrippen. > Meting kan potentieel wel een probleem zijn. Inhoud van het concept is niet duidelijk (onderzoekers en respondenten kunnen de concepten anders interpreteren), meeteenheid niet duidelijk (leeftijd in jaren, maar vertrouwen in media welke meeteenheid? in getal? in veel en niet veel?) & concept kan meerdere aspecten bevatten. - De meetschaal is een instrument om een latent concept te meten, dat doen we door een aantal manifeste duidelijk waarneembare afzonderlijke vragen. Een afzonderlijke vraag noemen we vaak een item, dit item is een manifeste variabele die de latente variabele in zijn geheel meet. KENMERKEN:
Door het stellen van meerdere vragen kunnen we alle aspecten van een complex begrip meten.
Kunnen abstracte begrippen kwantificeren:
- likertschaal ‘helemaal niet tot helemaal wel’ > ordinaal.
- al die ordinale meerdere schalen/vragen samenvoegen (items) > interval.
Extra voordeel: betrouwbaarder meting (meerdere vragen (voor hetzelfde concept) verhogen doorgaans betrouwbaarheid). Want zo meet je meerdere aspecten waardoor je dan zeker weet dat diegene consistent is in zijn mening over X. Als je opeens negatieve houding hebt bij ene vraag en andere vraag positieve houding beantwoord je of verkeerd (niet valide) of niet consequent je mening (niet betrouwbaar). Door het beantwoorden van de vragen kun je je vergissen bij de ene vraag, maar bij de andere vraag geef je wel een correct antwoord. Hierdoor heb je minder vertekening wanneer je meerdere vragen hebt dan dat je maar 1 vraag hebt gesteld.
> > > Inhoudsvaliditiet: complexe begrippen> dekt de vraag het concept geheel? Weglaten van vragen bedreigt de inhoudsvaliditeit.
Wat is een Likertschaal?
Likertschaal: meerdere vragen stellen (vragen=items). Het zijn stellingen gevolgd door antwoordopties. Die vragen zijn allemaal gerelateerd aan het latente begrip dat jij aan het meten bent. Als je de schalen/stellingen/vragen samenneemt en het gemiddelde neemt, meet je met een intervalvariabele. Want die stellingen meet hetzelfde begrip (betrouwbaar). Theoretisch concept: meerdere vragen die het latente begrip meten.
Snel veel aspecten meten: verschillende stellingen, zelfde antwoordopties. Geschikt voor meningen, gedrag, houdingen. Kan scores aan respondenten geven: hoog of laag op latente variabele. Meerdere (ordinale) items samen: interval meetniveau.
- Wat is een steekproefkader?
- Wat is onderdekking en overdekking?
- Waarom hebben mensen een grotere kans dan nul bij kanssteekproeven?
- Steekproefkader= een administratie van je populatie, overzicht van alle populatie eenheden (lijst, database, overzicht). Je moet weten wie in je doelpopulatie zitten (over deze mensen willen we iets zeggen) en dan pak je het kader erbij en trek je uit de steekproefkader een steekproef. De steekproefkader is je basiskader voor je kanssteekproef (aselect).
- Onderdekking= je steekproefkader heeft niet iedereen zitten die in je eigenlijke populatie behoren.
Overdekking= eenheden zitten in de steekproefkader die er eigenlijk niet of niet meer in jouw populatie horen.
- Kanssteekproeven zijn steekproeven waarvoor geldt dat elke onderzoekseenheid in de populatie een berekenbare kans heeft groter dan nul om in de steekproef betrokken/getrokken te worden. Als je je onderzoekseenheden gewoon zo selecteert bv met een gemakssteekproef, hebben mensen die je niet kent of niet hebt geselecteerd allemaal geen kans of eigenlijk nul kans om in jouw steekproef te komen. Maar doordat je onderzoekseenheden random selecteert, maakt iedereen kans (grotere kans dan 0) om in jouw steekproef te komen.
Welke kanssteekproeven heb je? (aselect/at random)
Kanssteekproeven (aselect)):
- ENKELVOUDIGE STEEKPROEF= Een computer puur at random selecteren. Iedereen heeft de kans om geselecteerd te worden, alleen die mensen worden geselecteerd en ik ga die mensen vragen of ze mijn vragenlijst willen beantwoorden. Soms moeilijk om een random cijfer te bedenken. Daarom:
- SYSTEMATISCHE STEEKPROEF= Ik pak 1 punt, en daar begin ik dan, en dan neem je elke 5e respondent en die interview je dan. Systematisch elke 5 nemen.
- GESTRATIFICEERDE STEEKPROEF= populatie wordt ingedeeld in deelpopulaties (strata), je populatie is niet gelijk verdeeld, want sommige onderzoekseenheden hebben andere kenmerken die verschillen van elkaar. Je hebt een aantal mensen die ene eigenschap hebben en dan heb je een andere groep met andere eigenschap. Laten we zeggen de ene groep is in totaal 60% (vrouw), en de andere groep is in totaal 40% (man).
Dan wil je (natuurlijk) in je steekproef evenveel aantal van de ene groep (60% vrouw) en de andere groep (40% man). Subgroepen noemen we strata (kenmerken van onderzoekseenheden).
- CLUSTERSTEEKPROEF= Ik weet dat mensen in verschillende clusters zitten (verschillende werkgroepen of scholen). Ik vind het makkelijk om een aantal clusters te nemen en dan dus een paar van de clusters scholen nemen.
- GETRAPTE STEEKPROEF: Mensen uit die scholen (van de clustersteekproef) selecteer ik een paar klassen en dan weer leerlingen= dan hoef je niet alle leerlingen te nemen van die school.
- Welke niet-kanssteekproeven heb je? (select: onderzoeker selecteert zelf de respondenten).
- Wat is het verschil tussen quota en gestratificeerde steekproef?
- Niet-kanssteekproeven (select):
- Quotasteekproef: als gestratificeerde steekproef, maar geen strata-informatie beschikbaar in steekproefkader. Zoveel mensen zijn man en zoveel vrouw, en dan zoveel man en vrouw selecteren voor je steekproef.
- Sneeuwbalsteekproef: is belangrijk voor heel moeilijk te bereiken populatie. Eerst vraag je iemand die in je populatie hoort, en dan vraag je aan hem: ken je ook iemand die op jou lijkt? En die zegt ja die ken ik wel, en op die manier ga je van de een naar de ander een steekproef trekken. Soms het enige wat je kunt doen om de mensen te bereiken.
- Gemakssteekproef (convenience): niet representatief. Opt-in sample= zelf beslissen of je mee doet of niet. - Verschil quotasteekproef en gestratificeerde steekproef: in de quotasteekproef selecteren de interviewers de respondenten en daardoor js niet bekend hoe groot de kans is om in de steekproef te worden betrokken. En quotasteekproef heeft geen steekproefkader waar je onderzoekseenheden uit kunt selecteren.
- Wat is UNIT NON-RESPONS? + redenen.
2. Wat is ITEM NON-RESPONS?
- Respons= d.w.z het percentage van de steekproef waarvan ingevulde vragenlijsten terug zijn ontvangen. (Gedeeld door hoeveel je steekproef bevatte). Unit non-respons= is het deel dat we niet terugkrijgen. Een persoon die helemaal niet reageert op een vragenlijst.
- Geselecteerde respondent doet niet mee:
* niet te bereiken
* spreekt taal niet
* wil niet meedoen/had geen zin
> > > Gevolgen: grotere steekproef is dat geen klein probleem. Externe validitiet: groter probleem, want je hebt de respondent niet in je steekproef dus niet representatief voor populatie.
- Item-non-respons is laag bij ftf en telefonisch, want je bent dan minder geneigd niks te antwoorden. Dit is wel het geval bij zelfinvullijsten. Wanneer een respondent 1 vraag niet beantwoord heeft.
- Afzonderlijke vraag niet beantwoord:
* respondent snapt vraag niet
* respondent wil vraag niet beantwoorden (te intiem, bedreigen, moeilijk).
> > > Als veel respondenten niet een correct antwoord geven, bestaat de kans dat verkeerde conclusies worden getrokken = responsvertekening (gevoelige onderwerp)
