Direct naar (in deze pagina):inhoud, zoekveld of menu.

U bevindt zich op: Home / Publicaties / Alle publicaties / Publicaties 2005 / De jacht op de laatste respondent / Persbericht: De jacht op de laatste respondent

Persbericht: De jacht op de laatste respondent

Hogere respons mogelijk bij steekproefonderzoek

Proefschrift: The Hunt for the Last Respondent. Nonresponse in sample surveys.

  • De hoge nonrespons bij steekproefonderzoek in Nederland is een ernstig probleem.

  • Hoe hoger de respons, hoe groter de kans op betrouwbare resultaten.

  • Met een intensieve benadering is een respons van 70% mogelijk.

  • De respons op steekproefonderzoek in Nederland hoeft niet onder te doen voor die in andere Europese landen.

  • Zowel de bereikbaarheid van respondenten als de bereidwilligheid om aan onderzoek mee te doen neemt af. Beide oorzaken van nonrespons vereisen aparte maatregelen.

  • Gezien de nadelige gevolgen van nonrespons is het noodzakelijk meer aandacht te besteden aan de kwaliteit van dataverzameling

Dit zijn enkele conclusies uit de SCP-publicatie The Hunt for the Last Respondent. Nonresponse in sample surveys, het proefschrift van SCP-medewerker Ineke Stoop, dat zij op 19 mei 2005 verdedigt aan de Universiteit Utrecht.

 

In Nederland is het steeds moeilijker om een hoge respons te krijgen. Dit maakt onderzoek onder steekproeven uit de bevolking lastig en kostbaar. Een lage respons roept vragen op over de betrouwbaarheid van de uitkomsten van onderzoek. In dit proefschrift wordt een overzicht gegeven van de internationale literatuur over nonrespons in steekproefonderzoek. Een belangrijk deel van het eigen onderzoek bestaat uit een diepgaande analyse van nonrespons bij het Aanvullend Voorzieningengebruikonderzoek 1999 van het SCP. Een steekproef van personen die niet aan dit onderzoek wilden meedoen werd enkele maanden later benaderd met een korte vragenlijst over voorzieningengebruik. Het merendeel bleek bereid om de vragenlijst te beantwoorden. Vergelijking van de resultaten van de respondenten die de lange vragenlijst hadden ingevuld met die van de korte vragenlijst van de overgehaalde weigeraars, maakte het mogelijk precies aan te geven tot welke vertekening nonrespons leidt, en of extra inspanningen niet alleen tot een hogere respons leiden, maar ook tot betrouwbaarder resultaten.

 

Een hoge respons is mogelijk en belangrijk.
Veel sociaal-wetenschappelijk onderzoek is gebaseerd op steekproeven uit de bevolking. Deze kunnen een goed beeld geven van de gehele bevolking als de respons hoog is. Bij een lage respons is het risico groot dat de resultaten van een survey bepaald worden door mensen die veel thuis zijn, het onderwerp interessant vinden of het leuk vinden om vragenlijsten in te vullen. Een hogere respons, ook onder mensen die veel weg zijn, of niet in surveys of het onderwerp zijn geïnteresseerd, is haalbaar als deelname op veel verschillende manieren mogelijk en aantrekkelijk wordt gemaakt. Dat kan door de respondenten op een geschikte tijd te benaderen, nog eens terug te komen als het hen beter uitkomt, of ze zelf te laten bepalen of de vragenlijst schriftelijk, telefonisch, mondeling of via internet wordt beantwoord. Deelname kan aantrekkelijk worden gemaakt door het geven van een cadeautje, maar ook door informatie te geven over het belang en het doel van het onderzoek.

 

Aan het Aanvullend Voorzieningengebruikonderzoek 1999 van het SCP deden iets meer dan 6.000 huishoudens mee. Alle personen van zes jaar en ouder moesten een lange vragenlijst invullen. De totale respons was ongeveer 65%, wat voor zo'n lang onderzoek hoog is, zeker in Nederland. Een klein deel van de hardnekkige weigeraars werd enkele maanden later opnieuw benaderd met een kortere vragenlijst. Goed betaalde en enthousiaste interviewers konden een breed scala aan materiële en immateriële beloningen inzetten en slaagden erin meer dan 70% van de hardnekkige weigeraars over te halen. Uiteindelijk blijkt dus een zeer hoog percentage van de bevolking bereid mee te doen, maar een hoge respons kost wel veel tijd en geld. Dit vereist ook een individuele en intensieve aanpak, passend bij het onderzoek en de specifieke doelgroep. Inspanningen als in het vervolgonderzoek onder weigeraars zijn niet zonder meer toepasbaar in grootschalige surveys. Succesvolle deelstrategieën zijn inmiddels wel toegepast in andere surveys, met een hoge respons als gevolg.

 

Ook bij een hoge respons kan vertekening optreden.
Een respons van 70% wordt in het algemeen als hoog gezien. Toch is ook bij deze respons vertekening mogelijk, als nonrespondenten al te zeer verschillen van respondenten. Als bijvoorbeeld jongeren weinig meedoen, kan dat gecorrigeerd worden met statistische weegtechnieken. Selectieve nonrespons is echter veel moeilijker te herstellen. Van selectieve nonrespons is sprake als de jongeren die niet meedoen andere opinies hebben of een ander gedragspatroon vertonen dan de jongeren die wel meedoen. Daarom is het belangrijk niet alleen naar een hoge respons te streven, maar ook informatie te verzamelen over weigeraars en mensen die moeilijk bereikbaar zijn. Dat is zelfs belangrijker dan jacht te maken op extra respondenten, alleen maar om een bepaald responspercentage te behalen.

De respons bij surveys in Nederland hoeft niet onder te doen voor die in andere Europese landen.
In het European Social Survey 2003/2004 zijn in 22 Europese landen op dezelfde wijze data verzameld. Daarom zijn de responsresultaten goed te vergelijken. Terwijl Nederland bekend staat om zijn lage respons, blijkt uit de ESS dat met de nodige inspanningen Nederland tot de middengroep kan behoren. Dit succes is onder andere behaald door de mensen opnieuw te benaderen die er aanvankelijk niet zoveel voor voelden om mee te doen.

 

Bereikbaarheid en bereidwilligheid zijn verschillende dimensies van nonrespons.
Mensen zijn tegenwoordig steeds minder goed bereikbaar. Ook de bereidwilligheid om aan surveys mee te doen neemt af. Om de respons te verhogen is het zowel van belang zoveel mogelijk mensen te bereiken om ze de vraag te kunnen stellen of ze willen meewerken, als daadwerkelijk hun medewerking te verkrijgen. Ook bij het beoordelen van de kwaliteit van een survey en de consequenties van nonrespons is het van belang om te weten in hoeverre nonrespons samenhangt met bereikbaarheid en in hoeverre met bereidwilligheid.

 

Dataverzameling verdient meer aandacht.
Bij het analyseren van data of het publiceren van interessante uitkomsten wordt meestal maar weinig aandacht besteed aan de kwaliteit van de verzamelde gegevens. Geavanceerde analysemethoden of politieke relevantie kunnen echter nooit tekortkomingen in de dataverzameling goedmaken. Investeren in de kwaliteit van de gegevens en meer kennis over de wijze waarop gegevens zijn verzameld, zijn van belang voor beleid en wetenschap, zeker gezien de grote consequenties die nonrespons kan hebben voor de betrouwbaarheid van de resultaten.