Liever niet

Nederland is enquêtemoe: nergens is het aantal weigeraars om mee te werken zo groot als hier. Hoe verstorend die weigerachtigheid is, hangt af van de verschillen tussen de respondenten en non-respondenten. Het Sociaal en Cultureel Planbureau wil daarom de onwilligen overhalen één keer mee te doen.

Dirk van Delft

DE UITKOMST van de enquête was "verbijsterend" en CDA-kamerlid Atsma riep minister De Vries (Binnenlandse Zaken) prompt naar de Tweede Kamer om zich te verantwoorden. Vorige week bleek dat bijna 90 procent van de Nederlandse politie 'zeer sterk bevreesd', 'sterk bevreesd' of 'een beetje bevreesd' was voor rellen door hooligans tijdens het vandaag begonnen Europees kampioenschap voetbal. Bovendien zei 77,5 procent 'niet zo goed' of 'slecht' voorbereid te zijn door het korps. En ruim 90 procent meende dat de inzet voor Euro 2000 ten koste zou gaan van reguliere taken als surveilleren en administratief werk.

Het onderzoek onder de politie was in opdracht van van RTL Nieuws uitgevoerd door het bureau Interview/ NSS. In zijn verdediging in de Kamer wees minister De Vries er afgelopen dinsdag niet alleen op dat de enquête drie weken geleden was gehouden, een moment waarop lang niet alle instructies waren uitgereikt, maar ook wist hij te melden dat er 1.500 agenten waren benaderd waarvan er uiteindelijk 400 hadden gereageerd. Dat betekent dat Interview/ NSS te maken had met een nonrespons van meer dan 70 procent. Met zo'n getal loopt opdrachtgever noch onderzoeksbureau graag te koop en in de berichtgeving zie je het daarom zelden terug. Intussen dringt zich de vraag op wat de waarde van de gepresenteerde uitkomsten bij zo'n overdadig aantal uitvallers nog is. Onduidelijk is of die 400 agenten wel representatief zijn voor het gehele korps. Mochten de dienders die niet gereageerd hebben - de grote meerderheid - het niet zo somber inzien, dan geven de uitkomsten van de enquête een vertekend beeld.

Nederland is enquêtemoe. Een artikel in het weekblad Economische Statistische Berichten van 28 april van de hand van Fia Wunderink en Marcel van Benthem toont aan dat telefonische enquêtes stevige irritatie oproepen. Dat bleek uit - jawel - een telefonische enquête onder 225 huishoudens, waarvan 36 procent weigerde mee te doen. Bijna de helft van de ondervraagden zegt gemiddeld eens per maand te worden gebeld door opiniepeilers of telemarketeers, 23 procent heeft ze twee keer per maand aan de lijn en 9 procent vijf keer of meer. Telemarketeers beginnen niet zelden met het stellen van enkele vragen, waarbij ze nauwelijks van serieuze onderzoekers te onderscheiden zijn. Waarna alsnog de aap uit de mouw komt: het 'lucratieve spaarplan' of de 'aantrekkelijke pensioenaanvulling'.

Het grote publiek gooit serieuze onderzoekers en gewiekste televerkopers op de grote hoop en uit luidkeels zijn ongenoegen. Wunderink en Van Benthem rapporteerden in ESB dat 40 procent van hun respondenten 'soms' en 29 procent 'vrijwel altijd' geïrriteerd reageert. "Geen wonder dat een groot aantal mensen nooit meedoet." Overigens bleek uit een onderzoek uit 1997, waarbij een groep proefpersonen twee perioden van 2 maanden hun telefoontjes bijhield, dat de gemiddelde Nederlander per jaar 365 keer gebeld wordt, waarvan 2,2 keer voor marktonderzoek en 3,1 keer voor telebusiness. De tanende bereidheid om mee te doen aan markt- en opinie-onderzoek was voor Uw Mening Telt, een voorlichtingscentrum waarin onderzoeksbureaus én opdrachtgevers participeren, reden om een speciaal symposium aan nonrespons te wijden. Een wetenschappelijk congres in Portland over nonrespons, afgelopen oktober, fungeerde als katalysator. Afgelopen maandag bogen ruim 200 deelnemers zich in het Artis Partycentrum over oorzaken en remedies. Duidelijk werd dat de situatie in Nederland veel ernstiger is dan in andere landen. Joop Hox, hoogleraar in methoden van sociaal-wetenschappelijk onderzoek aan de Universiteit Utrecht, sprak in Artis over twee meta-studies die het fenomeen nonrespons in internationaal perspectief plaatsen, uitgevoerd door Edith de Leeuw, Wim de Heer en hemzelf. Nergens was de nonrespons op officiële vragenlijsten van het CBS en vergelijkbare agentschappen zo hoog als in Nederland en de negatieve trend zet nog altijd door. "We doen in Nederland iets vreselijks fout", concludeerde Hox, "of we doen een heleboel dingen een klein beetje fout."

Wat gaat er mis? In een recente studie somt Wim de Heer een aantal factoren op. Om te beginnen bestaat in Nederland, in tegenstelling tot bijvoorbeeld de Verenigde Staten, niet de verplichting om aan vragenlijsten ten behoeve van de overheid mee te werken. Ook ontbreekt het ons aan strategieën die interviewers doelbewust hanteren om contact met de beoogde respondenten te leggen. Argumenten als 'het is van maatschappelijk belang dat u meedoet' of 'u bent belangrijk voor ons' weten Nederlandse enqueteurs minder overtuigend te brengen dan hun buitenlandse collega's. Ook lukt het ze minder goed om met een goedgeplaatste openingsvraag direct 'een voet tussen de deur' te zetten. De supervisie van onze enquêteurs laat te wensen over, er bestaat in Nederland weinig animo om weigeraars over de streep te trekken en het niveau van de enquêteurs laat te wensen over. Dat laatste heeft alles te maken met de lage status van het beroep: enquêteren geldt als een tijdelijke, matig betaalde bijverdienste. Wie capabel is, vindt door het gunstige economische tij makkelijk elders een betere baan. Bovendien staan enquêtes in een kwade reuk, en dat heeft alles te maken met de opkomst van de rond etenstijd bellende telemarketeers.

Nonrespons is er in twee soorten: mensen worden niet bereikt, bijvoorbeeld omdat ze het druk hebben en nooit thuis zijn, en mensen weigeren mee te doen. Bij CBS-onderzoek, waarbij het gaat om officiële statistieken op basis van enquêteurs die bij de mensen thuis vragenlijsten afnemen, is de totale nonrespons 40 45 procent. Is dat erg? "Dat hangt er vanaf", zegt Ineke Stoop, hoofd afdeling Informatievoorziening en Automatisering van het Sociaal en Cultureel Planbureau ( SCP) en in Portland een van de sprekers. "Als aan een onderzoek veel vrouwen meedoen en weinig mannen, maar de mannen die meedoen wijken niet af van de mannen die niet meedoen, dan is er weinig aan de hand. Met een simpele weegfactor kun je statistisch voor die scheve verdeling corrigeren."

Bij verkiezingsonderzoek ligt dat anders. Interesse in politiek, stemgedrag en het lid zijn van politieke partijen zijn nu net zaken die wel eens zouden kunnen samenhangen met de bereidheid om een verkiezingsvragenlijst te willen beantwoorden. Zeggen dat er niets aan de hand is komt in zo'n geval neer op je kop in het zand steken. Stoop: "Naar de omvang van die samenhang en de effecten is de laatste tijd veel onderzoek gedaan aan de universiteiten van Amsterdam en Twente. Er zijn aanwijzingen voor vertekeningen door nonrespons. Maar vaak schiet het onderzoeksmateriaal te kort om de precieze effecten te bepalen en er zijn nog heel wat analyses te gaan. De kans op vertekening neemt toe naarmate er meer nonrespons is en ook naarmate de mensen die niet meedoen verschillen van hen die wel meedoen."

twee soorten

Belangrijkste data-leverancier voor het SCP is het CBS, maar het planbureau laat ook zelf enquêtes uitvoeren. De belangrijkste is het AVO (Aanvullend Voorzieningengebruik Onderzoek), waarbij iedere vier jaar wordt nagegaan in hoeverre de Nederlander gebruik maakt van zaken als huursubsidie, musea, sportvelden, toneel of onderwijs. Die gegevens vinden hun weg naar aparte SCP-publicaties als 'Het sociaal en cultureel rapport', 'Vrijwilligerswerk vergeleken' of 'Het gedeelde erfgoed'. Stoop: "Naar buiten toe spreken we liever niet over AVO maar over het SCP-onderzoek. De mensen associëren voorzieningen met zaken voor arme zielige mensen, en niet met subsidie voor de opera. 'Ik gebruik geen voorzieningen', zeggen ze, 'ik zorg voor mezelf.' Met een naam als AVO kun je niet bij de huidige respondenten aankomen, dat is vragen om nonrespons."

Bij het AVO is de eis dat er 6.500 huishoudens meedoen. De enquêteur komt langs om een gezinslid een mondelinge vragenlijst af te nemen (duur: een half uur) en laat schriftelijke enquêtes achter voor iedereen boven de 6 jaar. In 1991 was de nonrespons 57 procent, bij het eerste AVO van 1979 was dat nog 35 procent. Stoop: "Dat kon zo niet langer, dat gaat ten koste van de kwaliteit van je data. Voor het de versie van 1995 zijn we in zee gegaan met het onderzoeksbureau GfK. We wilden minimaal 60 procent respons, GfK garandeerde 70 procent. Die werd bereikt door een meer klantgerichte benadering. Zo kreeg iedereen vooraf een brief van de SCP-directeur en een folder waarin het onderzoek werd toegelicht. In 1999 is die aanpak nog wat verfijnd. Mensen konden gratis bellen naar een informatienummer en allerlei informatie over het onderzoek is op de websites van het SCP en GfK gezet. Ook waren de tijden waarop de enquêteur langs kwam flexibel. In die peiling kon de respondent ook onderdelen van het mondelinge deel die veel tijd vergden invullen op een tijdstip dat het hem beter uitkwam, om later de zaak mee te geven aan de enquêteur als die de persoonsvragenlijsten kwam ophalen." Inderdaad haalde GfK bij het AVO'95 een respons van 69,5 procent. De verbetering ten opzichte van 1991 zat hem overigens niet in een daling van de hoeveelheid weigeraars. In 1995 waren dat er 25,6 procent, tegenover 23,6 procent vier jaar later. De winst vloeide voort uit het feit dat in 1995 het aantal mensen dat niet bereikt werd verwaarloosbaar was: in 1991 was dat nog 12,4 procent. Stoop: "In '91 ging de interviewer maximaal driemaal bij een adres langs. Werd er nog altijd niet opengedaan, dan werd dat huishouden geboekt als 'niet bereikt'. GfK ging in '95 net zo vaak langs tot er iemand opendeed, desnoods vijftien keer. En na een zachte weigering - 'ik voel me vandaag niet lekker' - kwam een andere enquêteur twee weken later opnieuw langs: 'gaat het inmiddels wat beter?' Ook werd na een weigering de respondent soms opnieuw benaderd door een andere enquêteur in de hoop dat het beter zou klikken. Op die manier is de respons sterk verbeterd, al werd de zaak zo wel duurder: veldwerk kost veel tijd."

Na afloop van het AVO'95 vielen er interessante vergelijkingen te trekken. Zo bleken de verschillen tussen de respondenten van het AVO'91 en die personen uit het AVO '95 die binnen drie pogingen bereid waren mee te doen gering. Het in zee gaan met GfK heeft dus geen 'knik' veroorzaakt. Vervolgens is bij de AVO'95-respondenten gekeken naar verschillen tussen de groep die binnen drie pogingen toehapte en de moeilijker te bereiken groep die vier of meer pogingen nodig had. De laatste verzeilt bij veel onderzoeken in de categorie 'niet bereikt' en behoort zo tot de nonrespons. Stoop: "De langzame en snelle groep hadden duidelijk een andere samenstelling. Moeilijk bereikbaar waren bewoners van de drie grote steden, van flats, 18-34 jarigen, alleenstaanden, hoger opgeleiden en mensen met een baan. Het zijn duidelijk andere mensen. Maar dat hoeft nog geen vertekening in te houden. Na weging van de totale groep naar algemene kenmerken van de Nederlandse bevolking verdwijnen de verschillen praktisch geheel. Een hele geruststelling."

Blijft de prangende vraag of de echte weigeraars, de mensen die 'nee' zeiden, wél anders zijn. In februari van dit jaar is - na enige vertraging - het AVO'99 afgerond, ditmaal met 27 procent weigeraars. Uit die weigeraars worden een dezer dagen aselect 315 huishoudens getrokken. Met alle geoorloofde middelen zal worden geprobeerd 80 procent daarvan te strikken alsnog aan een verkorte enquête mee te werken. Stoop: "Je stuurt er je beste enquêteurs op af, je traint je mensen om de meest uiteenlopende tegenwerpingen te pareren, indien gewenst spreek je in een café af, een financiële vergoeding kan helpen mensen over de streep te trekken, vragenlijsten mogen ook via de telefoon, schriftelijk of per internet worden beantwoord, je houdt rekening met de buurt en licht de wijkagent in voor het geval dat mensen het niet vertrouwen en de politie bellen, je deelt SCP-publicaties uit, je haalt er zo nodig iemand anders bij, je neemt een aardigheidje mee. Kortom, alles gaat uit de kast."

De bekeerlingen krijgen de kernvragen uit het AVO'99 voorgelegd, alsmede wat demografische vragen en vragen naar onderwerpen die volgens ander onderzoek te maken hebben met responsgedrag, zoals vrijwilligerswerk en lidmaatschap van verenigingen. Stoop: "Er zitten dan wel twee adders in het gras. Omdat je de mensen 'gemasseerd' hebt om als enquêteur binnen te kunnen komen bestaat de kans dat ze serieuzer door de vragen heengaan, of ze juist afraffelen. Als mensen geld hebben gekregen reageren ze wellicht zachtaardiger. Uit vriendelijkheid aangeven dat je twee keer zo vaak naar het museum bent geweest lijkt geen voor de hand liggende reactie, maar het blijft wel iets om in de gaten te houden. Ook speelt dat de inbedding van de kernvragen anders is dan bij het reguliere AVO-onderzoek. Als je eerst naar allerlei onaangenaamheden in de buurt informeert, en vervolgens vraag je naar hun gevoel van veiligheid, dan merk je dat in je antwoord. Voor zo'n vragenlijsteffect is te corrigeren door de verkorte enquête ook aan een controlegroep van zo'n 300 gewone respondenten voor te leggen."

Nog voor de weigeraars de enquêteur langs krijgen, is er al het nodige aan informatie over hen verzameld. Bij het AVO'99 is precies bijgehouden in wat voor buurt ze wonen, in welke staat hun woning verkeert, of ze een schotelantenne hebben. Als er toen mondeling contact is geweest, is genoteerd wat de reden voor de weigering was, hoe oud ze zijn en van welk geslacht. Stoop: "Dat alles is bedoeld om de nonrespons-analyses van 1995 opnieuw te kunnen uitvoeren, maar dan verfijnder. Of de weigeraars anders zijn dan de rest zal in oktober blijken. Eerlijk gezegd verwacht ik dat het met die verschillen zo'n vaart niet zal lopen. Het is trouwens erg praktisch wat we doen, we hebben bijvoorbeeld geen aansluiting gezocht bij wetenschappelijke modellen die de interacties tussen enquêteur en respondent beschrijven. We kunnen dan ook niet garanderen dat onze uitkomsten te generaliseren zijn naar weigeraars bij andere typen enquêtes. Maar als dit nonrespons-onderzoek lukt hebben we gegevens waarvoor de belangstelling in Nederland en internationaal nu al groot is."