Hoe je non-respons en uitval voorkomt bij online surveyonderzoek

Hoe kun je non-respons voorspellen en ervoor zorgen dat waardevolle respondenten behouden blijven voor je online onderzoekspanel? Joris Mulder en Natalia Kieruj van CentERdata onderzochten het en presenteerden de eerste resultaten tijdens BigSurv18 in Barcelona.

Non-respons en uitval van panelleden zijn belangrijke aandachtspunten bij online surveyonderzoek. Beide kunnen de representativiteit van een online panel negatief beïnvloeden. Bovendien is het werven van nieuwe respondenten tijdrovend en kostbaar. Er is onderzoeksbureaus dan ook veel aan gelegen om de respons op vragenlijsten te maximaliseren en een bestaand panel zoveel mogelijk intact te houden.

Ook in het LISS panel wordt doorlopend aandacht besteed aan het voorkomen van non-respons en uitval. Zo ontvangen panelleden een vergoeding voor hun deelname, en worden ze via e-mail en telefoon uitgenodigd en herinnerd om vragenlijsten in te vullen. Ook kunnen panelleden bij (technische) problemen terecht bij een gratis helpdesk.

Door de bank genomen scoort het LISS panel goed; mede door deze maatregelen zijn de responspercentages vrij hoog en de uitvalpercentages relatief laag.

Data Science

Aanvullend op de bestaande maatregelen helpt het als je goed zicht hebt op de karakteristieken die samenhangen met non-respons en uitval en als je indicatoren identificeert die dit voorspellen. Joris en Natalia onderzochten dit door uiteenlopende data science- en machine learningtechnieken toe te passen op de in de afgelopen elf jaar via het LISS panel verzamelde onderzoeksgegevens, inclusief de daarbij verzamelde meta- en paradata.

Nieuwe voorspellingsmodellen

De analyse door Joris en Natalia levert nieuwe voorspellingsmodellen op, gebaseerd op:

  • zelfgerapporteerde onderzoeksgegevens (zoals gezondheid, persoonlijkheid, religie, normen en politieke waarden);
  • socio-demografische gegevens (zoals beroep, opleiding, leeftijd, geslacht, samenstelling van het huishouden, inkomen, en woonomgeving);
  • meta- en paradata (zoals de hoeveelheid vragenlijsten per respondent per maand, de duur om de vragenlijsten in te vullen, het vragenlijst-onderwerp, en de daarvoor ontvangen vergoeding).


Deze modellen hebben geleid tot meer inzicht in de onderliggende redenen voor non-respons en uitval. Zo blijken belangrijke voorspellers van non-respons:

  • de voorspelde invulduur van een vragenlijst (hoe langer de duur, hoe hoger de kans op non-respons, ondanks dat daar een hogere vergoeding tegenover staat);
  • leeftijd (hoe ouder, hoe ‘loyaler’);
  • de mate waarin mensen vanuit hun persoonlijkheid nauwgezet en zorgvuldig zijn;
  • de mate waarin mensen het nut inzien van en plezier hebben bij het invullen van vragenlijsten (bijvoorbeeld omdat ze het betreffende onderwerp leuk vinden).


Mogelijke implicaties

Wat betekent dat voor toekomstig onderzoek in het LISS panel? Mogelijke implicaties van deze bevindingen zijn kortere vragenlijsten, meer aandacht voor jongere respondenten, meer focus op ‘plezier’ bij het invullen, en een evaluatie van de bestaande vergoedingsstructuur. Deze factoren zouden eerst moeten worden getoetst in kleinschalige experimenten binnen het LISS panel. Het is ook belangrijk om respondenten die een hogere kans hebben om niet te responderen meer persoonlijk ‘aan te spreken’ en meer specifieke aandacht aan deze individuele panelleden te besteden. Deze interventies zullen de algemene panel- en datakwaliteit ten goede komen, is de verwachting.