Internetbevragingen, of zogenaamde opt-in surveys, waarbij deelnemers zelf kiezen of ze meedoen of niet, zijn notoir onbetrouwbaar wanneer het op puntschattingen aankomt. Een puntschatting is een schatting van de frequentie van voorkomen van iets binnen een populatie. Bijvoorbeeld: hoeveel Vlamingen zien migratie als een bedreiging, hoeveel Vlamingen stemmen voor N-VA, hoeveel Vlamingen zijn tevreden over de regering-De Wever, enzovoort.

Voor betrouwbare puntschattingen is een probabiliteitssteekproef nodig. In zo’n steekproef worden deelnemers op toevallige basis geselecteerd, zodat iedereen gelijke kans heeft om gekozen te worden. Natuurlijk wordt zo’n probabiliteitssteekproef nooit perfect gerealiseerd – veel geselecteerde mensen willen niet meedoen. Maar recent onderzoek toont aan dat probabiliteitssteekproeven betere resultaten opleveren dan opt-in selectie.

GRANDIOZE MISLUKKINGEN MET OPT-IN ZELFSELECTIE-ONDERZOEKEN

Er zijn talloze voorbeelden van opt-in zelfselectie-onderzoeken die er grandioos naast zitten.

Een bekend voorbeeld is de foutieve voorspelling van de Amerikaanse presidentsverkiezingen in 1936 door het tijdschrift The Literary Digest. Die peilde dat Alf Landon de verkiezingen zou winnen met 57,1% van de stemmen. Deze voorspelling zat er maar eventjes voor 17,9 procentpunten naast. In werkelijkheid won Franklin D. Roosevelt met 60,8% van de stemmen. The Literary Digest benaderde ongeveer 10 miljoen mensen, van wie 2,27 miljoen antwoordden. De steekproef was samengesteld uit hun lezers, geregistreerde autobezitters en het telefoonboek, wat resulteerde in een sterke vertekening (bias): vooral rijkere Amerikanen deden mee. De Amerikaanse statisticus Maurice C. Bryson legde uit dat de fout lag in het vertrouwen op vrijwillige respondenten (wij noemen dat opt-in of zelfselectierespondenten), wat leidde tot een niet-representatieve steekproef.

Zo was een opt-in online steekproef over het opheffen van het samenscholingsverbod tijdens Covid zwaar vertekend door een sterke oververtegenwoordiging van vrouwen met kinderen.

Nog een voorbeeld: tijdens de Covid-pandemie was er een opt-in online bevraging over het opheffen van het samenscholingsverbod tijdens de feestdagen (kerstmis of nieuwjaar). De meerderheid van de deelnemers gaf de voorkeur aan kerstmisavond zonder samenscholingsverbod. De opt-in steekproef was echter vertekend door een sterke oververtegenwoordiging van vrouwen met kinderen. Een representatieve probabiliteitssteekproef met voldoende deelname van de jongere generaties en mannen zou nieuwjaar als voorkeur aangeduid hebben (onder de missing ad random hypothese).

THE SOCIAL STUDY: EEN WETENSCHAPPELIJK PROBABILITEITSINTERNETPANEL IN BELGIË

Er zijn nog veel voorbeelden te geven van hoe het niet moet. Maar hoe kan het dat wel?

Wel, er is goed nieuws. Een recente samenwerking tussen de 10 Belgische universiteiten, de Vlaamse regering en Statbel gesteund door alle rectoren, het Vlaamse Fonds voor Wetenschappelijk Onderzoek en haar Franstalige tegenhanger FNRS heeft geleid tot het eerste probabiliteitsinternetpanel voor België dat aan alle wetenschappelijke eisen voor grootschalig survey dataverzameling tegemoetkomt: The Social Study (TSS).

Ongeveer 3.500 Vlamingen, 1.500 Franstalige en 500 Brusselse Belgen, toevallig geselecteerd uit het Rijksregister, doen mee aan The Social Study.

Ongeveer 3.500 Vlamingen, 1.500 Franstalige en 500 Brusselse Belgen, toevallig geselecteerd uit het Rijksregister, doen mee aan TSS. De deelnemers hebben al een heel aantal sociaaldemografische en andere achtergrondvragen ingevuld, informatie die gebruikers van het panel er gratis bijkrijgen en dus niet meer bevraagd hoeft te worden. De werkelijke bevragingstijd voor wetenschappelijke onderzoek wordt dan zeer kort: enkel nog de vragen waarvoor je schattingen wil hebben (bijvoorbeeld hoeveel kiezers hebben vandaag de intentie om voor welke partij te stemmen?). TSS werkt ook onder het Open Science Label. Er zijn dus geen black boxen. Alle verzamelde data zijn (op termijn) beschikbaar voor alle wetenschappelijke onderzoekers. Verdere analyse, controle en koppeling aan andere onderzoeken binnen TSS wordt dan mogelijk.

De twee belangrijkste redenen waarom politieke opinieonderzoekers van VRT, RTBF, DPG, Mediahuis, Roularta, RTL, Groupe Rossel, enzovoort vaak geen probabiliteitssteekproeven gebruiken, zijn dat deze niet betaalbaar zijn en te veel tijd kosten. Bovendien is er de veronderstelling dat de kans op vertekening meevalt.

Niemand weet echter of dat echt zo is. In Zweden, waar zowel een wetenschappelijk probabiliteitsinternetpanel als een opt-in zelfselectiepanel bestaat, is het gebruik van dat laatste verboden voor puntschattingen vanwege de risico's op vertekening. Voor een puntschatting ben je verplicht om gebruik te maken van het Zweedse probabiliteitsinternetpanel (The Swedish Citizen Panel).

The Social Study komt tegemoet aan de door de politiek en media vereiste snelheid.

Wat betreft de snelheid: TSS is veel sneller dan face-to-face enquêtes; je hebt op 2,5 maand resultaten van vraag tot verwerking. Dit maakt het argument van lange doorlooptijden irrelevant. TSS komt tegemoet aan de door de politiek en media vereiste snelheid. En belangrijker nog, omwille van de beperkte bevragingstijd noodzakelijk om een onderzoek te doen als je al over alle achtergrondkenmerken beschikt, is TSS goed betaalbaar en zeer kosteneffectief.

Daarnaast blijkt dat alle onderzoeksgroepen van de verschillende universiteiten die betrokken zijn bij politieke enquêtes voor Belgische nieuwsmedia direct of indirect verbonden zijn met TSS als partners binnen het interuniversitair consortium.

Kortom, gezien de snelheid, de lage kosten en de verbondenheid van de bij de nieuwsmedia betrokken onderzoeksgroepen met TSS hebben deze nieuwsmedia geen excuus meer om hun onderzoek niet op de meest wetenschappelijk verantwoorde manier te laten uitvoeren.

Tot slot. Voordat erover begonnen wordt, ik ben betrokken partij. Ik nam het initiatief voor TSS en trek momenteel mee aan de kar als voorzitter van de General Assembly. Maar zonder de steun van alle Belgische universiteiten en de fondsen voor wetenschappelijk onderzoek én zonder de wetenschappelijke evidentie dat gedegen (survey)onderzoek probabiliteitssteekproeven vereist, zou The Social Study er nooit gekomen zijn.

• column
• peilingen
• The Social Study