Ondertussen publiceerde Febelmar, de Federatie van Belgische Marktonderzoeksbureaus, de technische details van de grootschalige peiling die De Standaard en de VRT lieten uitvoeren. En daar staan enkele opmerkelijke zaken tussen. Zoals het verschil tussen de bruto- en de netto-steekproef:
Voor deze peiling werden in totaal 17.664 Vlamingen gecontacteerd van 15 jaar en ouder, waarvan er 13.458 personen wegvielen – omdat ze niet bereikbaar waren, door weigering tot deelname of door het feit dat ze buiten het universum van de studie vielen (niet-stemgerechtigden, …).
Dit betekent dat de non-respons mogelijk rond de 70 à 75% schommelt. Dus wanneer overal te horen was dat slechts 4% van de ondervraagden niet kan of wil antwoorden, wordt – op zijn zachtst gezegd – een loopje genomen met de werkelijkheid.
Zou u dan ook niet willen weten… waarom bijna 3/4 van de gecontacteerde mensen niet deelnamen aan dit onderzoek; hoeveel procent de telefoon niet aannam – en na hoe vaak terug te bellen; hoe groot het aandeel niet-stemgerechtigden was; en bij hoeveel mensen er anti-politieke redenen aan de basis lagen van die weigering – en wat daaruit valt af te leiden…?
Leestips:
- Project: non-respons leidt tot vertekening van resultaten Nationaal Kiezers Onderzoek – R. Voogt
- Mensen slimmer dan negers – Hans van Maanen
- Hogere respons mogelijk bij steekproefonderzoek – Ineke Stoop
8 reacties so far ↓
Nick // mei 24, 2007 bij 1:58 am |
Het eerste wat ik me al afvroeg was wat de foutenmarge is op deze peiling. Ze werd anders nergens vermeld in het vrt-nieuws.
Andhi // mei 24, 2007 bij 8:22 am |
@ Nick: “Minimum 0,3% en maximum 1,5%”, zegt mijn madam (die de peiling gedaan heeft).
Zo staat het trouwens ook in het technisch rapport bij Febelmar (zoek op ‘betrouwbaarheidsinterval’).
Saskaya // mei 24, 2007 bij 8:51 am |
En wat die andere vragen betreft, kan ‘de madam’ misschien ook wat klaarheid brengen.
Nooit vergeten dat die non-respons gebaseerd is op de totale bruto-steekproef van de omnibus waarin die politieke vragen zitten. Mensen worden gebeld, en wordt gevraagd of ze willen meedoen aan een enquête. Daarvan zegt de overgrote meerderheid al direct ‘nee’ (wie van jullie zegt wel ‘ja’ op zo’n vraag?). Dan krijgen ze verschillende onderwerpen op rij voorgeschoteld, en na elk onderwerp krijgen ze de mogelijkheid om te stoppen. Soms zit de politieke peiling in het begin, maar soms ook helemaal achteraan, des te meer kansen voor de respondenten die al zo vriendelijk geweest zijn om wél mee te doen, om te zeggen dat het nu wel welletjes geweest is.
De effectieve non-respons van de politieke peiling, dus de mensen die letterlijk zeggen dat ze niet willen meedoen aan een peiling over politiek, ligt wel degelijk erg laag bij ons, veel lager dan de 70% waar jij op uitkwam, en véél lager dan bij de meeste politieke peilingen.
De “slechts 4%” waar jij naar verwijst, geeft trouwens niet de non-respons aan. Non-respons gaat over het percentage mensen die niet willen meedoen aan die enquête. Die 4% waarover sprake in het artikel, gaat over de mensen die op de specifieke vraag over stemvoorkeur niet wilden antwoorden. Get your facts straight before you criticize.
En tot slot, wees maar zeker dat er hier heel veel zorg besteed wordt aan het representatief maken van de steekproef. Er wordt gekeken naar belachelijk veel socio-demografische kenmerken die representatief moeten zijn voor de bevolking waarover sprake is, er wordt achteraf herwogen op die zaken én op vorig stemgedrag (om de VB-stemmers niet te onderschatten bv, want die durven al wel eens verzwijgen voor wie ze zullen stemmen) en er wordt ook niet losjes omgesprongen met contactprocedures. Zo volstaat het niet om één keer de telefoon niet op te pakken om uit de steekproef te vallen, bij afwezigheid wordt dezelfde nummer immers nog 2 keer gecontacteerd op andere tijdstippen, alvorens dit adres echt te schrappen uit de steekproef.
Ik spreek hier natuurlijk enkel voor onze peilingen, en wij zijn hier ook niet altijd even enthousiast over ‘internetpeilingen’ en andere snelle oplossingen voor prangende politieke vragen, maar wij gaan echt wel met zorg om met onze cijfers.
journalinks // mei 24, 2007 bij 7:06 pm |
@ Saskaya:
Als lid van Febelmar onderschrijven ze ook duidelijke richtlijnen in die zin.
Eerst en vooral: erg bedankt voor je reactie.
Toch blijf ik met dezelfde vraag zitten: wat is de ware non-respons? Niet dat ik de semantische toer op wil, maar non-respons staat voor mensen die weigeren aan het onderzoek mee te werken of die bepaalde vragen van een vragenlijst weigeren te beantwoorden (Slotboom in Statistiek in woorden – Wolters-Noordhoff). Jij lijkt non-respons te beperken tot mensen die niet willen meedoen aan de enquête. Hoe kun je inzicht krijgen in de (grootte/reden van de) non-respons van deze peiling als je de motivering van mensen die niet willen deelnemen aan de omnibus-enquête of vroegtijdig afhaken niet bestudeert? Worden de mensen ook niet op voorhand ingelicht dat de omnibus-enquête waaraan ze gevraagd worden deel te nemen eveneens politieke vragen bevat?
Die slechts 4% van de ondervraagden die niet kan of wil antwoorden haalde ik uit het gelinkte artikel uit De Standaard. (Op de vraag ‘als er vandaag verkiezingen zouden zijn voor de Kamer, op wie zou u dan stemmen’ kan of wil immers slechts 4 procent van de ondervraagden niet antwoorden. Van de overgrote meerderheid die een partij opgaf, verklaarde 48 procent ‘vrij zeker te zijn’ op 10 juni voor dezelfde partij te zullen stemmen en ‘een redelijk uitgesproken voorkeur’ voor een partij of politicus te hebben. 25 procent hield het op ‘nog niet zeker’ en ‘een lichte voorkeur’. 26 procent ten slotte koos voor ‘nog niet zeker’ en ‘helemaal geen voorkeur’.) Was er misschien een antwoordoptie opgenomen ‘Ik wil niet antwoorden op de vraag’ bij deze enquêtevraag? (Niet willen antwoorden op een vraag is een vorm van non-respons.)
Je geeft ook mee dat er veel minder mensen dan 70% niet bereid waren om aan de peiling deel te nemen. Voor de zekerheid: ik bedoelde van de in totaal 17.664 gecontacteerde mensen (al moeten natuurlijk de mensen die bijvoorbeeld niet-stemgerechtigd zijn eerst uit die totale lijst van gecontacteerden geschrapt worden). Hoeveel mensen hebben er dan precies geweigerd deel te nemen aan de omnibus-enquête en aan de politieke vragenlijst (en hoeveel hebben er vroegtijdig afgehaakt of specifieke vragen uit de politieke vragenlijst geweigerd te beantwoorden, enz.)?
Natuurlijk geloof ik dat TNS Media heel nauwkeurig omgaat met haar peilingswerk – en gelukkig maar.
Al is representativiteit (van socio-demografische kenmerken) eigenlijk maar één element van het verhaal, ook het toevalskarakter bij de samenstelling van de steekproef is van belang – zeker mocht blijken dat er sprake is van een selectieve uitval. Het blijft voor mij dus onduidelijk hoe toevallig (in statistische zin natuurlijk) die non-respons is.
Filip van Laenen // mei 27, 2007 bij 7:34 am |
Ik wil toch even opmerken dat die «non-respons» bij de andere peilingen van De Standaard/VRT niet anders was. Zie bijvoorbeeld de vorige peiling (http://www.febelmar.be/reports/tnsmedia150307.html)
Saskaya // mei 29, 2007 bij 12:49 pm |
Ik was me natuurlijk niet bewust van het feit dat ik op semantiek ging gepakt worden, anders had ik mijn woorden wel net iets zorgvuldiger afgewogen alvorens op ’submit’ te drukken
Uiteraard heb je gelijk dat non-respons ruimer is dan enkel wie niet aan de enquête begonnen is. Ik wees enkel op het feit dat je met je vergelijking tussen de 70 à 75% die je zelf berekend had en de 4% die in dat artikel stond, appelen met peren stond te vergelijken. Want die 70 à 75% ging over de totale non-respons, dus de mensen die afhaakten in de omnibus, en de 4% ging over de non-respons op de specifieke vraag naar stemvoorkeur.
En ja, in die vraag heb je ook de mogelijkheid ‘weet niet’ te antwoorden. Niet zonder slag of stoot, geloof me. Want onze enquêteurs wordt echt wel opgelegd door te vragen in zo’n geval, en in de peilingen is er in geval een respondent toch zegt dat hij het niet weet, nog een extra vraag gesteld in de trant van ‘maar als je nu echt MOET, voor wie zou je dan stemmen’. Ik weet zelfs niet waar die bewuste 4% vandaan komt, want in mijn tabellen heb ik 0.7% staan die uiteindelijk toch nog ‘weet niet’ heeft geantwoord, en 2.4% die expliciet zeggen niet te willen antwoorden op deze vraag (want ja, dat kan ook, je kan mensen via de telefoon echt niet dwingen om te antwoorden
).
Wat je berekening van 70 à 75% betreft dan, heb je gelijk. Zo’n groot percentage haakt inderdaad af in de loop van de omnibus, maar again, dat is niet onlogisch, ik denk dat de meerderheid van wie dit nu aan het lezen is, ook zal afhaken als ze een enquêteur aan de lijn krijgen na een lange werkdag (al zullen we er maar vanuit gaan dat de lezers hier sympathieke mensen zijn die mijn job wat gemakkelijker willen maken
). Wij doen er ook alles aan om die mensen tóch nog zover te krijgen dat ze meedoen, maar bon, again, je kan ze niet dwingen.
Wat de werkelijke redenen zijn waarom ze niet willen meedoen, tja, daar hebben wij natuurlijk ook het raden naar, dat kan gaan van een algemene afkeer van zo’n dingen, over ‘eikes, ik had vandaag al zo’n rotdag’, tot ‘mijne kleine is juist van de trap gedonderd en zit hier half dood te bloeden’. Om maar te zeggen, dat kan een structurele reden zijn, maar ook een debiele toevalligheid. En zoals al gezegd, in geval van zo’n debiele toevalligheid, maken we een afspraak om terug te bellen, maar sommige mensen stapelen nu eenmaal de debiele toevalligheden op
Wat ik wél weet, is dat ondanks dat probleem van een grote non-respons, eigen aan alle soorten onderzoek en dus niet alleen politieke peilingen, we wel heel zorgvuldig omgaan met representativiteit. En jij kan dan wel zeggen dat dat maar 1 element in het verhaal is, en dat is waar, maar het is toch cruciaal en niet te onderschatten in de correcte weergave van een peiling. Als je al een correct weergave van je universum hebt op vlak van leeftijd, geslacht, beroep gezinshoofd, provincie, stedelijk of ruraal woongebied e.d. (en bij politieke peilingen ook vorig stemgedrag), dan heb je echt al wel veel. Het zou een beetje onbegonnen werk zijn om ook te beginnen wegen op de hoeveelheid groenten en fruit die ze elke dag eten en of hun kinderen naar de chiro dan wel de scouts gaan.
Tot slot nog effe zeggen, in dit geval is het soms net wél “shoot the messenger”. Je zal ons nooit horen zeggen dat Open VLD zoveel of zoveel zetels zal halen. Maar ja, “volgens een peiling bij xxx Vlamingen van 18 jaar en ouder, bereikbaar via vaste lijn of gsm, haalt open VLD xx%, met een foutenmarge van xx%, wat dus betekent dat de werkelijke waarde met een zekerheid van 95% tussen xx% en xx% ligt”, staat naar het schijnt niet zo mooi in een krantenkop
Daarom vind ik het ook leuk om dit hier allemaal te lezen, want jij stelt je heel terecht grote vragen bij de hele praktijk van politieke peilingen. Maar we doen ons best, you know
sp // juni 2, 2007 bij 12:21 pm |
@saskaya
interessante feedback, waarvoor dank.
wat ik me nog afvroeg nav uw verhaal: wordt een krant, als opdrachtgever van een opiniepeiling, door het onderzoeksbureau, als uitvoerder, er ook soms op gewezen wanneer men in de verslaggeving in die krant uit de bocht gaat? Ik zeg maar iets, wanneer analyses op subgroepen van bepaalde electoraten gedaan worden en dit, gezien de kleine absolute aantallen, echt onzinnig is? Ziet u dit nog als de verantwoordelijkheid van het marktonderzoeksbureau, of ligt dit, gezien de verhouding tussen beide partijen, moeilijk?
René Melis // juni 2, 2009 bij 2:43 pm |
Peilingen zijn erg betwistbaar. Hij/zij die ze moeten opmaken zijn onderhevig aan hun werkgever/resultaat.
Er zijn geen echte peilingen. Het resultaat van de som is de (verplichte) verkiezing op 9 a.s.