Exit-polls 2014: (III) Dincolo de marja de eroare

Dacă nu ați înțeles mesajul simplu al celor două postări anterioare, îl rezum în două fraze:
Toate exit-poll-urile au greșit estimarea. În același timp au realizat performanța de a se plasa departe de standardele propriei profesiei, la care au aderat voluntar.

Hai acum să explic mai pe larg starea de fapt. La cauze mă voi uita însă abia în postarea de duminică.

Standardele profesionale. Pe site-urile celor șase case de sondare și ale companiilor cu care au lucrat nu se regăsește aproape nimic din informațiile pe care ESOMAR și WAPOR le recomandă ca obligatorii în momentul difuzării de exit-poll-uri. Reamintesc că ARP nu a făcut exit-poll în turul II conform unui sfert de informație difuzată public de directorul firmei cu pricina, așa că m-am uitat la ce au făcut în turul I. CURS și Avangarde nu au realizat un exit-poll complet, ci se pare că s-au referit doar la populația din țară. Cum însă această informație nu a fost una clar transmisă, lipsind complet de pe site-urile celor două agenții de colectare a datelor, nu rămâne decât să folosesc cazul ca exemplificare perfectă pentru argumentul meu de aici.

Manualul ESOMAR/WAPOR încearcă să asigure faptul că informația transmisă de casele de sondare ajunge nedistorsionat la receptori. Bazat pe experiențe din lumea întreagă manualul acela, NERESPECTAT DE NICIUNA DIN CASELE DE SONDARE ce au făcut exit-poll-uri, spune ce trebuie să faci ca să te protejezi în fața erorilor și ca să informezi corect, cinstit, pe beneficiarii tăi direcți și indirecți.

De exemplu, se recomandă să menționezi dimensiunea eșantionului (doar IRES o face). Și să spui despre marja de eroare (doar IRES o face; trebuie spus că acum 5 ani CURS a făcut publice unele detalii la o săptămână distanță, iar față de alegerile europarlamentare, CURS a făcut publice unele detalii la câteva luni distanță).

Ei bine, aici e aici. Dimensiunea eșantionului și marja de eroare sunt legate. Dacă faci un eșantion simplu aleator și eșantionul acesta are cam 15.000 de cazuri, marja de eroare în care poți să garantezi cu o încredere de 95% că s-ar încadra un procent estimat la 50% este de +/-0.73 puncte. Dacă procentul acela e mai mare sau mai mic marja de eroare scade.

Știu că e mai greu cu cifrele, dar asta înseamnă cam așa: dacă o casă de sondare X a zis că Iohannis are 50,5% și a folosit un eșantion simplu aleatoriu de vreo 15.000 de inși, atunci de fapt Iohannis are intre 51,2% și 49,8%. (și putem avea 95% încredere că așa e!)

Mai departe: orice rafinare profesionistă a metodei de eșantionare (spre exemplu să îl faci stratificat) scade marja de eroare. Dacă volumul eșantionului crește, marja scade. Dacă eșantionul scade, marja crește. Spre exemplu, pe la 3000 de cazuri, marja de eroare este de 1,79% (pentru un procent de 50% garantat cu probabilitate de 95%).

Hai să judecăm acum ce au făcut sondorii noștri: IRES a avut cam 19.000 de cazuri. A raportat o marjă de eroare de 1,9%!!!!! Semnele acelea de exclamare le-am adresat și pe viu grai cui trebuia.

Restul casele de sondare nu s-au sinchisit să spună ce fel de eșantionare și câți indivizi au intervievat. Asta poate face un suspicios să se întrebe dacă au făcut cu adevărat sondaje :).

Lăsând gluma la o parte, e de așteptat ca fiecare din exit-poll-uri să fi avut măcar 10.000 de respondenți. Adică o marjă de eroare de cel mult 0,98%. Stratificarea eșantionului o poate reduce cu destul de mult. Dar și fără stratificare, tot ajungem sa observăm că, și dacă s-ar fi referit doar la votanții din țară, estimările caselor de sondare sunt eronate: procentele lui Iohaniss și Ponta sunt în afara intervalelor de încredere aferente cifrelor pe care le-au dat publicității.(vezi o sinteză a estimărilor respective la Ovidiu-de-la-colțul-străzii)

Sau poate nu o fi așa, și sunt și alte părți de populație neacoperite de exit-poll-uri. Cum însă cele șase case de sondare au uitat să ne ofere detalii în acest sens, nu avem de unde ști.

Bref: exit-poll-urile au nimerit pe lângă țintă și nici nu au respectat standardele profesionale din domeniu. Vă voi vorbi despre cauze și consecințe abia duminică.

Disclaimer. În postarea aceasta m-am referit ca exemple la IRES și CURS. Trebuie notat nu doar faptul că cele două companii au nimerit măcar câștigătorul, dar trebuie spus și faptul că m-am referit la ele fiindcă pe site-urile lor (mai ales la IRES) mai găsești câte ceva. La restul, e doar câte un site lipsit de conținut relevant. CSCI, de exemplu, a pus un grafic cu o plăcintă împărțită în două părți egale. Avangarde, Sociopol nu au pus nici atât. Alte detalii sunt oricum de negăsit pe nicăieri.