Exit-polls 2014: (I) cei șase apostoli au fost trei

Poate mai sunt oameni care își aduc aminte comentariile mele de după alegerile prezidențiale din 2009. Observam atunci destul de surprins câtă naivitate este în activitatea caselor de sondaj din România, sau, în fine, a celor cinci ce contribuiseră la patru sondaje din care trei se dovediseră eronate.

Am vrut să fac același lucru și anul acesta și am norocul că este cineva care mi-a ușurat munca: Ovidiu de la colțul străzii e cel ce s-a uitat și a discutat destul de în amănunt cum nu au nimerit cele patru-cinci exit-poll-uri procentele. Dar nu atât preciza estimării mă interesa (aici e simplu: nimeni nu a nimerit rezultatul, plasat la toate casele de sondaj în afara marjei de eroare, care pentru unii de transformă în marjă de oroare). Mai importante sunt cauzele pentru care toate estimările au eșuat.

Și totul începe cu această adevărată comedie a erorilor: câte exit-poll-uri au fost, de fapt???

Una din casele de sondaj implicate (ARP) susține că nu a avut nici un sondaj în ziua respectivă și că ei nu știu ce fel de rezultate a difuzat Realitatea TV! Cum însă ARP nu are nici un fel de anunț pe pagina sa de Internet, ci doar pe Facebook, pare că și-a băgat cineva coada pe undeva.

Comentariu pe pagina de Facebook a lui Ovidiu de la colțul străzii

Să fie clar: pagina oficială a companiei cu pricina nu spune nimic. Anunțul este făcut exclusiv pe Facebook, o rețea de socializare, nu de bussiness. La fel de bine puteau da dezmințirea la mica publicitate sau la avizierul blocului. Profesionalism curat, venit din partea unor oameni care au o bună părere despre munca lor. ARP a mulțumit pe Facebook și pentru promovarea gratuită de care au beneficiat duminică seară, semn că nu i-a deranjat (vezi screen capture)!

Sursa: https://m.facebook.com/AgentiaRatingPolitic

Și astfel rămânem cu patru sondaje.

Sau mai degrabă cu trei și jumătate...

Pe când pregăteam această mini-analiză, marți dimineață, îl aud la RFI pe Cătălin Stoica, directorul CURS, afirmând că el a spus la TVR că rezultatele sunt reprezentative doar pentru votanții din interiorul României, nu și pentru diaspora. Sunt convins că așa a făcut. Dar pe site-ul CURS nu se zice nimic în acest sens. Nici pe site-ul TVR. Nici pe site-ul Avangarde, partenerii celor de la CURS SA.

Așa că rămânem cu trei exit-poll-uri … și jumătate.

(va urma ... mâine dimineață)

Ce ştim despre cele 4 exit-poll-uri (IV)

Cele trei postări anterioare fac trimitere la datele existente în spaţiul public.

Iată şi câteva gânduri personale bazate şi pe alte informaţii despre cele 4 exit-poll-uri:

1. CSOP/IRES a dat în mod cert lovitura. Vasile Dâncu face referire la un „statistician” ce ar fi în spatele reuşitei. Opinia cu pricina mi se pare a fi o impoliteţe: faptul că majoritatea sociologilor români nu au competenţele de mânuire a datelor pe acre le are cel din spatele reuşitei CSOP/IRES, nu îndreptăţeşte pe nimeni să îl catalogheze drept „statistician”. Aici e vorba despre a ştii să faci, nu despre a te face că ştii.

2. Omul cu pricina are o experienţă destul de lungă în cercetări academice internaţionale, cele despre acre spuneam că au condiţii de asigurare a calităţii mult mai dure decât sondajele cu care agenţiile româneşti de sondare sunt obişnuite.

3. În plus, CSOP este parte a TNS, şi derulează de mulţi ani Eurobarometrul şi sondajele asociate. Condiţiile acolo sunt mai puţin dure ca în mediul academic, dar sunt ceva mai puternice decât cele pe care am observat că le utilizează îndeobşte casele de sondare (nu doar cele de la noi). Ca utilizator, pot spune că am avut de a face cu eşantioane româneşti de la cercetări asociate EB și de la EB care erau destul de mult distorsionate. Acest lucru se petrecea mai ales cu cele de acum 4-5 ani.

4. CURS, cei al căror exit-poll a fost în apropierea predicţiei corecte au şi ei experienţă de participare la colectare de date în cadrul unor cercetări academice internaţionale. Chiar dacă au eşuat în a propune încă un produs care să fie integrat în baza de date agregată a European Social Survey din valul 3, cel din 2006-2007, este probabil ca experienţa de acolo să le fi folosit, iar acest lucru se vede în rezultatul relativ bun (în comparaţie cu INSOMAR și CCSB) de la exit-poll.

5. Nu ştiu despre INSOMAR şi CCSB să fi fost implicaţi în cercetări care să le fi impus standarde de colectare a datelor mai puternice decât cele utilizate în mod obişnuit de casele de sondaj. Asta mă face să mă întreb dacă nu cumva experienţa internaţională de a lucra cu o rigoare mai mare nu cumva este cea care a avut un cuvânt important în diferenţele de predicţie la exit-poll. Evident, în lipsa informaţiei complete despre cele de mai sus, e greu de răspuns unei astfel de ipoteze.

6. În fine, nu cred că experienţa de a face exit-poll-uri în anii trecuţi este atât de importantă. Din câte ştiu, este bine ca să nu păstrezi un operator de interviu activ mai mult de un an. Riscul este ca acesta să se uzeze, să aibă o tentaţie mare de a frauda, să pună întrebările incomplete etc. Bănuiesc că agenţiile de sondare rotesc operatorii şi caută mereu oameni noi care să realizeze interviurile. Prin urmare ceea ce contează este probabil experienţa și capacitatea coordonatorilor locali de a selecta reţele de operatori de calitate. Cum însă nici una din casele de sondare implicate în exit-poll-uri nu au făcut oficial descrieri ale reţelelor de operatori, şi această bănuială a mea rămâne doar o ipoteză ce ar putea fi testată atunci când informaţia va deveni disponibilă.

Ce ştim despre cele 4 exit-poll-uri (III)

În fine, a treia postare pe tema aceasta.

Compar acum rezultatele între ele. Dincolo de calitatea raportării, validarea finală e dată de comparaţia cu rezultatele oficiale. Voi folosi asumpţia, la care subscriu, că nu a existat fraudă electorală care să afecteze rezultatul final. Dacă rezultatul oficial este între estimatul minim şi cel maxim pentru candidatul cu pricina, atunci putem spune că exit-poll-ul în cauză a indicat suficient de bine (adică cu o siguranţă de 95%) rezultatul final.

Tabelul de mai jos face comparaţia. Folosesc pentru CURS şi INSOMAR marje de eroare calculate de mine drept maximale pornind de la volumul eşantionului (vezi postarea anterioară). La CCSB marja de eroare este cea dată de Mirel în interviul din Gândul. La CSOP/IRES nu am dispus de marjă de eroare, însă ei oricum au oferit o un rezultat remarcabil de aproape de cel raportat de BEC.

Coloana cu „BEC-doar RO” include rezultatele oficiale la secţiile din România (le-am preluat de la INSOMAR) şi este utilă pentru a testa acurateţea CURS şi CCSB (INSOMAR şi CSOP/IRES spun că au corectat estimatele pe care le-au produs, ţinând cont şi de predicţia asupra votului din diaspora).

Estimat	BEC	BEC - doar RO	CSOP /IRES	CURS	CCSB	INSOMAR
T.Băsescu
Min			-	48,7%	48,5%	43,4%
Exact	50,3%	49,9%	50,4%	49,3%	49%	48,8%
Max			-	49,9%	49,5%	49,2%
M.Geoană
Min			-	50,1%	50,5%	50,8%
Exact	49,7%	50,1%	49,6%	50,7%	51%	51,2%
Max			-	51,3%	51,5%	51,6%
Marja err. +/-				0,6%	0,5%	0,4%

În opinia mea, rezultatele celor 4 exit-poll+uri stau cam aşa: CSOP/IRES indică scorul BEC. CURS este la limita marjei de eroare dacă ne uităm doar la voturile exprimate în România, ceea ce nu e rău, dar nici bine, în condiţiile în care se vota şi în afara României. CCSB şi INSOMAR sunt departe de a oferi estimate apropiate de rezultatele BEC, indiferent la ce estimat ne uităm.

Dacă ne gândim că la CURS şi INSOMAR marja de eroare este probabil mai mică (ţinând cont de stratificare, vezi postare anterioară), atunci doar CSOP/IRES a indicat rezultatul corect.

Cum însă CSOP/IRES este extrem de puţin transparent (public :) în ce priveşte metodele folosite, rămâne de văzut cum a reuşit să facă o predicţie corectă.

Oricum, în opinia mea, pentru toate casele de sondare ar trebui să fie un lucru clar: a ignora votul din diaspora este o opţiune nu tocmai inspirată. În plus, CCSB şi INSOMAR (şi probabil şi CURS) ar trebui probabil să găsească explicaţii suplimentare şi pentru diferenţele faţă de rezultatele BEC.

În plus, absenţa transparenţei la CSOP/IRES riscă să întreţină suspiciuni legate de posibila fraudare…

Ce ştim despre cele 4 exit-poll-uri (II)

Hai să vedem acum ce informaţii oferă public agenţiile de colectare a datelor implicate în exit-polurile din 6 decembrie. (nu folosesc în cele ce urmează date primite în particular, ci doar ce am identificat ca informaţie publică).

Aproape niciuna dintre cele cinci companii ce au organizat exit-poll-uri nu prezintă pe site-ul propriu prea multe informaţii. INSOMAR şi CURS oferă ceva detalii, apărute la cel puţin o săptămână după ziua votului şi destul de departe de standardul ESOMAR din punct de vedere al completitudinii. Ambele companii promovează însă acest standard, fie explicit (CURS), fie implicit, afirmând apartenenţa la asociaţia cu pricina. La IRES e o informaţie conform căreia au oferit un scor mai aproape de realitate decât ceilalţi. La CSOP şi CCSB nu am găsit nici urmă de informaţie despre exit-poll-uri (o fi, dar nu am găsit eu).

Pentru CURS şi INSOMAR am reuşit să aflu, numărul de secţii de votare în care au fost culese date şi volumul eşantionului, precum şi estimări ale marjei de eroare. Interviuri oferite în presă de angajaţi/patroni ai celor 5 firme mai lasă loc unor informaţii, cea mai importantă fiind aceea că CSOP/IRES a folosit în realizarea estimărilor finale o metodă (nespecificată) de corectare a rezultatului în funcţie de votul din diaspora. Site-ul INSOMAR spune că şi ei au făcut ceva asemănător. De asemenea, Mirel Palada, de la CCSB vorbeşte despre marja de eroare de +/-0,5%.

Cam acestea sunt toate informaţiile: aproape nimic din standardul ESOMAR.

Le sintetizez în acest tabel (click pe figură pentru a se mări).


Pe ansamblu, aş spune că toate casele de sondare au nevoie de strategii de marketing profesioniste.

În plus, am o nedumerire: marjele de eroare raportate de CURS și INSOMAR m-au surprins: la volumul eşantioanelor folosite (i.e număr de respindenţi), un eşantion simplu aleator ar fi avut marja de eroare de 0,6% în cazul CURS, respectiv de 0,4% pentru INSOMAR (în ambele cazuri, am calculat eroarea respectivă în ipoteza distribuţiei raportae de fiecare dintre cele două case de sondare şi pentru o încredere de 95%). Eşantioanele folosite sunt însă eşantioane stratificate, ceea ce mai scade niţel marja de eroare. Cu or fi ajuns atunci cei de la CURS, respectiv INSOMAR la +/-2%, respectiv +/-1,5%?? Oricum, în opinia mea, o marjă de eroare peste 1% este destul de mare pentru un exit-poll… Din punctul acesta de vedere, acel 0,5% de la CCSB pare mai onest.

PS. Este posibil să fie şi alte informaţii disponibile prin presă, care însă să îmi fi scăpat. Normal era însă ca agenţiile de colecatre a datelor să ofere aceste informaţii pe site-ul propriu...

Ce ştim despre cele 4 exit-poll-uri (I)

Imaginea publică despre cele 4 exit-polluri este că au cam dat-o în bară. Hai să vedem acum dacă e într-adevăr aşa sau nu. Urmează câteva postări pe tema asta. În cel de faţă anunţ criteriile pe care el urmăresc. În al doilea prezint ce ştim despre fiecare din cele 4 exit-polluri, folosind ca sursă site-urile companiilor ce le-au produs. În al treilea mă uit la rezultate și văd dacă estimatele au fost sau nu aproape de realitate.

Folosesc ca şi criteriu ghidul unei asociaţii profesionale recunoscute pe plan internaţional.

Ghidul ESOMAR/WAPOR pentru prezentarea sondajelor de opinie este disponibil în pagina ESOMAR. Acolo sunt câteva linii directoare despre informaţiile minimale la care e bine să te uiţi când judeci un sondaj şi pe care agenţia de colectare a datelor ar trebui să le facă în mod obligatoriu publice. Regulile sunt minimale, în mediul academic internaţional sunt adesea discuţii despre protocoale mult mai stricte.

Uite mai jos ce zice acolo că ar fi bine să fie raportat (articolul 5.2.1, pagina 32 şi următoarele) (nu am tradus textual, ci am căutat să pun lucrurile într-un limbaj cât mai puţin tehnic).

Punctele (a)-(i) de mai jos ar trebui făcute publice înainte de ziua votului. Restul sunt necesare în momentul anunţării rezultatelor.

(a) Cine a făcut sondajul, cine a plătit şi cine a analizat datele
(b) Câţi subiecţi au fost intervievaţi
(c) Numărul de secţii de votare din eşantion
(d) Cadrul de eşantionare (incluzând regulile minimale utilizate)
(e) Acoperirea geografică
(f) Modul de selectare al punctelor de eşantionare (secţiile de votare din eşantion)
(g) Metoda colectării datelor (telefonic, online, face-to-face etc.)
(h) limitări legale ale colectării datelor (ex. nu au fost intervievaţi cei care au votat în puşcării)
(i) cum este asigurată anonimitatea răspunsurilor

(j) dispersia orară a interviurilor
(k) caracteristicile reţelei de operatori de interviu
(l) Cum arată chestionarul
(m) specificarea faptului că unele rezultate sunt parţiale, dacă e cazul
(n) estimări ale erorilor de eşantionare
(o) Procedurile de monitorizare și validare
(p) descrierea sistemelor de ponderare folosite
(r) rata de succes (i.e. câţi au acceptat şi câţi au refuzat să răspundă la chestionar)
(s) dacă există pattern-uri cunoscute de non-răspuns (de ex.: votanţii unui anumit candidat au evitat sistematic să răspundă la chestionar)
(t) metodele utilizate pentru corectarea erorilor de la punctul anterior
(u) problemele legate de erorile generate prin modul de proiectare a eşantionului (de ex.: nu sunt intervievaţi românii care au votat în afara ţării).


Astea sunt. Postul următor vă va spune ce astfel de informaţii sunt prezente pe site-urile celor 5 companii ce au cules date în cadrul celor 4 exit-poluri de la turul II de alegeri prezidenţiale.

De ce mă uit pe site-urile agenţiilor de colectare? Păi ele sunt cele ce ar trebui să respecte codurile profesionale ale asociaţiilor agenţiilor de colectare! (m-am uitat însă şi pe la clienţi, şi prin presă, şi pe la proprietari agenţiilor cu pricina…)