Eu credeam că m-am oprit din a posta despre exit-poll-uri pe runda aceasta de alegeri.
Dar iată că trebuie să dau cezarului ce e al ... IRES-ului, care a postat pe propriul site informație completă și mai mult decât atât despre cum a făcut exit-poll-urile din ambele tururi.
Bravos și link. Este util de citit chiar și dacă nu sunteți specialist în domeniu. Sunt lucruri interesante de învățat chiar și dacă aveți o diplomă în domeniu și o spun fără a fi encomiastic.
Oare va mai reacționa vreo altă casă de sondare?
PS. A se vedea și explicațiile suplimentare din comentariile la postările mele anterioare pe această temă, mai ales la cea de ieri.
După ce am explicat premisele, e momentul să vorbesc despre cauzele crizei exit poll-urilor. Am trei factori de care o să vă vorbesc: lipsa de resurse, preocuparea redusă pentru imaginea publică, group-think-ul.
Hai să recapitulăm. Principala grijă a unui sondor, conform manualului WAPOR/ESOMAR e să nu scadă încrederea publicului în ceea ce face. Pentru asta e nevoie în primul rând de transparență mare și explicații atente, și în al doilea rând de calitate ridicată a produsului.
Argumentul meu este că prima, reflectată în respectarea strictă a manualului WAPOR/ESOMAR o atrage pe a doua. Asta fiindcă obligă sondorul să își amintească ce are de făcut.
Am mai spus că la noi piața te obligă să lucrezi la costuri foarte mici. Acest lucru implică automat rabat la calitate. Dacă vii cu preț mult mai mare decât restul concurenților, nu ai cui să vinzi produsul, indiferent de faptul că este infinit mai bun decât al celorlalți.
Mircea mi-a atras atenția asupra marjelor de eroare în postarea sa de pe site-ul Romanian Election Studies (v-am zis că acolo nu am avut bani să vedem cum au decurs alegerile acestea, deși îi câștigasem și aveam contract în acest sens? Abilitatea celor ce gestionează cercetarea în România ne-a fost din nou de mare folos.) Marja de eroare, spune el, e un pic mai mare decât la simplu aleatoriu pentru că eșantionarea este de fapt cluster.
O să fiu un pic tehnic, non-sociologii pot sări acest paragraf, deși îl scriu simplificând enorm lucrurile: ceea ce se eșantionează sunt secții de votare. În interiorul lor se selectează indivizi. Dar cum acești indivizi nu sunt selectați din populația de votanți potențiali, ci din cea care votează efectiv, secțiile acționează ca și clustere, nu ca și straturi. Este prin urmare vorba de o eșantionare mai degrabă cluster decât stratificată. E adevărat că stratificarea (în selecția secțiilor) mai reduce din erori și dacă ai cunoaște a priori ratele de participare la vot ai putea ajusta (prin ponderare) (în opinia mea) eșantionul în așa fel încât să fie stratificat, însă acest lucru nu ar fi posibil la ora închiderii urnelor. Prin urmare rămâi cu o eroare mai mare.
Ca să scazi eroarea de eșantionare, ai nevoie de mai multe secții. Acest lucru înseamnă mai mare dispersie geografică, deci mai mulți bani. Dar ești pe acea piață de yesmeni de care am vorbit în postarea anterioară. Așa că ai șanse bune să dai chix în imaginea publică dat fiind că așteptarea este să ai o eroare mică, când tu lucrezi cu una mare.
Dar problema mea, ca sociolog, nu sunt problemele care explică de ce imaginea publică a sondării a avut de suferit, ci mai ales cum se poate face ca aceste probleme să nu mai apară. Și mă întorc la manual:
Niciuna din firmele de sondare nu a publicat numărul de secții în care a operat. Niciuna dintre ele nu a anunțat că lucrează cu un eșantion cluster. Exceptând IRES, nici o firmă nu a publicat eroarea estimată. Exceptând IRES, niciuna nu a indicat public, în scris, pe site-ul propriu sau pe cel al beneficiarului, mărimea eșantionului cu care lucrează. Informații despre cum au fost realizate interviurile, tipul de selecție în secție, întrebările adresate, procedurile de ponderare folosite, acoperirea geografică a sondajului, în fine, tot ceea ce spune manualul WAPOR/ESOMAR … ei bine, acestea sunt inexistente din păcate.
Poate astfel de informații par prea complicate. Uite aici un link către raportări din SUA: 2014, 2004. Parcă 2004 e anul acela când exit-poll-urile au estimat greșit rezultatele la americani? Dar parcă la ei casele de sondaj au dat detalii despre ce au făcut și s-au asigurat că își respectă profesia, ca să prevină scăderea încrederii și a plăților dacă greșesc cumva.
ARP a atins culmile non-raportării: întreaga presă i-a făcut publicitate vorbind despre un exit-poll care nu a existat, dar nici nu a fost negat foarte hotărât.
Al treilea factor este group-think-ul. E interesat de observat că toți eram convinși că Ponta va fi învingătorul. Mulți spun că până și Iohannis era sigur de asta. Era greu de crezut că staff-ul PSD va fi atât de prost și de nerod (da, acestea sunt cuvintele potrivite) încât să piardă a treia oară la rând alegerile prezidențiale pe care le avea în mână. Dar PSD și-a manifestat din nou aroganța, contagioasă, incredibilă pentru un partid de stânga (dar chiar sunt Năstase, Geoană sau Ponta oameni de stânga?? Oare refacerea lui Ponta în Dubai chiar este un gest de om echilibrat în condițiile în care Guvernul care îi plătește salariul nu a propus un buget??). Ca și în 2004 sau 2009, staff-ul PSD a celebrat victoria după turul I, așa cum dinamoviștii s-au pregătit cândva de Liga Campionilor.
Sondajele au indicat constant în cele două săptămâni dintre tururi că lucrurile vor sta altfel. E adevărat că nu au devenit publice, dar sondorii observaseră, din câte știu, încă de la finalul rimei săptămâni dintre tururi că diferența dintre cei doi era deja în marja de eroare. Numai că ce devenea public era imaginea falsă despre victoria lui Ponta. Și pe acest fond sa instalat group-think-ul, făcând ca două dintre sondaje să dea rezultatul despre care credeau că este credibil sau în care sperau, sau poate chiar făcând ca operatorii de teren ale acestor case să raporteze ce credeau că șefii lor vor să audă.
E meritoriu în acest context faptul că CURS și IRES au indicat rezultate în direcția corectă. Dar, în opinia mea, cele două case sunt de blamat că, la fel ca acum 5 ani, la fel ca acum un an, la fel ca mereu, nu încearcă să pună presiune pe piață pentru a crește nivelul de profesionalism al acesteia și, implicit, al lor. Acest lucru este simplu, așa cum am argumentat mai sus. Presupune doar respectarea simplă a manualului ESOMAR/WAPOR care nu arată întâmplător așa cum arată.
Bref, România nu a pedepsit doar aroganța Marelui Plagiator, dar ne-a oferit din nou ocazia să învățăm că yesmenii se pârlesc până la urmă, că nu e suficient să ne ducă mintea ca să fim profesioniști, ci e nevoie de multă muncă, iar a face politică simultan cu a sonda opinia nu prea merge. Am mai învățat că trebuie să avem încredere în rezultatele bine culese și să le prezentăm ca atare. Nu este suficient faptul că, spre exemplu, CURS a fost cel mai apropriat de rezultatul corect, dacă nu l-a prezentat ca atare.
O campanie de presă prin care să discutăm despre marja aceea de eroare, despre cum faci să crești numărul de puncte de eșantionare și prin care IRES și CURS să explice cum ar putea să fi fost mai aproape de rezultatul final, ar mai curăța și piața de firmulițe de sondare care fac treaba după ureche: ele ar învăța cum se fac lucrurile, iar prețurile pe piață ar crește.
România este o țară interesantă. Oamenii din ea se bucură adesea așa de tare să audă ce își doresc, că nu sunt dispuși să plătească pentru o evaluare corectă.
Uite un exemplu: să zicem că ești o agenție publică, comanzi un sondaj, și prezinți rezultatele public. Ai făcut sondajul pentru că vrei să îmbunătățești calitatea serviciilor pe care le oferi, fiindcă vrei să te asiguri că acei cetățeni care vin la tine pleacă mulțumiți de modul în care au găsit soluțiile pe care le căutau, pentru că vrei ca ai tăi angajați să aibă un serviciu mai liniștit.
Dar când faci sondajul, decizi că te pricepi mai bine și tai din chestionar tot ce ți se pare inutil, că, la urma urmei, te pricepi mai bine decât cei de la casa de sondare. Iar când faci publice rezultatele, în conferință de presă, ceri să vezi PowerPoint-ul cu multe zile înainte, și tai din el tot ce crezi tu că nu e relevant. Întâmplător, ce crezi tu că nu e relevant sunt părțile despre care consultantul insistă să îți spună că sunt esențiale. Dar ce contează asta, din moment ce acelea pot fi interpretate ca fiind locuri în care poți să îți îmbunătățești activitatea iar tu ești o agenție care funcționează perfect?
Prin urmare, sondajul e maltratat de la început, de la designul chestionarului. Cenzura apare apoi la rezultatele care nu sunt conforme cu ce știai tu dinainte. Și plătești bani pentru asta doar fiindcă nu ai încotro, așa că preferi o firmă ieftină. Cât mai ieftină.
Mi-a fost simplu să dau exemplul beneficiarului agenție publică. Dar sunt atât de multe momentele în care publicitatea pe care o văd la TV include erori flagrante, încât îmi amintesc de creativi, bine plătiți, acceptând ca rezultate a testărilor lor doar acele sondaje sau interviuri de grup care confirmă propria creație. Iar ele, firmele de publicitate și agențiile publice sunt cam principalii clienți pe piața de sondaje și analize sociale.
O piață care prezintă prin urmare o nișă fantastică pentru yesmen și „merge și așa”. De ani de zile, dacă vrei să organizezi o licitație de atribuire a unui contract pentru un sondaj, cum dovedirea calității în domeniu e complicată, iar singurul criteriu acceptabil legal la departajare e cel al prețului cel mai mic, riscul de a ajunge să lucrezi cu o firmuliță complet deprofesionalizată este enorm.
Astfel de firme împânzesc piața, oferind prețuri mici, mici de tot, și creând așteptări clare din partea clienților în ce privește costul real al sondajelor. Ceea ce pune presiune pe orice alt concurent să se alinieze la costurile cu pricina.
Dar costuri mici, înseamnă... Logan versus Megane, dacă vreți o comparație.
Sau să nu poți avea un staf un pic mai numeros.
Iar asta se va vedea dacă ajungi să faci un exit-poll. Fie dai rezultate la întâmplare, cum bănuiesc că au făcut unele agenții de sondare, convinse însă că fac lucrurile profesionist, fie te lupți cu lipsa de bani și scoți ce poți din puținul cu care ești silit să lucrezi, așa cum s-a petrecut cu altele.
Credeați că voi vorbi direct despre rezultatele de la exit-poll-uri? O fac peste două ore ;)
Dacă nu ați înțeles mesajul simplu al celor două postări anterioare, îl rezum în două fraze:
Toate exit-poll-urile au greșit estimarea. În același timp au realizat performanța de a se plasa departe de standardele propriei profesiei, la care au aderat voluntar.
Hai acum să explic mai pe larg starea de fapt. La cauze mă voi uita însă abia în postarea de duminică.
Standardele profesionale. Pe site-urile celor șase case de sondare și ale companiilor cu care au lucrat nu se regăsește aproape nimic din informațiile pe care ESOMAR și WAPOR le recomandă ca obligatorii în momentul difuzării de exit-poll-uri. Reamintesc că ARP nu a făcut exit-poll în turul II conform unui sfert de informație difuzată public de directorul firmei cu pricina, așa că m-am uitat la ce au făcut în turul I. CURS și Avangarde nu au realizat un exit-poll complet, ci se pare că s-au referit doar la populația din țară. Cum însă această informație nu a fost una clar transmisă, lipsind complet de pe site-urile celor două agenții de colectare a datelor, nu rămâne decât să folosesc cazul ca exemplificare perfectă pentru argumentul meu de aici.
Manualul ESOMAR/WAPOR încearcă să asigure faptul că informația transmisă de casele de sondare ajunge nedistorsionat la receptori. Bazat pe experiențe din lumea întreagă manualul acela, NERESPECTAT DE NICIUNA DIN CASELE DE SONDARE ce au făcut exit-poll-uri, spune ce trebuie să faci ca să te protejezi în fața erorilor și ca să informezi corect, cinstit, pe beneficiarii tăi direcți și indirecți.
De exemplu, se recomandă să menționezi dimensiunea eșantionului (doar IRES o face). Și să spui despre marja de eroare (doar IRES o face; trebuie spus că acum 5 ani CURS a făcut publice unele detalii la o săptămână distanță, iar față de alegerile europarlamentare, CURS a făcut publice unele detalii la câteva luni distanță).
Ei bine, aici e aici. Dimensiunea eșantionului și marja de eroare sunt legate. Dacă faci un eșantion simplu aleator și eșantionul acesta are cam 15.000 de cazuri, marja de eroare în care poți să garantezi cu o încredere de 95% că s-ar încadra un procent estimat la 50% este de +/-0.73 puncte. Dacă procentul acela e mai mare sau mai mic marja de eroare scade.
Știu că e mai greu cu cifrele, dar asta înseamnă cam așa: dacă o casă de sondare X a zis că Iohannis are 50,5% și a folosit un eșantion simplu aleatoriu de vreo 15.000 de inși, atunci de fapt Iohannis are intre 51,2% și 49,8%. (și putem avea 95% încredere că așa e!)
Mai departe: orice rafinare profesionistă a metodei de eșantionare (spre exemplu să îl faci stratificat) scade marja de eroare. Dacă volumul eșantionului crește, marja scade. Dacă eșantionul scade, marja crește. Spre exemplu, pe la 3000 de cazuri, marja de eroare este de 1,79% (pentru un procent de 50% garantat cu probabilitate de 95%).
Hai să judecăm acum ce au făcut sondorii noștri: IRES a avut cam 19.000 de cazuri. A raportat o marjă de eroare de 1,9%!!!!! Semnele acelea de exclamare le-am adresat și pe viu grai cui trebuia.
Restul casele de sondare nu s-au sinchisit să spună ce fel de eșantionare și câți indivizi au intervievat. Asta poate face un suspicios să se întrebe dacă au făcut cu adevărat sondaje :).
Lăsând gluma la o parte, e de așteptat ca fiecare din exit-poll-uri să fi avut măcar 10.000 de respondenți. Adică o marjă de eroare de cel mult 0,98%. Stratificarea eșantionului o poate reduce cu destul de mult. Dar și fără stratificare, tot ajungem sa observăm că, și dacă s-ar fi referit doar la votanții din țară, estimările caselor de sondare sunt eronate: procentele lui Iohaniss și Ponta sunt în afara intervalelor de încredere aferente cifrelor pe care le-au dat publicității.(vezi o sinteză a estimărilor respective la Ovidiu-de-la-colțul-străzii)
Sau poate nu o fi așa, și sunt și alte părți de populație neacoperite de exit-poll-uri. Cum însă cele șase case de sondare au uitat să ne ofere detalii în acest sens, nu avem de unde ști.
Bref: exit-poll-urile au nimerit pe lângă țintă și nici nu au respectat standardele profesionale din domeniu. Vă voi vorbi despre cauze și consecințe abia duminică.
Disclaimer. În postarea aceasta m-am referit ca exemple la IRES și CURS. Trebuie notat nu doar faptul că cele două companii au nimerit măcar câștigătorul, dar trebuie spus și faptul că m-am referit la ele fiindcă pe site-urile lor (mai ales la IRES) mai găsești câte ceva. La restul, e doar câte un site lipsit de conținut relevant. CSCI, de exemplu, a pus un grafic cu o plăcintă împărțită în două părți egale. Avangarde, Sociopol nu au pus nici atât. Alte detalii sunt oricum de negăsit pe nicăieri.
În postarea precedentă v-am povestit cum de fapt nu au fost cinci exit-poll-uri, ci trei și jumătate.
Hai să vedem acum, dacă acestea au lucrat „by the book”, cum se lăuda directorul unei case de sondare.
Agențiile de colectare a datelor ce au produs sau despre care s-a spus că au produs exit-poll-uri, se fălesc cu faptul că fac treabă profesionistă. Câteva afișează la vedere pe site-ul propriu apartenența la ESOMAR și WAPOR, asociații internaționale ce promovează calitatea în cercetarea de piață și socială.
ESOMAR/WAPOR au inclusiv reguli clare (un soi de manual comun), indicând cum se face un exit-poll profesionist. CURS SA chiar include pe locul cel mai vizibil al paginii sale de Internet un link către acest manual.
Ghiciți câte din exit-pollurile românești au respectat manualul?
Pentru a răspunde am procedat astfel: am investigat site-urile caselor de sondare: Sociopol, IRES, Operation Research (cei ce culeg datele pentru CSCI), CURS SA, Avangarde, ARP (pentru turul I). M-am uitat de asemnea pe site-urile televiziunilor ce au plătit pentru produsele celor amintiți mai sus. Și am comparat informația existentă acolo cu ce scrie în manual.
Manualul e clar: are o secțiune mare despre ce trebuie să se raporteze după un sondaj ce devine public. Ei i se adaugă o parte consistentă ce aduce completări specifice pentru cazul exit-poll-urilor. Mai spune manualul că aceste informații trebuie făcute publice în mod cât mai explicit și că e o obligație a „sondorilor” să mențină încrederea publicului în sondaje și în meseria cu pricina.
Am selectat principalele prevederi ale manualului. Le listez în engleză, pentru că sunt leneș de felul meu și, în plus, știu că am cititori cultivați :). În listă am înroșit acele puncte atinse de toate casele de colectare a datelor. Am pus cu albastru pe fundal galben acele puncte atinse doar de unele agenții. Restul, adică ce nu e atins de nimeni, fie nu e inclus în rândurile de mai jos, fie a rămas cu font obișnuit.
Nu comentez acum, ci în postarea următoare, mai pe seară. Acum vă las să priviți datele.
Extrase din manualul ESOMAR/WAPOR.
Ce trebuie să fie adus la cunoștință publicului după un sondaj/exit-poll:
• The name of the firm conducting and analysing the exit poll and its sponsor;Prevederi explicite pentru ce trebuie raportat după exit-poll (selecție)
• Number of interviews;
• Whether the sponsor of the exit poll has any ties to political parties, candidates, political organisations or governmental bodies;
• Number of polling stations or sampling points and how they were selected;
• The sampling frame and the sample’s geographic dispersion and coverage;
• Any legal limits on data collection that might affect polling accuracy (e.g. minimum distance of interviewers from the polling station);
• Whether interviewing was conducted throughout the election day or for only part of the day and if people who have voted before election day have been included;
• Whether interviewers are part of a permanent field staff or hired for the occasion;
• How respondent anonymity is guaranteed (paper questionnaires, etc.);
• Which results are based on parts of the sample, rather than the whole sample;
• The interview schedule or questionnaire and instructions;
• A description of the precision of the findings, including estimates of sampling error;
• Monitoring and validation procedures (if any);
• The demographic and behavioural characteristics used for weighting;
• Response rates and item non-response on vote questions and any known non-response bias;
• General description of how estimates are made, the kinds of variables being used, and whether adjustments for non-response have been made and have known design effects.
• The universe effectively represented (i.e. who was interviewed), whether the poll sample included all adults or only eligible or likely voters, the geographic range of the poll (country, province, state, electoral district, city) and whether certain groups were excluded from the design (those without landline telephones or internet access, for example).
• The sampling method used.
• The method by which the poll was conducted (face-to-face, telephone interview, internet access panel, mixed mode etc.).
• The relevant questions asked.
• Certainly where tabular data are given, the full question wording must be included. On websites, the full question wording must be made available, together with, as a minimum, the answers for the weighted sample in total. These answers should include “Don’t know and non-response.”
(va urma ... mai pe seară)
Poate mai sunt oameni care își aduc aminte comentariile mele de după alegerile prezidențiale din 2009. Observam atunci destul de surprins câtă naivitate este în activitatea caselor de sondaj din România, sau, în fine, a celor cinci ce contribuiseră la patru sondaje din care trei se dovediseră eronate.
Am vrut să fac același lucru și anul acesta și am norocul că este cineva care mi-a ușurat munca: Ovidiu de la colțul străzii e cel ce s-a uitat și a discutat destul de în amănunt cum nu au nimerit cele patru-cinci exit-poll-uri procentele. Dar nu atât preciza estimării mă interesa (aici e simplu: nimeni nu a nimerit rezultatul, plasat la toate casele de sondaj în afara marjei de eroare, care pentru unii de transformă în marjă de oroare). Mai importante sunt cauzele pentru care toate estimările au eșuat.
Și totul începe cu această adevărată comedie a erorilor: câte exit-poll-uri au fost, de fapt???
Una din casele de sondaj implicate (ARP) susține că nu a avut nici un sondaj în ziua respectivă și că ei nu știu ce fel de rezultate a difuzat Realitatea TV! Cum însă ARP nu are nici un fel de anunț pe pagina sa de Internet, ci doar pe Facebook, pare că și-a băgat cineva coada pe undeva.
 |
| Comentariu pe pagina de Facebook a lui Ovidiu de la colțul străzii |
Să fie clar: pagina oficială a companiei cu pricina nu spune nimic. Anunțul este făcut exclusiv pe Facebook, o rețea de socializare, nu de bussiness. La fel de bine puteau da dezmințirea la mica publicitate sau la avizierul blocului. Profesionalism curat, venit din partea unor oameni care au o bună părere despre munca lor. ARP a mulțumit pe Facebook și pentru promovarea gratuită de care au beneficiat duminică seară, semn că nu i-a deranjat (vezi screen capture)!
 | |
| Sursa: https://m.facebook.com/AgentiaRatingPolitic |
Și astfel rămânem cu patru sondaje.
Sau mai degrabă cu trei și jumătate...
Pe când pregăteam această mini-analiză, marți dimineață, îl aud la RFI pe Cătălin Stoica, directorul CURS, afirmând că el a spus la TVR că rezultatele sunt reprezentative doar pentru votanții din interiorul României, nu și pentru diaspora. Sunt convins că așa a făcut. Dar pe site-ul CURS nu se zice nimic în acest sens. Nici pe site-ul TVR. Nici pe site-ul Avangarde, partenerii celor de la CURS SA.
Așa că rămânem cu trei exit-poll-uri … și jumătate.
(va urma ... mâine dimineață)
Ian McEwan - Children's Act, 2014
Random thoughts about the novel:1. This is that kind of book that reminds you what justice is about.
2. Another of Ian McEwan's introspections into what is life and how we use it.
3. A quite predictable silent switch for McEwan 's interests. This time the focus is on what some times ago it would have been called elder age. But in OUR contemporary world, being in your sixties is to live a second youth. I would say that this is the main message of the book: longer life doesn't mean a calm and long retirement; new challenges are to answer, new things to experiment, new situations to cope with, and love, fears, wisdom are always there, since we are still human and ... pretty much alive .4. As always, McEwan's book is a fresco of small things that makes the real life lovely. I do wonder how my daughter would read this book 20 years from now, knowing what her parents went through , maybe understanding them better than they actually do right now, and knowing how society changed since.
5. Yes, McEwan would deserve a Nobel ;). However, not for this novel, which I found less convincing. The theme is exciting, but McEwan did not manage to accomplish a text of the same high level that we were used to retrieve in its novels. Some more refinement of the intrigue would have been required in my opinion.
Now, if you need a spoiler, read these keywords: 60 years old couple, divorce, euthanasia, children, custody, justice and religious beliefs, childlessness, children rights, justice and ethics, life as a judge, open marriage.
The book is structured on several plans, but they simply interpenetrate and support each other in building a coherent argument and delivering the main messages. Nevertheless, McEwan does net provide solutions, but rather formulates questions and points to fundamental dilemmas that humankind is currently facing.
If you are prone for more spoilers, check out these links : transblawg (includes reference to the enthusiasm with which the British legal community received the book), Maggie Galehouse's Bookish, and a video presentation by McEwan himself.
My rating for the book: 6 out of 10.
Abonați-vă la:
Postări (Atom)
