Hai să recapitulăm. Principala grijă a unui sondor, conform manualului WAPOR/ESOMAR e să nu scadă încrederea publicului în ceea ce face. Pentru asta e nevoie în primul rând de transparență mare și explicații atente, și în al doilea rând de calitate ridicată a produsului.
Argumentul meu este că prima, reflectată în respectarea strictă a manualului WAPOR/ESOMAR o atrage pe a doua. Asta fiindcă obligă sondorul să își amintească ce are de făcut.
Am mai spus că la noi piața te obligă să lucrezi la costuri foarte mici. Acest lucru implică automat rabat la calitate. Dacă vii cu preț mult mai mare decât restul concurenților, nu ai cui să vinzi produsul, indiferent de faptul că este infinit mai bun decât al celorlalți.
Mircea mi-a atras atenția asupra marjelor de eroare în postarea sa de pe site-ul Romanian Election Studies (v-am zis că acolo nu am avut bani să vedem cum au decurs alegerile acestea, deși îi câștigasem și aveam contract în acest sens? Abilitatea celor ce gestionează cercetarea în România ne-a fost din nou de mare folos.) Marja de eroare, spune el, e un pic mai mare decât la simplu aleatoriu pentru că eșantionarea este de fapt cluster.
O să fiu un pic tehnic, non-sociologii pot sări acest paragraf, deși îl scriu simplificând enorm lucrurile: ceea ce se eșantionează sunt secții de votare. În interiorul lor se selectează indivizi. Dar cum acești indivizi nu sunt selectați din populația de votanți potențiali, ci din cea care votează efectiv, secțiile acționează ca și clustere, nu ca și straturi. Este prin urmare vorba de o eșantionare mai degrabă cluster decât stratificată. E adevărat că stratificarea (în selecția secțiilor) mai reduce din erori și dacă ai cunoaște a priori ratele de participare la vot ai putea ajusta (prin ponderare) (în opinia mea) eșantionul în așa fel încât să fie stratificat, însă acest lucru nu ar fi posibil la ora închiderii urnelor. Prin urmare rămâi cu o eroare mai mare.
Ca să scazi eroarea de eșantionare, ai nevoie de mai multe secții. Acest lucru înseamnă mai mare dispersie geografică, deci mai mulți bani. Dar ești pe acea piață de yesmeni de care am vorbit în postarea anterioară. Așa că ai șanse bune să dai chix în imaginea publică dat fiind că așteptarea este să ai o eroare mică, când tu lucrezi cu una mare.
Dar problema mea, ca sociolog, nu sunt problemele care explică de ce imaginea publică a sondării a avut de suferit, ci mai ales cum se poate face ca aceste probleme să nu mai apară. Și mă întorc la manual:
Niciuna din firmele de sondare nu a publicat numărul de secții în care a operat. Niciuna dintre ele nu a anunțat că lucrează cu un eșantion cluster. Exceptând IRES, nici o firmă nu a publicat eroarea estimată. Exceptând IRES, niciuna nu a indicat public, în scris, pe site-ul propriu sau pe cel al beneficiarului, mărimea eșantionului cu care lucrează. Informații despre cum au fost realizate interviurile, tipul de selecție în secție, întrebările adresate, procedurile de ponderare folosite, acoperirea geografică a sondajului, în fine, tot ceea ce spune manualul WAPOR/ESOMAR … ei bine, acestea sunt inexistente din păcate.
Poate astfel de informații par prea complicate. Uite aici un link către raportări din SUA: 2014, 2004. Parcă 2004 e anul acela când exit-poll-urile au estimat greșit rezultatele la americani? Dar parcă la ei casele de sondaj au dat detalii despre ce au făcut și s-au asigurat că își respectă profesia, ca să prevină scăderea încrederii și a plăților dacă greșesc cumva.
ARP a atins culmile non-raportării: întreaga presă i-a făcut publicitate vorbind despre un exit-poll care nu a existat, dar nici nu a fost negat foarte hotărât.
Al treilea factor este group-think-ul. E interesat de observat că toți eram convinși că Ponta va fi învingătorul. Mulți spun că până și Iohannis era sigur de asta. Era greu de crezut că staff-ul PSD va fi atât de prost și de nerod (da, acestea sunt cuvintele potrivite) încât să piardă a treia oară la rând alegerile prezidențiale pe care le avea în mână. Dar PSD și-a manifestat din nou aroganța, contagioasă, incredibilă pentru un partid de stânga (dar chiar sunt Năstase, Geoană sau Ponta oameni de stânga?? Oare refacerea lui Ponta în Dubai chiar este un gest de om echilibrat în condițiile în care Guvernul care îi plătește salariul nu a propus un buget??). Ca și în 2004 sau 2009, staff-ul PSD a celebrat victoria după turul I, așa cum dinamoviștii s-au pregătit cândva de Liga Campionilor.
Sondajele au indicat constant în cele două săptămâni dintre tururi că lucrurile vor sta altfel. E adevărat că nu au devenit publice, dar sondorii observaseră, din câte știu, încă de la finalul rimei săptămâni dintre tururi că diferența dintre cei doi era deja în marja de eroare. Numai că ce devenea public era imaginea falsă despre victoria lui Ponta. Și pe acest fond sa instalat group-think-ul, făcând ca două dintre sondaje să dea rezultatul despre care credeau că este credibil sau în care sperau, sau poate chiar făcând ca operatorii de teren ale acestor case să raporteze ce credeau că șefii lor vor să audă.
E meritoriu în acest context faptul că CURS și IRES au indicat rezultate în direcția corectă. Dar, în opinia mea, cele două case sunt de blamat că, la fel ca acum 5 ani, la fel ca acum un an, la fel ca mereu, nu încearcă să pună presiune pe piață pentru a crește nivelul de profesionalism al acesteia și, implicit, al lor. Acest lucru este simplu, așa cum am argumentat mai sus. Presupune doar respectarea simplă a manualului ESOMAR/WAPOR care nu arată întâmplător așa cum arată.
Bref, România nu a pedepsit doar aroganța Marelui Plagiator, dar ne-a oferit din nou ocazia să învățăm că yesmenii se pârlesc până la urmă, că nu e suficient să ne ducă mintea ca să fim profesioniști, ci e nevoie de multă muncă, iar a face politică simultan cu a sonda opinia nu prea merge. Am mai învățat că trebuie să avem încredere în rezultatele bine culese și să le prezentăm ca atare. Nu este suficient faptul că, spre exemplu, CURS a fost cel mai apropriat de rezultatul corect, dacă nu l-a prezentat ca atare.
O campanie de presă prin care să discutăm despre marja aceea de eroare, despre cum faci să crești numărul de puncte de eșantionare și prin care IRES și CURS să explice cum ar putea să fi fost mai aproape de rezultatul final, ar mai curăța și piața de firmulițe de sondare care fac treaba după ureche: ele ar învăța cum se fac lucrurile, iar prețurile pe piață ar crește.
Un comentariu:
Doar o mică mențiune, că mă bat copiii la cap să mă joc cu ei.
Între tururi nu a fost făcut public niciun sondaj realizat de IRES (a dat cineva ceva date "pe surse" dar au fost rapid infirmate pe site-ul IRES). Din câte îmi amintesc au fost 3 sondaje asumate, CURS, CSCI și Sociopol, fiecare indicând că Victor Ponta va câștiga alegerile cu 54-55%. Pe declarații atât aveau. Pe modelare (dacă au făcut) e altă poveste.
În urmă cu ceva ani am avut o intervenție publică la Realitatea, cu ocazia Referendumului din 2007 (am și scris despre asta) în care am explicat de ce nu ne putem baza doar pe declarațiile de participare și că trebuie să modelăm (emigratia + dezirabilitatea) pentru a estima care o să fie prezența. După multă vreme chestiunea a devenit standard la companiile serioase și nu mai vezi niciunde prezențe estimate de 70-80%. Aceeași poveste e și acum, doar că vizează estimările de vot: declarațiile celor incluși în eșantioane sunt luate drept predicții de vot. Cu timpul, cei care vor să învețe vor învăța (uneori și pe propria piele).
Mai povestim.
Trimiteți un comentariu