Există sociologi și sociologi. Unii se ocupă de sondaje, partea cea mai vizibilă a meseriei. Culegerea de date, în sociologie, este precum vârful aisbergului. Este precum tabla înmulţirii în matematică. Dacă nu e bine făcută, tot ce vine după aceea riscă să se ducă de râpă, chiar dacă este infinit mai complicat.
Partea cea mai vizibilă a unei meserii este întotdeauna cea care se află mereu în lumina reflectoarelor, iar un eşec a celor ce o practică aparţine fără discuţie întregii branşe.
Evident vorbesc aici despre prognozele eronate ale exit-poll-urilor din urmă cu câteva zile. Un eşec important pentru cele două realizate la nivel naţional de către INSOMAR şi CCSB. Se adaugă eşecul parţial al MMT, care a greşit cu destule procente scorurile în jumătate din colegiile din Cluj în care a făcut estimări.
Mediatizarea puternică a evenimentului face ca meseria din care îmi câştig veniturile să aibă de suferit la capitolul imagine, lumea continuând să echivaleze, eronat, sociologia cu colectarea de date cantitative.
Detractori şi politicieni s-au repezit asupra celor două agenţii care au realizat colectare de date la nivel naţional. E un bun prilej pentru mulţi ca să îşi descarce frustrările de a fi eşuat în meserie, un bun prilej pentru alţii să lovească în concurenţă, un bun prilej pentru alţii să câştige capital în noua lor meserie. Văzând reacţiile unora dintre acuzatorii de azi, nu pot să nu îmi amintesc de „sociologul” Vadim Tudor.
Oricum, nu mi-aş dori să fiu în situaţia celor de la INSOMAR sau CCSB. Din câte ştiu, la exit-poll nu prea se câștigă mulți bani, profitul fiind mai degrabă mic. Riscul e ridicat: dacă o dai în bară, pierzi potenţiali clienţi. Trebuie mult curaj să intri în aşa ceva. Şi câştigul potenţial e pe măsură: publicitatea e enormă. Cele două agenţii de colectare a datelor au riscat şi au pierdut. Pe mâna lor. Un ziarist sugera că ar fi nevoie ca „sondorii” să îşi ceară scuze. Şi eu cred că aşa este elegant şi corect. Deopotrivă faţă de publicul larg şi faţă de co-profesionali.
Ca sociolog nu aş fi însă foarte grăbit în a condamna eşecul celor două agenţii. Cred că există temeiuri care pot sugera că orice agenţie dintre cele care există pe piaţă, ar fi colectat datele, rezultatul ar fi fost destul de probabil acelaşi. Nu o să discut acum aceste temeiuri, deşi undeva, în acest blog, cu ceva timp în urmă, înainte de alegeri, am scris despre factorii în cauză. Mă amuză multe dintre explicaţiile aruncate prin ziare de varii sociologi, şi adesea recunosc în spatele lor interese politicianiste sau economice (concurenţa e concurenţă şi cum s-ar putea să urmeze recesiunea…). Pe de altă parte le privesc cu interes pe toate, căutând să am o imagine cât mai largă asupra erorilor potenţiale care au condus la imprecizia estimării. Cum nu am acces la date o să caut să estimez potenţialele efecte ale fiecărei ipoteze lansate, indiferent cât de fantezistă sau particulară pare ea a fi.
Părerea mea este că ar trebui privite cu atenţie toate motivele acestui eşec, mai ales acelea care se regăsesc, repetate, în modul în care toate agenţiile din România colectează date în mod obişnuit. Ce e drept, pentru a face acest lucru trebuie să accepţi şi că te poţi perfecţiona, să ai răbdare să urmăreşti argumentele şi să dai mai multă atenţie calităţii, dincolo de presiunea timpului şi de dificultăţile de a interacţiona cu clienţi care nu prea ştiu ce pot cere şi ce ar fi bine să ceară.
Abonați-vă la:
Postare comentarii (Atom)
-
De la o vreme, a pătruns și în rețeaua mea de prieteni nebunia cu Bună (virgulă) Bogdan (virgulă) . Hai să explic, că poate nu sunteți la ...
-
Uite câteva hărţi despre care generaţia mea nu a prea învăţat la şcoală. Le-am fotografiat la Chateau de Vianden , despre care am scris cu... -
E simplu. Vă ofer două mostre din ce am auzit la TV, în timpul meciurilor de la Cupa Mondială (citatele sunt aproximative): Arbitrajul din U...
14 comentarii:
Se castiga imens la sondaje politice, si mai ales la exit polls: publicitate. Toate ziarele te mentioneaza, si in prime-timeul alegerilor, duminica la 9PM, iti apare numele pe ecran.
Problema nu e doar ca au gresit.
In primul rand au gresit cu foarte mult: 5% in sondaje, fata de 1% real, la 1% marja de eroare - presupunand ca se joaca cu distributii legate de cea normala, aveau cam 1% sanse sa fie la 4 deviatii standard de realitate - fiecare in aprte.
In al doilea rand, nu au scuze: au zis ieri ca operatorii din teren sunt nepregatiti - si nu stiau asta in avans??
Dar mai ales: au gresit la fel.
Daca unii ziceau PSD+3 si altii PDL+1, sau macar PSD+2 cu PSD+4, atunci era alta treaba.
Mai mult decat atat, existau interese imense sa se greseasca. Propun un mic experiment intelectual: gandeste-te ca ai trei grupe de subiecti.
Primului ii spui in seara alegerilor ca PDL a castigat cu 3%, apoi a doua zi ca au intr-adevar mai multi parlamentari, desi au pierdut la limita votul popular.
Grupul numarul 2 afla in seara alegerilor ca nu se stie cine va castiga, iar a doua zi ca unii au castigat votul popular, la limita, iar ceilalti au mai multi parlamentari, tot la limita.
Grupul numarul 3 afla seara ca PSD a castigat cu 5%, iar a doua zi ca a castigat de fapt cu 0.75%, desi are cu 3 parlamentari in minus.
Cum crezi ca ar raspunde cele 3 grupuri la intrebarea: din care partid ar trebui sa fie primul-ministru?
If it walks like a duck, and it quacks like a duck, it is a duck.
Nu, nu cred că a fost premeditată. Rezultatele de la exit poll erau de altfel consonante cu trendul general dat de estimările preelectorale, (indiferent de sfera de interese economico-politice în care se afla agenţia care dădea rezultatele).
Mai mult, scenariul de care vorbeşti ţine dacă foloseşti asumpţia că subiecţii experimentului sunt interesaţi de procesul electoral suficient de mult ca să urmărească toate momentele anunţării rezultatelor (exit-poll, intermediare, finale). Ce te faci însă dacă se mulţumesc cu o singură serie de rezultate? Sau cu două: exit poll şi finale. Atunci fie rămân cu ideea că a câştigat cel mai bine plasat în exit-poll, fie pot ajunge la concluzia că e vorba de un furt la mijloc.
Acum, înapoi la exit poll: estimatorii nu priveau diferenţa dintre primii doi clasaţi, ci scorul fiecăruia. Dacă nu greşesc, pentru diferenţă eroarea maximă e dată de suma erorilor maxime pentru fiecare distribuţie în parte. Asta face greşeala de estimare mai mică, însă oricum improbabilă dacă nu ar fi cauzată de erori sistematice de culegere, probabil aceleaşi şi la INSOMAR şi la CCSB.
Acolo trebuie căutat răspunsul, cred eu, la elementele comune ale modului în care cele două agenţii au cules datele.
Da, aşa e, câştigi publicitate, un câştig enorm de altfel. Am avut intenţia să scriu de asta, dar nu ştiu cum am scăpat. Adaug acum...
Cred ca o parte din `erorile` din sondaje (preelectorale sau exit-polluri) se reduc la situatii nedemocratice de vot, reale sau imaginare. Ar fi interesant de identificat sondajele realizate `corect` (oneste, valide si reprezentative) si analizat asa-zisele erori. Ne-ar spune unele lucruri interesante despre modul in care se voteaza in anumite locuri cat si despre increderea oamenilor in confidentialitatea datelor din sondaje.
nu stiu in ce masura te consoleaza insa si la noi s-au facut acum trei ani greseli de fond. masive chiar.
cand gerhard schröder si-a anuntat retragerea in favoarea noilor alegeri - spd-ul fiind contaminat de o serie de hotarari si aventuri compromitatoare imaginii lor - au fost estimati la doar 20 si un pic la suta .
in schimb cdu/csu -ul deci unionul-ul s-au bucurat de minunatul prognostic (constant) de vreo 40 si ceva la suta. astfel ca din aceasta constelatie se conturase si potentialul castigator al alegerilor.
realitatea a fost desigur o surpriza .la aceasta competitie au participat cele mai renumite institutii/institute de sociologie care si-au permis niste gafe . spre exemplu : o ramura din spd a fost dislocata pentru a fuziona cu fostii comunisti din estul germaniei construind la repezeala un partid "die linke" carora nu li s-au oferit sanse reale ceea ce avea sa se dovedeasca a fi fost o gresala subestimativa.
in final , totul a decurs contrar celor sustinute si raspandite in mediile noastre de catre sociologi .
spd-ul a reusit sa reintre in gratia votantilor atingand procentajul de aproape 32% pe cand favoritul unionul-ul a scazut considerabil in pofida trend-ul la aproximativ aceeasi cifra respectiv 33% si acesti stangisti au ocupat locul al treilea peste asteptarile analistilor si spre uluirea celor doua partide traditionale de opozitie fdp si die grüne.
sunt de parere ca atunci cand presiunea politica este foarte mare votantul nu are un comportament clasic . dimpotriva. este destul de imprevizibil si chiar reactionar . el trebuie sa se confrunte si sa trieze o multime de informatii care in mod galopant ai sunt servite prin intermediul mass-mediei. in plus el trebuie sa cantareasca care sunt idealurile la care aspira . ceea ce este suficient de greu ca sa ingreuneze munca de cercetare :).
nu ca as incepe sa ma dau sociolog :)
dar n-as fi asa de radical cu datele de sondaj. Mai periculos decat asimilarea sociologiei cu sondarea cred ca e si transformarea tuturor in arbitrii care sa dea verdicte bun-rau.
Semnat: unu care crede ca transparenta e importanta pentru ca in orice rau exista parti bune ... si invers :)
@Adi: am văzut invocată chestiunea cu voturile cumpărate, sugerată ca element de fundal la tine, şi ca explicaţie majoră la Aura. Sunt mai multe argumente însă care mă fac să mă îndoiesc de ipoteza cu pricina:
1. Cum, de exemplu, 2% înseamnă cam 200.000 de voturi, e greu de crezut că au fost chiar atât de multe voturi cumpărate în aceeaşi direcţie, astfel încât să ducă la creşterea cu aproape 3% a PD-L faţă de exit poll-uri.
2. Nu cred nici în ipoteza complementară, pe care am auzit-o de la câţiva, că cei care şi-au vândut votul fie nu au intrat în eşantioanele de la exit-poll, fie au declarat operatorilor de interviu alte comportamente de vot decât cele reale. Dacă fenomenul e altfel decât marginal, intrau sigur în eşantioanele de la exit poll, măcar la INSOMAR, unde din câte am înţeles numărul de puncte de eşantionare era unul rezonabil (600), neavând neajunsul unei împrăştieri mai mici, ca la CCSB, ce ar putea fi păguboasă în a surprinde fenomene marginale.
3. Înainte de alegeri, majoritatea se aştepta la o victorie a PDL. Era firesc ca cei care mint cu privire la opinia de vot să declae mai degrabă că vor vota sau au votat cu majoritatea.
4. Iarăşi, aşa cum ştii, un chestionar bine proiectat şi bine aplicat, nu îi face pe respondenţi să mintă, şi chiar dacă apar astfel de cazuri, cel care se uită peste date are suficiente informaţii în baza de date ca să elimine outlierii....
5. În plus, dacă un număr masiv de respondenţi (3-4%) au declarat altceva decât au votat sau intenţionau să voteze, biasând astfel estimările, atunci este lipsa de profesionalism a celor care au făcut designul chestionarelor, al cercetării, au proiectat reţeaua de operatori etc.
6. Idem dacă operatorii au fost prost pregătiţi, au furat etc.
Oricum, toate acestea se pot verifica relativ simplu, comparând rezultatele finale cu ce se află în bazele de date de la exit poll, la nivel de unitate de agregare care să permită minime estimări (e posibil că să funcţionează bine în acest sens chiar secţia de votare, dată fiind dimensiunea eşantioanelor).
Frumos este că pentru alegerile trecute avem chiar o carte care se ocupă cu modul în care au decurs exit-poll-urile, cea scrisă de Mircea Comşa şi Traian Rotariu...
@emma: faptul că se petrece şi pe la alţii poate fi cel mult o palidă consolare. Proail că e şi o chestie de gust aici: nu îmi place să mă compar cu cei care o dau în bară, ci cu cei care sunt mai buni decât mine.
În schimb a învăţa din erorile făcute de alţii poate fi o experienţă pozitivă.
@Cristi (Pârvan): la povestea aia cu transparenţa suntem în consens. Am mai zis-o şi pe aici. Mi-e teamă însă că opinia noastră e (ca de obicei??) minoritară ;), şi vom fi trataşi ca un soi de Baba Rada, spunându-ni-se că fiind in afara sistemului nu ne pricepem.
nu fi trist bogdane :). in cazul acesta special pe care ti-l l-am etalat mai sus te gasesti in companie de calitate - adica - te compari in exclusivitate cu cei mai buni dintre cei mai buni care au un exercitiu al democratiei si socio-biznis-ului cum rar intalnesti :).
asadar , nu exculde factorul psihologic al acestor "eroari" ! in plus , ar fi bine de retinut ca votantul intrebuinteaza instrumentul democratiei care este votul - in mod emotional - mai ales atunci cand este dezamagit sau cand resimte un puternic sentiment de tradare. cam asa cred eu ! cam subiectiv ...insa la noi totusi recunoscut ca atare :).
p.s. aceste studii , sondaje se rasfrang adesea foarte impersonal deoarece sunt croite fara ingredientele de rigoare . altfel spus , lipseste factotul OM !
"...biasând astfel estimările, atunci este lipsa de profesionalism a celor care au făcut designul chestionarelor, al cercetării, au proiectat reţeaua de operatori etc.
6. Idem dacă operatorii au fost prost pregătiţi, au furat etc."
Tz tz tz. Mai Sebastiane mai... :(
Bogdan ... nu ma starnii ... cu certificarea, ISO ai alte alea ... ca iar incep :)
@Mirel,
Permeabil la critici & opinii argumentate zici? :p
Bogdan, e cel mai de "bun-simt sociologi" text citit dupa alegeri. Iti dau dreptate in mare masura!
Dar...:) e ceva care merita comentat. Ceva ce sublinia si Turambar, usor malitios.
Te citez: "5. În plus, dacă un număr masiv de respondenţi (3-4%) au declarat altceva decât au votat sau intenţionau să voteze, biasând astfel estimările, atunci este lipsa de profesionalism a celor care au făcut designul chestionarelor, al cercetării, au proiectat reţeaua de operatori etc."
Mai mulţi dintre cei care sunt intevievati la iesirea de la urne nu declara exact ceea ce au votat. Eu cred ca rata lor e de circa 10%, incluzand si cei care si-au anulat votul, constient sau nu. Si acest lucru nu se datoreaza chestionarului (sa fim seriosi, e destul de simplu sa redactezi un chestionar pentru exit poll) si, in parte, nici retelei de operatori (apropos, ce intelegi prin proiectarea retelei de operatori?).
Important e cum se poate contracara acest neajuns? De obicei exista formule de corijare care ofera corectia necesara cifrelor brute si dau o configuratie mai apropiata de cea oficiala. Aceste "retete" se bazeaza pe colectii de date obtinute prin exit poll, prin experienta acumulata in timp. Ori cred ca noi aici "suferim", la practica in domeniul sondajelor la iesirea de la urne care sunt "altceva" decat sondajele obisnuite, domiciliare sau telefonice.
De exemplu cei de la SOFRES fac corectii permanent si in sondajele pre-electorale, cele predictive. Si la fel procedeaza si la exit poll (in Franta se obisnuieste si genul de exit-poll obtinut prin numararea efectiva a voturilor intr-un esantion de sectii, unde procesul de vot se intrerupre ceva mai devreme. poate ar fi o idee! desi la suspiciunea de la noi...nu cred).
Cred ca fenomenul inca nu e suficient de bine studiat la noi si datorita faptului ca bazele de date de la exit poll nu sunt publice. Poate ca o conventie intre cei care fac exit polls si cei care vor si pot studia aceste sondaje, pentru a putea fi analizate bazele de date, ar putea deschide calea catre niste concluzii extrem de benefice.
Trimiteți un comentariu