19 septembrie 2008

De la trişori, la sondaje şi certificarea calităţii

Sună la uşă. Deschide Mălina. Se trezeşte a fi subiectul unui sondaj de opinie. Descoperă că operatorul de interviu, o tânără blondă, trişează masiv. Îi adresează doar câte o întrebare de pe fiecare pagină. Probabil restul le va completa din burtă, acasă. Astfel îşi optimizează timpul şi câştigă bani mai mulţi. Nu uită să solicite numărul de telefon pentru eventualitatea în care va fi controlată.

După ce spune că este o cercetare realizată de Primăria Sectorului 5, aflăm că de fapt e vorba de Agenţia de Marketing Electoral sau cam aşa ceva. Mă îndoiesc că există, iar chestionarul nu avea trecut pe el nici un fel de inscripţie privind numele companiei. Să le fie de bine, fiind anonimi, e firesc ca operatorii să le facă figuri.

Mai neplăcut este că mai apoi o să vândă rezultate îndoielnice clientului.

Există discuţii vechi în breaslă despre nevoia de a avea o instanţă care să acorde atestate agenţiilor de colectare a datelor. M-am opus mai mereu ideii, considerând că o piaţă liberă poate regla de una singură calitatea, aşa cum generează şi cerere şi ofertă.

Experienţele recente cu varii agenţii de colectare a datelor mă fac totuşi să cred că ar fi nevoie de un organism independent, care nu culege date, şi care ar putea să dea un soi de certificate ISO, valabile 1-2 ani, plecând de la evaluarea eşantionului, calităţii introducerii datelor şi a erorilor de selecţie pentru 1-2 baze de date la alegerea agenţiei care solicită acest lucru. Ca să fie clar: certificatele nu ar fi obligatorii, ci s-ar acorda doar celor care le solicită. E vorba de trei tipuri de certificat : 1. eşantion final; 2. selecţie cu adevărat probabilistică; 3. calitatea introducerii datelor. Fiecare certificat ar putea oferi de la 1 la 5 stele pentru caracteristica testată. Un set de certificate ar putea costa, realist vorbind, cam 3000 de RON.

La ce ar fi bun un astfel de certificat de calitate, dacă nu este obligatoriu? Simplu: ar oferi indicaţii clienţilor asupra bonităţii agenţiei respective. În rest clientul decide dacă are rost sau nu să cumpere serviciile cu pricina.

Problema este că nu văd nicio instituţie care să poată acorda astfel de atestate: cele existente fie sunt implicate în colectarea de date, fie nu deţin personal care să poată evalua calitatea pe componentele invocate. Ar putea fi sarcina asociaţiilor profesionale, însă, din păcate, acestea nu funcţionează :(

6 comentarii:

Turambar spunea...

LOL. Visatorule...

:)

Anonim spunea...

De multe ori aceste mici trucuri ale operatorilor sunt in realitate strategii de aparare in fata injuraturilor, a usilor trantite in fata si a remarcilor de genul "pe noi nu ne intereseaza politica" samd, iar de multe ori tocmai aplicarea acestor tactici face ca un sondaj sa fie realizabil in limita dead-line-ului.

Nu vreau sa apar operatorii de interviu, dar eu cred ca probleme mai mari decat corectitudinea acestora sunt:
1) dimensiunea uneori covarsitoare a unor chestionare
2) lipsa culturii sondajelor de opinie in randul populatiei
Daca aceste doua probleme ar fi rezolvate, abia atunci ar fi eficient un control mai strict al colectarii datelor.

Am fost si eu pus in ipostaza de a fi operator de interviu de doua ori, suficient pentru a-mi jura ca nu o voi mai face. Privirea plina de dispret, raspunsurile sictirite si graba de a incheia mai repede te face la sfarsitul zilei sa te simti precum un cersetor... cersetorul de opinii.

Bogdan spunea...

Vlllad, ambele chestiuni ridicate de tine sunt cât se poate de reale. Eu am însă o perspectivă uşor diferită asupra lor:


1. Problema lungimii şi a lipsei de obişnuinţă cu sondajele nu e una pur românească.

2. Lungimea este necesară, mai ales atunci când vrei să analizezi cu adevărat datele, nu doar să arunci în stânga şi dreapta cu nişte procente. Cele mai cunoscute cercetări academice internaţionale (EVS/WVS şi ESS) au chestionare a căror medie de aplicare este în jur de 60 de minute (o oră). ISSP face în principiu acelaşi lucru, modulele sale având o medie de 20 minute, însă fiind proiectate a fi alipite la chestionare omnibus. Am invocat studiile academice, deoarece acestea tind să impună o rigurozitate mult mai ridicată, rezultând şi într-o validitate mai bună a datelor.

3. În plus, există constrângeri financiare. Mai mulţi itemi => costuri mai mici per item...

4. Rata refuzurilor de răspuns creşte proporţional cu experienţa de a fi subiect în astfel de sondaje. La noi e încă mică în comparaţie cu ţările vestice (ce e drept este redusă substanţial de aplicarea defectuoasă a metodelor de selecţie, în special la random route, de către mai toate agenţiile de colectare a datelor de la noi). În unele ţări este atât de mică încât respondenţii sunt recompensaţi substanţial pentru a răspunde. De asemenea operatorii de interviu sunt plătiţi substanţial, nu ca la noi...

Rezumând, ca în orice industrie, ţine de calitatea agenţiei de colectare a datelor să reducă aceste neajunsuri pe care le întâmpină în procesul de producţie.

DonG spunea...

trebuie sa ti cont si de faptul ca tu, ca intervievat, nu primesti nimic. de ce ti'ai pierde 60 de minute pentru a raspunde unor intrebari uneori stupide? cel putin din punctul tau de vedere?

si atunci, pentru ca cel care face sondajul e constient ca va fi dat afara din casa dupa 10 minute, apeleaza la smecherii...

e drept ca e pacat ca nu mai poti crede in sondaje..

Bogdan spunea...

Ciupy,

Ridici două chestiuni diferite, aşa că am două răspunsuri (unul acum, celelălt în comentariul următor).


1.
Sunt numeroase motive care te pot face să petreci 60 de minute completând un chestionar, fără să câştigi nimic material din aceasta:

* Poate să fie vorba de spirit civic (ajuţi la crearea cunoaşterii despre tema chestionarului, din interes pentru crearea bunului public <- rezultatele se întorc direct sau indirect către societate, fie sub formă de cunoaştere a opiniilor, fie ca îmbunătăţire a produselor oferite de diverse industrii)

* Poate să fie vorba de tendinţa de a ajuta oamenii pe care majoritatea culturilor o cultivă prin socializare.

* Poate să fie vorba de simpatie/milă pentru operatorul de interviu.

* Poate să fie vorba despre ocazia de a vorbi despre diverse lucruri unui străin, bună ocazie de a mai comunica şi în afara cercului restrâns de prieteni.

Motivaţiile de mai sus nu le vei regăsi în mod evident la toată lumea şi sunt departe de a fi exhaustive. Ele funcţionează ca atare de câteva zeci de ani şi determină, spre exemplu, între 50 şi 80 de mii de oameni să răspundă la chestionare ceva mai lungi de 60 de minute în cadrul sondajelor valorilor (repetate cam la fiecare 5 ani, România fiind parte a cercetării din 1993), a European Social Survey (la 2-3 ani unul, România a participat doar la ultimul val) etc.


"si atunci, pentru ca cel care face sondajul e constient ca va fi dat afara din casa dupa 10 minute, apeleaza la smecherii... "

Cu siguranţă va face aşa dacă pentru persoana respectivă hoţia este mai importantă decât a fi cinstit. La urma urmei nu îl obligă nimeni să presteze munca respectivă, pentru care este remunerat. Prostia e a cui îl plăteşte.

Bogdan spunea...

2.
"e drept ca e pacat ca nu mai poti crede in sondaje.."
Depinde probabil de cât de mult:
-ai încredere în lume
-te pricepi la a utiliza date de sondaj.

Eu unul am deplină încredere în datele de sondaj, cu corolarul că mă uit mereu cu mare atenţie la sursă, îmi pun întrebări cu privire la metodologie (aşa cum am scris în postul la care sunt comentariile de faţă), şi apoi citesc datele în cunoştinţă de cauză.

E adevărat însă că vor veni mereu unii care vor contesta datele chiar dacă nu există probleme de colectare. E la fel ca la fotbal: când pierd, unii dau vina pe arbitru sau zic că au avut ghinion (Dorinel Munteanu dixit, la meciul Stelei de miercuri, cu Lyon). E mai simplu decât să faci analize atente ale propriilor erori...

La fel de adevărat este că unele agenţii de colectare resping din start, fără a aduce argumente, orice comentariu care pune sub semnul întrebării calitatea datelor colectate. Din câte am observat în timp, un astfel de comportament este tipic agenţiilor slab pregătite, care nu ştiu să ia măsuri care să prevină apariţia rezultatelor eronate.

Convorbire telefonică cu ... un hoț??

Sună telefonul, de pe un număr necunoscut, vizibil (adică nu este ascuns), iar o voce de bărbat mă angajează în următoarea convorbire: -  ...