25 octombrie 2015

"Nu-i așa că nu aveți încredere în VW?"

E adesea util să te uiți la greșelile altora ca să înveți din ele.
Deschid cu acest post o rubrică în care voi sublinia din când în când erori mai mult sau mai puțin flagrante în sondaje ce devin publice.
Pentru a sparge gheața, cel mai potrivit este să încep cu un sondor online, al cărui slogan ("Părerea ta contează") mă îndeamnă să îi prezint opera.

Iată cum suna "întrebarea zilei" de marți, 20 octombrie 2015:
Aha, deci trebuie să spunem dacă ne-a afectat scandalul în care a fost implicat constructorul german VW. Un social scientist ce a trecut prin măcar trei semestre de facultate ar trebui să constate deja, din variantele de răspuns, cel puțin trei erori grave:
1) sunt două întrebări în una;
2) variantele de răspuns sunt dezechilibrate;
3) există o supoziție implicită în întrebare.

Cum însă nu toată lumea studiază științe sociale, iar mulți din cei ce o fac nu o fac așa cum trebuie, hai să vă explic ce e în neregulă cu întrebarea de iVox.

Voi spune de la bun început că această întrebare nu măsoară nimic și, în plus, este de natură a induce o reprezentare negativă asupra VW.

Dacă Volkswagen o face mașini bune sau nu, nu am habar. Cert este însă că, probabil din nepricepere, iVox încalcă un principiul etic de bază în meseria de sondor: furnizează informație ce denaturează realitatea. Acest lucru se petrece deoarece folosește o modalitate inadecvată prin care întreabă respondenții despre subiectele pe care le ia în considerare (scandalul VW, încrederea în VW și dacă scandalul a afectat respondentul).

Să o luăm pe rând:
3) există o supoziție implicită în întrebare.
Cum întrebarea nu acceptă variantă de "Nu știu ce e cu scandalul acesta", cel ce răspunde este forțat să spună ceva despre un lucru față de care nu are o părere. Cum toate cele trei variante de răspuns sunt negative sau includ negații, probabilitatea de a deforma realitatea este implicită: respondenții neutri față de scandalul cu pricina vor fi forțați să declare că imaginea VW este acum mai degrabă negativă (sau, mai exact, vor bifa ceva ce sugerează acest lucru - vezi mai jos).

2) variantele de răspuns sunt dezechilibrate;
  • În cazul în care considerăm variantele de răspuns ca fiind corect formulate (nu e cazul, vezi mai jos), ar fi două variante negative față de una ce ar fi cât de cât pozitivă. Acesta este o modalitate de influențare a răspunsului absolut condamnabilă (aș pica fără să clipesc un student ce ar face o astfel de gugumănie la examen).
Mai grav de asta însă, nu se știe ce semnificație au răspunsurile.
  • Hai să luăm cazul lui Ancăi care avea în prealabil o încredere ridicată în VW, iar acum are o încredere mai redusă. Ea va bifa varianta din mijloc: "Oarecum, nu mai am aceeași încredere în mașinile lor". Aparent, dar numai aparent, aceasta ar fi o variantă neutră. Dar ea precizează clar că încrederea nu mai e aceeași și este formulată negativ, ceea ce o face ca să constituie o variantă negativă de răspuns.

  • Să ne uităm și la Bebe: lui i-a crescut ușor încrederea în VW. Atunci va bifa același răspuns ca Anca, deși se plasează pe cu totul altă poziție.
  • Cât despre Cristina, ea nu avea deloc încredere în VW, iar acum are multă de tot. Bifează și ea aceeași variantă ca Bebe și Anca, ceea ce face să nu avem habar ce au vrut de fapt să spună cei ce au ales varianta din mijloc. 
  • Și mai complicată este ultima variantă de răspuns. Acolo pot fi oameni care au încredere mare, extrem de mare, mică sau extrem de mică în VW. Nu avem la ce folosi răspunsurile lor, pentru că nu știm dacă scandalul i-a afectat pe cei cu încredere mare sau pe cei cu încredere mică.


1) sunt două întrebări în una singură
  • Pe de o parte întrebăm dacă subiectul "a fost afectat de scandal", pe de alta dacă "în urma acestui fapt s-a modificat încrederea". În primul rând regula simplă de tot este să nu pui două întrebări deodată. Corect metodologic era să observăm separat cele două fapte, apoi să le punem în relație. 
  • În plus, există asumpția că toți cei ce răspund au auzit de scandalul VW.
  • Hai să acceptăm însă că au fost constrângeri de spațiu și nu au avut încotro, punând o singură întrebare. Atunci, era cazul să acopere exhaustiv toate variantele teoretic posibile de răspuns. Altfel, întrebare va influența răspunsul neoferind posibilități de alegere. Să zicem că am avea trei răspunsuri posibile pentru prima temă, în care includem și cunoașterea despre evenimentul în cauză (m-a afectat, nu m-a afectat, nu știu despre scandal) și trei pentru a doua (încrederea a crescut, a rămas la fel, a scăzut). Să zicem că cei care nu știu despre scandalul VW nu au de ce să răspundă la a doua temă din întrebare. Rămânem atunci cu 2*3+1=7 variante de răspuns (respondentul poate fi afectat în altfel decât cu privire la încrederea în VW). iVox pierde 4 dintre ele. Dacă se renunță la cuvântul "afectat" și se optează pentru varianta C de mai jos, tot avem 4 variante de răspuns (reprezentarea asupra schimbării de încredere și informarea cu privire la scandal).

Alternative (relativ) corecte la formularea întrebării
Varianta A
1) Sunteți la curent cu scandalul în care a fost implicat VW: da/nu. (dacă răspunde "nu", sondajul se oprește aici)
2) Ați spune că acesta v-a afectat încrederea? i) da, a crescut-o; ii) da, a scăzut-o; iii) nu, a rămas pe loc.

Varianta B
1) Câtă încredere aveți în VW: foarte puțină/puțină/multă/foarte multă
2) Ați auzit de scandalul VW: da/nu (dacă răspunde "nu", sondajul se oprește aici)
3) în urma scandalului VW, încrederea dvs. în VW a crescut/a rămas la fel/a scăzut

Varianta C
Cum s-a schimbat încrederea dvs în VW în urma scandalului recent (legat de ...):
1) a crescut
2) a rămas la fel
3) a scăzut
4) nu am auzit de scandal

Varianta D
1) Câtă încredere aveți acum în VW: foarte puțină/puțină/multă/foarte multă
2) Ați auzit de scandalul VW: da/nu (dacă răspunde "nu", sondajul se oprește aici)
3) în urma scandalului VW, încrederea dvs. în VW este mult mai mică/mai mică/la fel/mai mare/mult mai mare

Varianta E
1) Câtă încredere aveți acum în VW: foarte puțină/puțină/multă/foarte multă
2) Câtă încredere aveați acum o lună în VW: foarte puțină/puțină/multă/foarte multă
3) Ați auzit de scandalul VW: da/nu
4) în urma scandalului VW, încrederea dvs. în VW este mult mai mică/mai mică/la fel/mai mare/mult mai mare


Varianta E este cea care studiază problema complet. Varianta A constituie soluția minimală. Varianta C aduce totul într-o singură întrebare. Niciuna din variante nu face referire la al treilea concept pe care îl propunea întrebarea iVox: dacă există vreo influență al scandalului VW asupra respondentului.


Morala:
iVOX a propus publicului acel tip de întrebare de expus ca exemplu negativ la cursuri de introducere în cercetarea de piață. Formularea "sondajului" incumbă un număr incredibil de mare de erori, ceea ce ridică probleme serioase de legitimitate și probitate a companiei cu pricina.


Dacă aș fi manager, aș trimite imediat la școală pe cel ce a răspuns de item. Dacă aș fi acționar, aș solicita demisia managerului, care a riscat jucându-se cu imaginea companiei. Dacă aș fi cumpărător de date de sondaj online, aș căuta un alt loc de la care să cumpăr.

Convorbire telefonică cu ... un hoț??

Sună telefonul, de pe un număr necunoscut, vizibil (adică nu este ascuns), iar o voce de bărbat mă angajează în următoarea convorbire: -  ...