marți, 21 februarie 2012

CSOP sau CCSB? Un pic de ordine în haosul (aparent) al sondajelor




Întâi câteva diferenţe:

CCSB: 11-14 februarie.
Ultimul sondaj CSOP: 16-17 februarie.

CCSB: marja de eroare: +/- 3,1%.
CSOP: marja de eroare: +/- 3,6%.

CCSB: USL este pe cai mari (57%).
CSOP: USL plânge de jale (47%).

CCSB: PDL la cota 18.
CSOP: PDL la cota 20.

CCSB: PPDD - douăsprezece procente.
CSOP: PPDD - optsprezece procente.

Dar... procentele astea se calculează prin referire la un întreg - adică la un 100%. Acest sută la sută nu este populaţia cu drept de vot a României, ci cei care au o opţiune politică şi au declarat-o ca atare la momentul sondajului (să-i denumim "votanţii potenţiali"). Şi aici începe distracţia.

La CCSB votanţii potenţiali reprezintă 52% din populaţia României (cei care au o opţiune politică şi au declarat că merg cu siguranţă la vot).
La CSOP votanţii potenţiali reprezintă 59% din populaţia României. (vezi graficul de aici. Este vorba pur şi simplu de cei care şi-au exprimat o opţiune politică).

Schimbă asta lucrurile?

Foarte mult.

CCSB: Pentru USL votează 57% din 52% dintre români, adică 29,6% dintre românii cu drept de vot.
CSOP: Pentru USL votează 47% din 59% dintre români, adică 27,7% dintre românii cu drept de vot.

Deşi acest lucru nu este extrem de relevant, întrucât sondajele măsoară grupuri uşor diferite, diferenţa dintre 29,6 şi 27,7 este în marjele de eroare (vă reamintesc: +/- 3,1% respectiv +/- 3,6%).

PDL?

CCSB: Pentru PDL votează 18% din 52% dintre români, adică 9,4% dintre românii cu drept de vot.
CSOP: Pentru PDL votează 20% din 59% dintre români, adică 11,8% dintre românii cu drept de vot.

Diferenţa dintre 9,4 şi 11,8 este în marje.

Dan Diaconescu:

CCSB: Pentru PPDD votează 12% din 52% dintre români, adică 6,2% dintre românii cu drept de vot.
CSOP: Pentru PPDD votează 18% din 59% dintre români, adică 10,6% dintre românii cu drept de vot.

Diferenţa este semnificativă. Şi o voi explica în continuare.

Fiecare din sondaje a definit altfel "votanţii potenţiali". În sondajul CSOP se regăsesc toţi cei care se află şi în sondajul CCSB... dar şi încă 7% dintre români. Aceştia nu sunt foarte interesaţi de politică sau nu sunt siguri că vor veni la vot, dar dacă îi întrebi ei ştiu cu cine ar vota. Deloc surprinzător, aici se află şi o parte importantă a electoratului PP-DD.

Situaţia de mai sus nu e unică. Exact acelaşi lucru s-a întâmplat şi în decembrie, când sondaje IMAS respectiv Avangarde dădeau USL la 57%, respectiv 47%, când de fapt amândouă spuneau acelaşi lucru: 31% dintre români ar vota USL. Am discutat problema atunci.

Abia ieri am postat despre diferenţa dintre perspectiva "maximalistă" asupra prezenţei la vot şi cea "minimalistă". Conform primeia (IMAS, CSOP), cine indică o opţiune politică e luat în calcul. Conform celei de-a doua (CCSB, Avangarde) prezenţa tradiţional scăzută la vot în România şi experienţe de genul PNG arată necesitatea unor filtre suplimentare.

Pe de altă parte, ai libertatea să crezi orice doreşti. Atâta timp cât cifrele sunt pe masă.

Voi reveni mâine cu o analiză de profunzime.

Later edit: din ziare.com: "Fiind facute in zile diferite, cu metode diferite, nu sunt perfect comparabile cele doua esantioane (...) Depinde cum s-a pus intrebarea, care era intrebarea dinainte, care era tema. Intr-un studiu exista variatii de 5-7 procente la nivelul unor increderi sau al intentiei de vot in functie de problematica pe care ai studiat-o in respectivul sondaj. Daca intr-un sondaj vorbesti despre coruptie, de nivelul de trai, de cum traiesc oamenii si la final pui intrebarea legata de nivelul de vot, Puterea iese cu 5-6 procente mai putin, pentru ca lumea isi aduce aminte de aceste lucruri si o taxeaza. Conteaza daca pui intrebarea de intentie de vot la inceput sau la sfarsit. Astea sunt trucurile meseriei" (Vasile Dâncu). Intrebat daca si modul in care sunt prezentate in presa sondajele reprezinta un "truc" care ii deruteaza pe necunoscatori, Dancu a raspuns: "Sigur".

7 comentarii:

  1. nelamuriri: in sondajul CSOP, procentajul votantilor potentiali a variat de la 51% (28-29.01) la 59% (16-17.02) in doua saptamani. este realist?
    indiferent de procentul de votanti din ultima luna din varianta CSOP (procent care ba a scazut de la 57% la 51%, ba a crescut de la 51% la 59%), USL are 47-48%. nu infirma teoria ca procentajul USL difera in functie de votantii potentiali?
    comparand cele 2 sondaje, eu inteleg ca procentul acela dintre cei care merg sigur la vot (mai mic) si cei care sunt potentiali votanti (mai mare) este exclusiv in favoarea PPDD si PDL. este posibil, statistic vorbind? daca da,ajungem la concluzii ciudate. de ex, cu cat prezenta la vot este mai mare, cu atat PDL si PPDD vor avea procente mai mari si USL mai mici. prin absurd, in cazul unei prezente la vot ce tinde catre 100%, practic procentele se inverseaza, PDL va avea 50%, PPDD 30% iar USL 20%. ciudat.

    RăspundețiȘtergere
  2. Primele două întrebări, şi încă câteva pe care le am în minte, ar trebui adresate CSOP.
    Ceea ce pot să ofer sub formă de răspunsuri potenţiale sau linii de discuţie: a) erori care nu ţin de marjă şi care în practică o lărgesc... la ambele sondaje; b) sondajele CSOP, cu excepţia ultimului, nu au fost făcute publice la data la care au fost efectuate. Este posibil ca ele să nu fi existat şi să fi fost adăugate pentru efectul artistic ("uite! eram sub PPDD dar MRU ne-a salvat! Ce mişcare inspirată am avut!!"). Momentul demisiei lui Boc infirmă parţial această posibilitate.
    La întrebarea a treia: nu uita de marje. Ce ştim cu siguranţă este că acolo se află electorat PP-DD. Sondaje din alte luni confirmă că printre acei 7-15% se află mulţi votanţi potenţiali PP-DD. Dar nu se poate extrage o concluzie cu privire la prezenţa la vot a celorlaltor 40% dintre români. Nu avem de ce să presupunem că ei ar vota precum cei 7%. Altfel spus, nu există o legătură cauzală între intenţia de vot pentru PP-DD sau USL şi indecizia, ci doar o corelaţie.

    RăspundețiȘtergere
  3. Mai sunt citeva probleme: banuiesc ca CCSB a facut sondajul telefonic ori prin metoda CATI cum le place sa tot spuna, uitind ca nu toata lumea stie ce este aia. CCSB-ul are niste metode de ponderare a esantionului. La CSOP, s-a precizat clar ca esantionul a fost selectat aleator (ma rog, probabil a fost si stratificat) din cadrul gospodariilor cu acces la telefonie fixa sau mobila. Evident, astia nu reprezinta toata populatia cu drept de vot asadar extrapolarea datelor la nivelul acestei populatii nu prea este nimerita. In plus, si marja aia de eroare ar trebui minimal calculata si la nivelul celor care au exprimat o optiune de vot. In sondajul CSOP, sub-esantionul celor cu probabilitate mare de a merge la vot a fost de 428 de subiecti (ori 59% din esantionul total).

    RăspundețiȘtergere
  4. De aceea fac mereu referire la total populaţiei. Acolo se aplică marja dată de cei care au realizat sondajul.
    Foarte corectă observaţia despre gospodăriile cu telefon. Şi cu toate acestea diferenţele nu sunt foarte mari... oricum în câteva zile o să apară IMAS-ul pe februarie, unde procentul celor care votează va fi peste 58% din populaţie, USL va fi în jurul lui 49%, iar PDL peste 16%. Nu am informaţii din interior, dar e în logica eşantioanelor din "şcoala maximalistă".

    RăspundețiȘtergere
    Răspunsuri
    1. Chestiunea cu "scoala maximalista" si "scoala minimalista" e un criteriu de clasificare interesant dar oricum nu cred ca are consistenta empririca din urmatoarele motive: 1) e prea devreme sa surprindem in maniera acceptabila procentul celor care probabil s-ar prezenta la vot. Scalele privind participarea la vot au relevanta sporita pe masura ce ne apropiem de momentul alegerilor; 2) din ratiuni ce merita discutate separat, nu s-a elaborat o metodologie buna de identificare a asa-numitilor "likely voters"; variante locale ale scalelor Gallup de identificare "likely voters" au fost testate de unele institute de la noi dar nu de toate; acum se merge pe o variante simple (scala de la 0 la 10 sau cit de sigur sunteti ca veti merge la vot); 3) chiar daca ar exista o metodolgie adaptata si testata de identificare a "likely voters," ponderea lor estimata prin sondaje va diferi de ponderea celor ce se vor prezenta la urne. Aici nu este vorba doar de "social desirability effect" ci si de faptul ca in prezent, in ciuda datelor sumare de recensamint raportate de INS, nu stim clar citi mai suntem in tara. Eu consider ca numarul celor plecati in strainatate pe o perioada mai mare de 12 luni este sub-estimat in datele INS de la ultimul recensamint. Pina atunci, este recomandata raportarea in varianta maximalista iar -- pentru amorul propriu -- rularea de scenarii separate folosind probabilitatea prezentei la vot pe o scala de la 0 la 10. Dar astea trebuie rulate separat, ca scenarii, in rapoarte separate. Oricum, astept si eu datele IMAS-ului; nu de alta, dar ma distreaza cum raporteaza procente cu o zecimala la un esantion de 1100; mai mult raporteaza procente cu o zecimala si la sub-esantioane de 90-100 de persoane.

      Ștergere
  5. De acord, diferenta dintre 57% si 47% poate fi considerata in marja de eroare, daca ne raportam la intregul esantion. Desi eroarea calculata pentru valori in jur de 20% nu mai este 3,1, respectiv 3,6 ci mult mai mica (2,5, respectiv 2,9).
    Problema e: care e probabilitatea ca, in N perechi succesive de sondaje, diferentele sa se manifeste in acelasi sens?

    RăspundețiȘtergere
  6. Un răspuns britanic ar fi: 1/ [2 la puterea (N+1) ].

    Un răspuns mai serios decât cel britanic ar fi: aşteptăm rezultatele IMAS. Cum zicea Hercule Poirot în Orient Express, "they can't ALL be in it!".

    Vă mulţumesc pentru intervenţie şi sper să reveniţi.

    RăspundețiȘtergere