Nincs még hír, hogy Bolsonaro belenyugszik-e a tegnap esti választási eredménybe, ahogy azt - szemben néhány korábbi kijelentésével - pénteken megígérte. Nem tippelek, viszont az ország politikájának megértéséhez nagyon ajánlok másfél óra hangkonzervet a modern brazil nemzet létrejöttéről. Az egész „How to Invent a Country” BBC sorozat csodás szórakozást ad erdei, konyhai, evezős, vagy tornatermi kikapcsolódás mellett, de a Brazíliáról szóló három epizód különösen hasznos annak, aki szeretne megszabadulni kaiserlich und ungarisch értelmezési kereteinknek a nagyvilág megértésében félrevezető elemeitől.
A puccsesélyekről szóló fogadóirodai tippek helyett pedig azt néztem meg ma reggel, hogy miként függött össze az egyes brazil közvélemény-kutató intézetek első és második fordulós előrejelzésének hibája. Tehát először azt, hogy az érvényes szavazatokon belül mekkora előnyt jósoltak Lulának Bolsonaro előtt az egyik, illetve másik fordulóban. Aztán kivontam ebből Lula tényleges előnyét (5,2% az első, és 1,8% a második fordulóban). Az eredmény egy negatív szám azoknál a kutatóknál, akik előzetesen alábecsülték az előnyét. Ha meg pozitív, akkor az illető intézet annál is nagyobb Lula előnyre számított, mint ami a valóságban előállt.
A mellékelt ábra mutatja az eredményt a Wikipedia gyűjtése alapján. Minden intézet és forduló esetén a választás előtti egy hónapban készült kutatások közül a legutoljára publikált terméket vettem figyelembe.[1. lábjegyzet]
A narancsos oszlopok a második fordulóban vétett hibák nagyságát jelzik. Volt három versenyző (a Gerp, a ModelMais/Futura, és a Paraná Pesquisas közkérdezések), akik csak a második forduló előtti hónapban adtak ki előrejelzést. Érdekes módon ezek hárman egyedülállóak voltak a közvélemény-kutatók közt abban is, hogy az ábra bal felére lóg ki az adatoszlopuk, tehát csak ők becsülték alá Lula előnyét (bármelyik fordulóban).
Miért is? Hát lehet, hogy e három vállalkozásban csak a többiek nagy első fordulós buktája nyomán szaladt fel a szakmai becsvágy, hogy na majd ők megmutatják a második fordulóban, hogy miként kell megtalálni minden Bolsonaro szavazót, és egy kicsit túlpörögték a dolgot. De az is lehet, hogy ezek olyan intézetek voltak, amelyek (vagy a médiapartnereik) nem akarták a Lula nagy vezetését mutató számaikkal elkedvetleníteni Bolsonaro híveit az első forduló előtt, viszont annál inkább szerették volna tartani a jobboldalban a hitet a második forduló előtt. Láttunk ilyesmit Magyarországon is idén tavasszal, hogy közvélemény-kutatónak is lehet az igazmondásnál erősebb vágya. Bármi is volt a motiváció, hármójuk közül csak egy jósolta Lula végső győzelmét, a Gerp pedig kifejezetten nagy jobboldali győzelmet jelzett előre, míg a ModelMais/Futura utolsó szava egy 47,2:46,6 arányú Bolsonaro-előny volt.
Az ilyen közvélemény-kutatókat az Orbán-ellenes magyar olvasók zsigeri reakciója bizonyára figyelmen kívül hagyható propagandistának minősítené. Ám valójában a hármuk közül került ki a második fordulóban a két legpontosabb előrejelzés – igaz, a messze legpontatlanabb is. Még egy illusztráció az áprilisi magyar választások után arra, hogy egy-egy intézet előrejelzéseinek a hibája nem feltétlen és szigorúan csak az olvasók által látni vélt politikai elfogultság mértékétől függ. Nagy szerepet játszik a vakszerencse, meg minden bizonnyal a kutatások és kutatók minősége is. Érdemes tehát az elfogultnak tartott kutatók számait is – kellő körültekintéssel – figyelembe venni.
Mert nem olyan jó ötlet az, hogy a történelmi tapasztalatok alapján válasszuk ki a legmegbízhatóbb intézetet, és utána csak annak a számait nézzük. Az első brazil fordulóban minden megjelent közvélemény-kutatás túlbecsülte Lula 5,2% tényleges előnyét. A legnagyobbat, közel 10 százalékpontot, éppen a szakmailag talán legtekintélyesebb és legrégibb Datafolha intézet tévedett, amelyik az első forduló napján és az azt megelőző szombaton 12,800 embert kérdezett meg a lehető legnagyobb precizitás érdekében. Ennek ellenére nyilvánvalóan a mintavételi hibahatárt meghaladó hibát vétett a becslésében az első fordulóban.[2 . lábjegyzet ]
Az első fordulóban Lula előnyét túlbecsülő intézetek jellemzően úgy tévedtek, hogy Bolsonaro támogatottságát alá-, a harmadik-negyedik-stb. helyre befutó jelöltekét pedig túlbecsülték. Könnyen lehet, hogy valami taktikai átszavazás vágya vezetett egy csomó szavazót az utolsó pillanatban, amikor hirtelen mégis a hivatalban levő elnökre szavaztak és szégyenbe hozták a közvélemény-kutatókat az első fordulóban. Logikus lenne azt is ezzel magyarázni, hogy a két forduló között miért lett egyszerre csak szorosabb a verseny állása a közvélemény-kutatásokban, miközben se az első forduló előtt, se azután nem látszott időbeli trend az adatokban (kedvenc jelöltjeik kiesése nyomán az első forduló taktikai szavazói nyilván maradtak annál a jelöltnél, akire a korábbi közvélemény-kutatásokban emlegetett kedvencük helyett ténylegesen szavaztak az első fordulóban).
Megvan akkor a magyarázat a tévedésekre? Hát nem egészen. Ugyanis a második fordulóban is minden intézet ugyanabba az irányba tévedett, mint az elsőben, még ha többnyire kisebbet is. Ez pedig azt sejteti, hogy legalábbis nem csak az utolsó pillanatban taktikus viselkedésre váltó szavazók rontották el az első forduló előtt készült közvélemény-kutatásokat, hanem olyan problémák is, amelyeket nem sikerült maradéktalanul felszámolni a második fordulóra készülve.
Ez nem lenne különösebben meglepő egyébként, hiszen az amerikai közvélemény-kutatók legfőbb szakmai testülete által felkért tudós kutatócsoportnak is bő fél évbe tellett elkészíteni a 2020-as amerikai választási közvélemény-kutatások nevezetes hibáinak vélheti okairól szóló kimerítő elemzésüket. Ami nagyjából arra a következtetésre jutott, hogy utólag se tudjuk, hogy mi lehetett a baj, mert sok logikus magyarázat adódik, de az adatok nem igazán támogatják meg egyiket sem, leszámítva azt az inkább csak leíró jellegű állítást, hogy a Republikánusok hívei ritkábban válaszolnak a kutatóknak.[3 . lábjegyzet ]
Ha pedig így áll a helyzet Amerikában, akkor ugyan mi esély van arra, hogy azok a magyar közvélemény-kutatók, akik közül a felelősségüket is csak a legjobbak ismerték el, és akik nem vették a fáradtságot, hogy valami komoly szakmai testülettel megvizsgáltassák azt, hogy mi lehetett a baj az ő 2022-es adataikkal, tudnának bármit is arról, hogy 2022 őszén mit kéne csinálniuk ahhoz, hogy most pontosabban mérjenek, mint idén tavasszal? Ha egyetértünk abban, hogy a „semmi” a helyes válasz, akkor pedig nyugodtan hívjuk kontár kutatók propagandista-tevékenységének bedőlő fércműveknek azokat a magyar újságcikkeket, amelyekben jelenlegi közvélemény-kutatási eredményeket az ugyanezen intézet által annak idején masszívan félremért választási eredményhez viszonyítanak, pláne, ha még a közvélemény-kutatások által figyelmen kívül hagyott levélszavazatokat is beszámítják az áprilisi viszonyítási alapba ahhoz, hogy minél nagyobb ellenzéki előretörés és fideszes visszaesés (szinte egész biztosan hamis) képét hozhassák ki az elmúlt hónapok tekintetében.
Visszatérve Brazíliába, érdemes megvizsgálni, hogy vajon bízhatunk-e legalább az új generációs kutatásokban? Az első fordulóban ugyanis az Atlas - egy Harvardon doktorált ifjú (román származású) kutató innovatív módszerekkel fellépő cége – adta a legjobb becslést. Ők is túlbecsülték Lula előnyét, de csak hibahatáron belül (már ha nem az újságokban rutinból megjelenő, ám statisztikai szempontból teljesen téves, a valóságosnak inkább csak felét mutató hibahatárokból indulunk ki, hanem az igaziból, és azt még meg is duplázzuk, amikor azt vizsgáljuk, hogy ki vezet és mennyire: ugyanis egy kétpárti versenyben a jelöltek közti különbségre vonatkozó becslés statisztikai hibája értelemszerűen a duplája az egy-egy jelölt szavazatarányára vonatkozó becslésünk hibájának). Az Atlas igyekezett is meggyőzni a brazil sajtót az első forduló után, hogy az ő egyedi és újszerű módszereik hoztak nekik sikert az első fordulóban.
Mint ábrám mutatja, ezt a magyarázatot kicsit aláásta a második forduló eredménye, amikor az Atlasé lett a második legrosszabb előrejelzés. Újabb figyelmeztetés, hogy ne kapkodjuk el az ítélkezést, amikor azt látjuk, hogy egy korábban alig látott intézmény, mint Magyarországon 2022-ben a Társadalomkutató, hajszállal kevesebbet tévedett egyetlen választási eredmény előrejelzésében, mint a piac egy nagy múltú résztvevője – és főleg ne egy a Társadalomkutatóval irodacímen és kutatókon is osztozó intézmény beszámolójából mérjük fel, hogy mit is mutattak a számok. Inkább az átlaghoz való regresszió, mint a megjósolhatóság vezeti a közvélemény-kutatók közötti pontossági verseny eredményét, ami eleve arra utal, hogy igen nagy a vakszerencse szerepe.
Egy szó, mint száz, semmi sem biztos a közvélemény-kutatások világában. Ha valaki olyan elméletekbe akarja vetni hitét, hogy nagyjából rendben vannak a dolgok, csak a független médiával szemben morcos szélsőjobboldali jelöltek és pártok előrejelzése a probléma, akkor az megint láthatta a közelmúlt amerikai, brazil, olasz és francia választásain, hogy ez is pont annyiszor jön be, mint ahányszor nem. Ha valaki azt akarja leszámítolni a friss adatokból, hogy mi történt legutóbb, az is felsülhet: 2019 októberében a budapesti főpolgármester-választáson szinte szóról-szóra ugyanakkorát tévedtek a közvélemény-kutatások a Karácsony-Tarlós verseny állásával kapcsolatban, mint 2022 áprilisában a Fidesz és a hatpárti ellenzéki szövetség viszonylatában. Ám a tévedés iránya pont fordított volt a két esetben, ráadásul aki 2019-ben a legkisebb hibával becsült, azé lett 2022-ben a legnagyobb.
Valójában még rövid távon is sokat változhat minden. A brazil választások első fordulójában átlag 6,2%-ot tévedtek az utolsó kutatások Lula előnyének bemérésében, ám a második fordulóban 1,5%-ra csökkent ugyanez a hiba. Ha csak azokat az intézeteket nézzük, amelyek mindkét fordulóban posztoltak, akkor is 6,3-ról 3,2%-re csökkent Lula túlbecslése. Pedig aligha változtak érdemben a kutatók módszerei – vagy ha változtattak valamit, akkor nyilván csak találomra, esetleg régóta sejtett hiányosságokat „próba-szerencse, ettől rosszabb nem lesz” alapon pótolva, hiszen az alaposabb hibafeltárás időigényes, mint az amerikai példán már láttuk.
Legközelebb majd azzal folytatom, hogy akkor most aktuálisan mit is gondoljunk a magyarországi közvélemény-kutatásokról, és hogy miként érdemes olvasni őket. A brazil példa azonban önmagában is megmutatja a két legfontosabb dolgot.
Ha tévednek is a közkérdezések pár ponttal, azért mégis kevésbé szórnak és kevésbé pontatlanok, mint amit mi földi halandók nélkülük, saját kútfejünk alapján gondolnánk az esélyekről. De realisztikus, a választás esti drámára felkészítő várakozásokat akkor lehetett most is kialakítani, ha a közvélemény-kutatások interpretálásában figyelembe vettük a korábbról elérhető tapasztalatokat is. Az adatok csak akkor válnak a manipulatív szándékú propagandisták megbízható eszközévé, ha a szabad sajtó nem végzi el a dolgát, hanem kritikátlanul átvesz olyan állításokat a kontároktól és a propagandistáktól, amelyek vitathatósága már egészen szerény emlékezőtehetség és hozzáértés mellett is nyilvánvaló lehetne.
LÁBJEGYZETEK TECHNIKAI KÉRDÉSEK IRÁNT ÉRDEKLŐDŐ OLVASÓKNAK
[1] Ők 6,2% érvénytelen, illetve teljesen bizonytalan szavazatra számítottak, Brazíliában ugyanis ezek arányát is megadják az előrejelzések, gondolom amiatt, mert tényleg viszonylag sokan tudatosan érvénytelen voksot szoktak leadni, a tegnapi szavazáson pl. közel nyolcvan százalékos részvétel mellett 4,6% volt az érvénytelen voksok aránya.
[2] A másodikban aztán nem is próbálkoztak ilyen választási napi kutatással, hanem inkább a beérkező eredmények alapján adtak ki egy projekciót, ami egy-két órával korábban mondta biztosnak Lula győzelmét, mint hogy a hivatalos eredményekből is értesülhetünk róla – és aztán még ez is két százalékkal túlbecsülte Lula szavazatarányát.
[3] Azért „leíró” ez az állítás, mert nem ad választ a „miértre”, és ezért receptet se ad arra, hogy miként javíthatnánk a közvélemény-kutatások pontosságán.