A választások előtti előrejelzések mérlege 2002-től 2024-ig

Vendégszerző: Koltai Mihály matematikai biológus

Mérésünk ugyan nincs róla, de eléggé elterjedtnek tűnik az elképzelés, hogy Magyarországon a közvélemény-kutatások általában véve megbízhatatlanok és/vagy politikailag manipuláltak.

Mennyiben indokolt ez az utóbbi két évtized közvetlenül az országos választások előtt készült és publikált előrejelzései alapján? Ebben a posztban 2002-ig visszamenőleg összeszedtem az európai parlamenti (EP) és országgyűlési (OGY) választások előtti utolsó méréseket, és intézetenként, illetve pártonként elemeztem őket. Minden választásnál az adott intézet a választáshoz legközelebb eső, de három-négy hétnél semmiképp sem távolabbi kutatását használtam¹ (lábjegyzetek a poszt végén), ha volt ilyen. A Tárki és a Századvég-Forsense 2006-os választás napi kutatásai miatt két exit poll is bekerült az itt elemzett adatbázisba (részletek és link az adatokhoz ebben a lábjegyzetben: ²).

A hibákat a “választani tudó biztos szavazók” kategória alapján számoltam ki, ahol ez meg volt különböztetve a “választani tudók” kategóriától. Bár az előbbi nem feltétlenül jobb előrejelzése a tényleges eredményeknek, de az intézetek maguk ezt szokták megjelölni “végső“ számként a választások előtt. Az előrejelzéseket az országos (belföldi) listás szavazataránnyal hasonlítottam össze, amiben nincsenek benne a külföldön leadott levélszavazatok, mivel a közvélemény-kutatások nem terjednek ki a szomszédos országokban élő, illetve a kivándorolt magyarokra és utóbbiak leszármazóira.

Az egyes intézetek mérlege jelentősen különbözik. Keresésem alapján a Medián az egyetlen intézet, amelynek 2002 óta az összes OGY és EP választás - összesen 11 választás - előtti napokban-hetekben volt publikált mérése, őket követi a Századvég (n=10) és a Nézőpont Intézet (n=8). Több, a 2002-2014 időszakban aktív cég ma már nem publikál kutatásokat (Ipsos, Forsense, Tárki), vagy meg is szűnt (Magyar Gallup Intézet, Marketing Centrum).

A hiba nagyságát leginkább a tényleges, az országos szavazatarány százalékos értékében kifejezett választási eredmény és a rá vonatkozó előzetes becslés különbslége felől szokás megközelíteni. Mivel a különbség pozitív és negatív is lehet, az átlagoláshoz vagy az abszolút értékek átlagát (MAE=mean absolute error) vagy azok négyzetes értéke átlagának négyzetgyökét szokás nézni (RMSE=root mean square error). Az utóbbi kicsit túlbonyolítottnak hangozhat ahhoz képest, hogy majdnem ugyanaz, mint az előbbi. Jelentős előnye azonban, hogy a nagyobb, súlyosabb tévedéseket felerősíti egy kicsit. Ezért az utóbbi alapján rangsorolja az intézeteket az 1. ábra.

1. ábra: A jelenleg is aktív intézetek rangsora az átlagos hibáik nagysága (MAE és RMSE) alapján

A jelenleg is aktív intézetek közül, amelyek legalább három választás előtt publikáltak előrejelzést, a legalacsonyabb átlagos hiba-szint a Mediánnál van: az átlagos hiba abszolút értéke (MAE) náluk 2.15%, az RMSE pedig 2.8% (egy tizedesjegyre kerekítve). Ennél kb. 25%-kal nagyobb átlagos hiba van a Nézőpontnál (RMSE=3.4) és a Závecznél (3.5).

A spektrum másik végén a Publicus (4.1, n=4), a Századvég (4.3, n=10), és az IDEA (4.4, n=4) van, a Medián hibaszintjének kb. másfélszeresével. Ennél is nagyobb a csak két választás előtt posztoló Republikon (4.6, n=2), illetve a már nem publikáló Tárki (4.8, n=5) négyzetes hibája.

A 2022-es OGY illetve 2024-es EP választáson megjelent több új intézet, amely 2-3% közötti átlagos négyzetes (RMSE) hibával mért, illetve a 21 Kutatóközpont (21KK), amely mindössze 1.1%-kal. Egy-két választás alapján ugyanakkor nehéz megítélni ebből mi következik: a Társadalomkutató például a legközelebb járt az eredményhez az OGY2022-n, de az ezt követő EP2024-en - holtversenyben a Publicus-szal és a Századvéggel - a legrosszabb előrejelzést produkálta. Ezek az újabb intézetek a 21KK-n kívül ráadásul a kormányhoz kötődnek, és soha nem posztoltak olyan választás előtt, ahol nem - mások szerint is - a Fidesz vezetett jelentősen. 2026 áprilisa ilyen szempontból is érdekes teszt lesz.

Van néhány intézet, ahol a tévedéseknek mintha visszatérő “irányultsága” lenne, bár igazság szerint ilyen kevés szám alapján - kizárólag a számokból - robusztus következtetést nem lehet levonni.

Inkább az egyéb, kvalitatív jellegű információk árulkodók. A Századvég szinte mindig felülmérte a Fideszt (7/10 választás), háromszor hibahatáron³ (>4%) felül, az EP2009-en a Nézőponttal együtt nehezen megmagyarázható mértékben (10 illetve 16%-kal). Emellett e két intézet többször jelentősen alámérte a Jobbikot, illetve az EP2024-en 6-7%-kal a Tiszát.

2. ábra: A jelenleg is létező és legalább kettő választás előtt mérést publikáló intézetek abszolút hibáinak eloszlása 2002-2024 közötti EP és OGY választásokon

A másik véglet az IDEA, amely mindig alámérte a Fidesz támogatottságát (bár négyből háromszor csak 1-3%-kal) és hatból négyszer felülbecsülte a baloldali ellenzéki listákat (MSZP, DK illetve a 2022-es egyesült ellenzéket). Hasonló mintázat figyelhető meg a Publicusnál: itt is inkább a baloldali ellenzék - 2022-ben masszív, bár ez ekkor általános volt - túlbecslése volt a jelentősebb, mintsem a Fidesz alábecslése (ami viszont 4/4 választásnál megfigyelhető volt, de csak egyszer 2% fölött).

Nem látszik ilyen “egyirányú” mintázat a Mediánnál és a Závecznél. A Fideszt a Medián hatszor alul-, ötször felülbecsülte: míg az alábecslések sosem haladták meg a 3%-ot, a felülbecslések háromszor is 4-5%-osak voltak, tehát egyáltalán nem igaz, hogy a választási előrejelzéseik a Fideszre nézve szisztematikusan vagy akár csak többnyire kedvezőtlenek voltak. Ugyanők általában enyhén túlbecsülték az MSZP-s illetve közös ellenzéki listákat, de a tévedés nem haladta meg a 3-4%-ot és szinte mindig kisebb volt, mint más cégeknél. A Medián négyből kétszer jelentősen alábecsülte a DK-t választási méréseiben (az EP2019-en gyakorlatilag mindenki más is), kétszer pedig tökéletesen (<1% hiba) mérte - fölül viszont egyszer sem becsülte.

A Závecz négyből háromszor mindössze 0-2%-os hibával jelezte előre a Fidesz szavazatarányát, 2018-ben pedig 4%-kal becsülte alá. Ugyanők hatból háromszor 2-3%-kal becsülték túl a baloldali ellenzéket, az EP2019-en a túlbecslés 5% volt (MSZP-PM lista), az OGY2022-ben pedig 10%-os; de az 5%-os alábecslés (EP2019 DK lista) is előfordult egyszer.

3. ábra: Hibahatáron kívüli tévedések aránya az összes becslésből a jelenleg is aktív, legalább két választás előtt mérést publikált intézeteknél

Mi a helyzet a súlyosabb (>4-5%) tévedések gyakoriságával? A legalább három választásra előrejelzést készítő intézetek közül a Mediánnál az összes becslést nézve (59 db) kb. hétből egyszer gyakorisággal (15%) fordult elő 4%-nál nagyobb tévedés és kb. tizenkettőből egyszer (8.5%) 5%-nál nagyobb. Ez messze a legalacsonyabb arány az említett mezőnyben. A Nézőpontnál a >4% tévedések kb. 1.5-szer ilyen gyakran fordultak elő (becslések 22%-a), a Századvégnél (27%) és a Závecznél (25%) még gyakrabban. Az IDEA, Republikon és Publicus intézeteknél az összes becslés több mint 30%-a 4%-nál nagyobb tévedést mutatott.

Néhány választáson egy-egy pártot szinte mindenki jelentősen alul- vagy fölülmért. Ilyen volt az EP2009 és OGY2010 választáson a Fidesz szavazatarányának felülbecslése. Az EP2009-en a Jobbik, az EP2014-en és EP2019-en a DK jelentős alábecslése volt általános, míg az EP2019-en a Momentumot, az EP2024-en pedig a Tiszát (itt kivétel volt a 21KK) becsülte mindenki alá. Itt mintha az a tendencia lenne kivehető, hogy az éppen felívelő erőket alulmérik (erről ld. a Vox Populi blogon korábban itt).

A leghíresebb-hírhedtebb példa alighanem a közös ellenzéki lista 2022-es felülbecslése. Fontos kiemelni, hogy az OGY2022-n a rendszeresen mérő intézetek - a kormányhoz kötődők is - szinte mind jelentősen, hibahatáron túl (6-11%) felülmérték az ellenzéket, csak a Mediánnal, illetve az ekkor először posztoló Társadalomkutatónál és Real-PR-nél volt a felülbecslés hibahatár közeli (4-5%). Ez egyben azt is jelentette, hogy az OGY2022-n a Medián és a jobban szereplő kormányközeli intézetek (Real-PR, Társadalomkutató) majdnem azonos számokat közöltek. Szintén majdnem azonos - kb. ugyanannyira és ugyanarra “félrement” - számokat közölt ekkor a Závecz illetve a Századvég és a Nézőpont: mindegyik túlbecsülte az ellenzéket és alul a Fideszt.

4. ábra: A jelenleg is létező és legalább három választás előtt mérést publikáló intézetek hibái az EP és OGY választásokon

Az intézetek közötti masszív divergencia csak kb. 2024 ősze óta jellemző, amikor is a nem-kormányzati intézetek Tisza vezetést kezdtek jelezni. Ez a helyzet valamennyire a 2002-es választások előtti szituációra emlékeztet (de sokkal nagyobb számbeli eltérésekkel), amikor a Századvég-Tárki és a Magyar Gallup jelentős Fidesz előnyt jósolt és egyedül a Medián jelzett előre döntetlen közeli Fidesz vs. MSZP eredményt és ezáltal kormányváltást. Akkor, 2002-ben, a Mediánnak lett igaza, helyesen (+1%) becsülve meg a Fidesz szavazatarányát, míg a Gallup és a Századvég-Tárki 5-6%-kal túlbecsülték. Kicsiben megismétlődött ugyanez 2006-ban is, amikor a Magyar Gallup, a Századvég-Forsense és a Tárki is 3-4%-kal túlbecsülték a Fideszt, míg a Medián csak 1%-ot tévedett.

Az utolsó három tábla mutatja az összes választásra számolt átlagos hibát előbb választásonként, aztán pártonként, és végül intézetenként. Csak a legalább két választás előtt posztoló intézetek adatai szerepelnek az ábrákon. Az itt megjelenő intézetek közül ma már nem létezik vagy nem aktív a választási kutatásokban a Szonda, a Gallup, és a Tárki.

5. ábra: Az egyes intézetek átlagos négyzetes hibái (RMSE) választásonként csoportosítva, 2002 óta

6. ábra: Az egyes intézetek átlagos négyzetes hibái (RMSE) pártonként csoportosítva, 2002 óta

7. ábra: Az egyes intézetek átlagos négyzetes hibái (RMSE) intézetenként csoportosítva és pártokra lebontva, 2002 óta

A múltból nem feltétlenül következtethetünk a jövőre. De tudni róla mindenesetre nem árt.

-kmb- azaz Koltai Mihály

Lábjegyzetek

1. Minden választásnál megpróbáltam megtalálni az adott intézet választáshoz legközelebbi mérését, a választás előtt maximum két-három héttel (általában ennél közelebb). Bizonyos intézetek egy adott választás előtti hetekben többször is mértek, ilyenkor is a legutolsó mérést használtam, akkor is, ha a korábbi mérés esetleg jobb volt. Volt néhány választás, ahol bizonyos intézetek nem pontbecslést (egy számot) adtak meg, hanem egy sávot; ezeknek a középértékét használtam a hibaszámításnál. A fenti táblázatban az összes adatpontnál ott van az eredeti url; különösen kb. 2018 előtt gyakran a Web Archive-ra volt szükség, hogy bejöjjön a keresett oldal. Korrekciókat szívesen fogadok a Vox.Populi.HU gmail címen

2. Az összes adat itt, az ábrákat generáló R nyelvű kód itt.

3. Valójában a becslések szinte mindig súlyozásokat is tartalmaznak, mivel egyes alcsoportoknál jóval kisebb minták is vannak, mint a teljes népességben való súlyuk. Emiatt a tényleges “hibahatár” valószínűleg szinte mindig nagyobb 4%-nál, de konvencionális kb. ezt szok's “hibahatárnak” mondani a “biztos pártválasztó” kategória tekintetében, és ezért az egyszerűség kedvéért ebben a cikkben is ezt tettem.

Függelék más hasonló cikkekről (összeállította Tóka Gábor)

Az egyes választások előtt a közvélemény-kutatók által posztolt összes választáskutatási adat, időnként exit poll vagy "szakértői becslés" megfeleléséről a tényleges választási eredményekben az alábbi publikációkban talál további részleteket:

1990-1998-as választások:

Tóka Gábor. 1998. „Választási közvélemémy-kutatások és előrejelzések 1998-ban.” Jel-Kép Vol. 19 Issue 4, pp. 53-76. link

Fischer György. 2001. Hihetünk-e a közvélemény-kutatásoknak? Hogyan készülnek, és mennyire pontosak a közvélemény-kutatások? Budapest: Bagolyvár.

1990-2002-es választások:

Fischer György. 2005. "Sikerek és kudarcok magyarországi választási előrejelzésekben." In: Magyarország politikai atlasza, szerk. Mészáros József és Szakadát István. Budapest: Gondolat, pp. 13-36.

2002-es választás:

Tóth István János. 2002. „Szisztematikus eltérések a pártpreferencia-vizsgálatok eredményeiben.” In: Társadalmi riport 2002, szerk. Kolosi Tamás, Tóth István György és Vukovich György. Budapest: Tárki. Link

2006-os választás:

Marián Béla. 2006. „A várható választási eredmények modellezése – Mirõl adnak hírt a pártpreferencia-kutatások?” In: Mérésrõl mérésre. A választáskutatás módszertani kérdései, szerk. Angelusz Róbert és Tardos Róbert. Budapest: DKMKA, pp. 135-162.

1990-2006-os választások:

Karácsony Gergely és Lakatos Zsuzsa. 2006. “Választási előrejelzések Magyarországon, 1990–2006. Sikerek, tévedések és tanulságok.” In: Mérésről mérésre. A választáskutatás módszertani kérdései, szerk. Angelusz Róbert és Tardos Róbert. Budapest: DKMKA, pp. 185-217.

2010-es választás:

Lakatos Zsuzsa. 2011. „Választási előrejelzések.” In: Új képlet. Választások Magyarországon, 2010, szerk. Enyedi Zsolt, Szabó Andrea és Tardos Róbert. Budapest: DKMKA, pp. 241-269. Link

2014-es választások:

Kmetty Zoltán. 2014. „Választási előrejelzések.” In: Választás 2014: Kampány, közvélemény, új szabályok, szerk. Szomszéd Orsolya. Budapest: Nézőpont Elemzőintézet Nonprofit Kft. 2014, pp. 53-60.

2018-as választások:

Závecz Gergő. 2018. „A 2018-as magyarországi országgyűlési választást megelőző közvélemény-kutatások.” In: Várakozások és csalódások. Parlamenti választás 2018, szerk. Böcskei Balázs és Szabó Andrea. Budapest: MTA TK-PTI, pp. 455-483.

Tóka Gábor. 2024. „A 2018-as választási közvélemény-kutatásokról fennmaradt szörnyű kudarc emlékét egyáltalán nem támasztja alá az adatok korrekt elemzése.” Vox Populi blog, 2024. május 20. Link

2019-es európai választások:

Tóka Gábor. 2024. „A 2019. májusi európai választások előtt megjelent választási közvélemény-kutatások pontatlanságai: tanulságok 2024-re.” Vox Populi blog, 2024. május 17. Link

2022-es választások:

Tóka Gábor. 2024. „Miért tévedtek akkorát a választási közvélemény-kutatások 2022 tavaszán, és mi várható ez alapján 2024-ben?” Vox Populi blog, 2024. május 27. Link

1990-2022-es országgyűlési választások:

Stefkovics Ádám. 2024. Hova tovább, magyar választáskutatás? Budapest: Századvég Kiadó.

2024-es európai választások:

Tóka Gábor. 2024. „2024-ben ismét jól eltalálta az országos eredményeket az összes választási előrejelzések átlaga, de néhány durva melléfogás komoly magyarázatra szorul.” Vox Populi blog, 2024. június 19. Link