II Edycja Konkursu o Puchar Pytii rozstrzygnięta
Na posiedzeniu w dniu 17 listopada 2015 r. na Wydziale Fizyki, Astronomii i Informatyki Stosowanej Uniwersytetu Jagiellońskiego Kapituła rozstrzygnęła II Edycję Konkursu o Puchar Pytii, organizowanego przez Centrum Badań Ilościowych nad Polityką UJ.
Kapituła uwzględniła w konkursie sondaże przeprowadzone i opublikowane w ostatnim miesiącu przed wyborami do Sejmu i Senatu wyznaczonymi na 25 października 2015 r. Dla ośrodków, które przeprowadziły więcej niż jeden sondaż w tym okresie, uwzględniono jedynie ostatni sondaż przed wyborami.
Do konkursu dopuszczono sondaże dziesięciu ośrodków: Ariadna, CBOS, Estymator, GfK Polonia, IBRIS, IPSOS, Millward Brown, PP / ROBOP, TNS Polska i Viavox Call Contact Center.
Dla każdego rozpatrywanego sondażu Kapituła uwzględniła wyłącznie wyniki w formie publikowanej, przy czym w przypadku, gdy różne źródła podawały wyniki tego samego sondażu z różną dokładnością, uwzględniono najbardziej dokładne źródło.
Przy ocenie trafności sondażu brane pod uwagę były wyniki ośmiu komitetów wyborczych, które zarejestrowały listy w całym kraju oraz zbiorczy wynik pozostałych komitetów. W przypadku sondaży, dla których wyniku takiego nie publikowano, Kapituła ustaliła go, odejmując sumę wyników wymienionych ośmiu komitetów od odsetka wyborców, którzy wskazali w sondażu swoje preferencje.
Przed porównaniem wyniki zostały znormalizowane tak, aby rezultaty wszystkich komitetów sumowały się do 100%.
Dla porównania w załączonych tabelach zamieszczono też wyniki sondaży exit poll i late poll. Sondaże te nie były jednak brane pod uwagę przy przyznawaniu nagrody.
Sondaże zostały porównane przy użyciu czterech metryk – patrz M. M. Deza, E. Deza, Encyclopedia of Distances, Springer 2014, rozdz. 14. Jako podstawową wielkość opisującą dokładność poszczególnego sondażu przyjęto kąt statystyczny DSTAT pomiędzy rezultatem sondażu a wynikami wyborów. Kąt DSTAT zdefiniowany jest (Bhattacharyya 1943) jako arcus cosinus współczynnika Bhattacharyi. Dodatkowo analizowano odległość „miejską" L1 (definiowaną jako suma modułów błędów), odległość euklidesową L2 (definiowaną jako pierwiastek z sumy kwadratów błędów) oraz odległość Czebyszowa L∞ (definiowaną jako maksimum z modułów błędów).
W przypadku wszystkich czterech metryk najbliższy oficjalnemu wynikowi wyborów ustalonemu przez Państwową Komisję Wyborczą był sondaż TNS Polska, przeprowadzony w dniu 21 października 2015 r. Ponadto sondaż ten najtrafniej przewidział wyniki czterech z ośmiu komitetów, które zarejestrowały listy w całym kraju, w tym – z dokładnością do 0,25 punktu procentowego – dwóch ugrupowań, które uzyskały najwięcej głosów (Prawa i Sprawiedliwości i Platformy Obywatelskiej).
W związku z powyższym Kapituła przyznała Złoty Puchar Pytii firmie TNS Polska.
Drugie i trzecie miejsce według trzech metryk (DSTAT, L1 i L2) uzyskały odpowiednio sondaż IBRIS przeprowadzony 22 października 2015 r. oraz sondaż Estymator przeprowadzony 21 października 2015 r. Względem metryki LMAX oba sondaże zajęły medalowe miejsca w odwrotnej kolejności.
Dlatego Kapituła postanowiła przyznać wyróżnienia firmom IBRIS i Estymator.
Ze względu na brak ogólnopolskich sondaży odnoszących się do wyborów do Senatu w tej kategorii żadnych nagród nie przyznano.
Dodatkowo Kapituła oceniła trafność predykcji podziału mandatów w Sejmie. Ze względu na fakt, że – przy uwzględnieniu tylko ostatnich danych publikowanych przez każdy ośrodek – żadna z rozpatrywanych predykcji nie wskazywała na uzyskanie samodzielnej większości głosów przez Komitet Wyborczy Prawa i Sprawiedliwości, ani też nie wskazała poprawnie, które komitety będą reprezentowane w parlamencie, Kapituła postanowiła nie przyznawać w tej kategorii Złotego Pucharu Pytii.
Kapituła zadecydowała jednak o przyznaniu wyróżnienia p. Marcinowi Palade, którego prognoza – aczkolwiek również obarczona wymienionymi błędami – była najmniej odległa od rzeczywistego rozkładu mandatów w Sejmie zarówno według metryki DSTAT, jak i według metryk L1 i L2.
Tabela 1. Sondaże rozpatrywane w konkursie
Wyniki sondaży (po jednym ostatnim dla każdego ośrodka) znormalizowane tak, by głosy na wszystkie komitety sumowały się do 100% (z dokładnością do 0,1%)
PiS | PO | Kukiz'15 | Nowoczesna | Zjednoczona Lewica | PSL | KORWiN | Partia Razem | Pozostali | Rozmiar próby | |
| | | | | | | | | | |
CBOS | 40.5% | 28.4% | 7.2% | 6.1% | 7.2% | 5.6% | 3.9% | 0.3% | 0.8% | 1114 |
Estymator | 37.0% | 23.0% | 8.0% | 6.0% | 8.0% | 6.0% | 6.0% | 5.0% | 1.0% | 1501 |
GfK Polonia | 43.7% | 27.1% | 5.7% | 5.1% | 5.9% | 5.6% | 4.1% | 0.0% | 2.8% | 1020 |
IBRIS | 37.4% | 22.4% | 10.2% | 7.8% | 8.9% | 5.5% | 3.7% | 3.4% | 0.7% | 2000 |
IPSOS | 38.3% | 22.1% | 12.5% | 6.6% | 8.1% | 6.5% | 3.5% | 1.7% | 0.7% | 3003 |
MillwardBrown | 36.8% | 23.0% | 6.9% | 9.2% | 10.3% | 5.7% | 6.9% | 1.1% | 0.0% | 1019 |
PP/ROBOP | 39.5% | 24.5% | 7.5% | 6.0% | 9.0% | 6.0% | 4.5% | 2.0% | 1.0% | 8000 |
TNS Polska | 37.8% | 24.1% | 9.1% | 6.6% | 8.6% | 4.8% | 4.9% | 3.5% | 0.6% | 1002 |
Viavox | 35.3% | 25.3% | 6.5% | 8.8% | 10.1% | 5.6% | 5.9% | 2.6% | 0.0% | 1040 |
Exit poll | 39.1% | 23.4% | 9.0% | 7.1% | 6.6% | 5.2% | 4.9% | 3.9% | 0.8% | |
Late poll (50% komisji) | 38.0% | 23.4% | 9.1% | 7.2% | 7.0% | 5.7% | 4.9% | 3.9% | 0.8% | |
Late poll (90% komisji) | 37.7% | 23.6% | 8.7% | 7.5% | 7.7% | 5.2% | 4.9% | 3.9% | 0.8% | |
Wybory | 37.6% | 24.1% | 8.8% | 7.6% | 7.6% | 5.1% | 4.8% | 3.6% | 0.9% |
Tabela 2. Ocena dokładności sondaży
Rozmiar próby | DSTAT = | L1 = | L2 = | LINF = | |
TNS Polska | 1002 | 0.0325 | 0.0345 | 0.0157 | 0.0105 |
IBRIS | 2000 | 0.0474 | 0.0663 | 0.0283 | 0.0169 |
Estymator | 1501 | 0.0598 | 0.0815 | 0.0303 | 0.0160 |
PP/ROBOP | 8000 | 0.0720 | 0.0957 | 0.0371 | 0.0192 |
IPSOS | 3003 | 0.0980 | 0.1268 | 0.0516 | 0.0369 |
Viavox | 1040 | 0.1219 | 0.1299 | 0.0481 | 0.0254 |
MillwardBrown | 1019 | 0.1488 | 0.1430 | 0.0526 | 0.0280 |
CBOS | 1114 | 0.1515 | 0.1541 | 0.0664 | 0.0431 |
GfK Polonia | 1020 | 0.2287 | 0.2307 | 0.0909 | 0.0612 |
| | | | | |
Exit poll |
| 0.0264 | 0.0442 | 0.0202 | 0.0152 |
Late poll (50% komisji) |
| 0.0217 | 0.0342 | 0.0127 | 0.0069 |
Late poll (90% komisji) |
| 0.0110 | 0.0154 | 0.0064 | 0.0049 |
Wybory |
| 0.0000 | 0.0000 | 0.0000 | 0.0000 |
Tabela 3. Predykcje podziału mandatów w Sejmie
PiS | PO | Kukiz'15 | Nowoczesna | Zjednoczona Lewica | PSL | KORWiN | Partia Razem | MN | |
Estymator | 210 | 135 | 33 | 11 | 37 | 22 | 10 | 1 | 1 |
IBRIS (sondaż | 213 | 116 | 44 | 29 | 41 | 16 |
| 1 | |
IBRIS (prognoza) | 225 | 132 | 24 | 15 | 45 | 18 |
| 1 | |
IPSOS | 213 | 116 | 58 | 20 | 30 | 22 |
| 1 | |
PP/ROBOP | 224 | 140 | 27 | 11 | 35 | 22 |
| 1 | |
TNS Polska | 223 | 132 | 42 | 22 | 41 | 0 |
| 0 | |
Marcin Palade | 221 | 127 | 41 | 16 | 31 | 23 |
| 1 | |
Exit poll | 242 | 133 | 44 | 22 | 18 |
| 1 | ||
Late poll | 238 | 135 | 44 | 24 | 18 |
| 1 | ||
Late poll | 232 | 137 | 42 | 30 | 18 |
| 1 | ||
Wybory | 235 | 138 | 42 | 28 | 16 |
| 1 |
Tabela 4. Ocena dokładności predykcji
DSTAT = | L1 = | L2 = | LINF = | |
Marcin Palade | 0.272 | 76 | 38.37 | 31 |
IPSOS | 0.272 | 104 | 47.16 | 30 |
PP/ROBOP | 0.300 | 86 | 43.59 | 35 |
IBRIS (sondaż | 0.305 | 88 | 51.52 | 41 |
IBRIS (prognoza) | 0.330 | 94 | 51.56 | 45 |
Estymator | 0.343 | 108 | 50.10 | 37 |
TNS Polska | 0.359 | 82 | 46.41 | 41 |
Exit poll | 0.034 | 22 | 10.86 | 7 |
Late poll | 0.024 | 14 | 6.48 | 4 |
Late poll | 0.015 | 8 | 4.24 | 3 |
Wybory | 0.000 | 0 | 0.00 | 0 |