Γιατί έπεσαν έξω τα προγνωστικά;

Γιατί έπεσαν έξω τα προγνωστικά;
Hillary Clinton pauses while speaking in New York, Wednesday, Nov. 9, 2016, where she conceded her defeat to Republican Donald Trump after the hard-fought presidential election. (AP Photo/Andrew Harnik)
Hillary Clinton pauses while speaking in New York, Wednesday, Nov. 9, 2016, where she conceded her defeat to Republican Donald Trump after the hard-fought presidential election. (AP Photo/Andrew Harnik)
ASSOCIATED PRESS

Δεν πίστευα για κανένα λόγο ο Ρεπουμπλικανός υποψήφιος Ντόναλντ Τραμπ θα μπορούσε να νικήσει. Όμως τα προγνωστικά που ετοίμασα για την Huffington Post για τις προεδρικές εκλογές και το Κογκρέσο διέφεραν σε μεγάλο βαθμό από τα αποτελέσματα της Τετάρτης. Είμαι τουλάχιστον απογοητευμένη.

Τοπ μοντέλο μας προέβλεπε ότι η Χίλαρι Κλίντον είχε 98% πιθανότητες να νικήσει. Η πρόβλεψη ήταν τόσο με το μέρος της Κλίντον, όσο κανένα άλλο προγνωστικό (αν και όλα προέβλεψαν μια νίκη της Κλίντον). Το μοντέλο μας έλεγε ότι πέντε θέσεις στη Γερουσία που ανήκαν σε Ρεπουμπλικανούς, θα δίνονταν σε Δημοκρατικούς. Έτσι, η πλειοψηφία των Γερουσιαστών θα ήταν Δημοκρατικοί.

Το μοντέλο βασιζόταν αποκλειστικά σε δημοσκοπήσεις. Δεν υπήρχαν άλλοι παράγοντες, όπως οικονομικοί δείκτες, μόνο δημοσκοπήσεις. Το μοντέλο στο οποίο βασιζόμαστε είναι το φίλτρο Bayesian Kalman που χρησιμοποιεί διάφορες δημοσκοπήσεις μέσα στο πέρασμα του χρόνου για να βρει προς ποια κατεύθυνση κινούνται τα πράγματα.

Η δομή του μοντέλου μας δεν ήταν το πρόβλημα. Το πρόβλημα ήταν ότι τα δεδομένα που χρησιμοποιήθηκαν αποδείχτηκαν λανθασμένα σε διάφορα σημεία-κλειδιά.

Επομένως, αντί για την εκλογή της Κλίντον, προέκυψε το αντίθετο από αυτό που περιμέναμε και πρόεδρος βγήκε ο Τραμπ.

Ορίστε μερικά μαθήματα όσον αφορά το μοντέλο προγνωστικών που μπορώ να αναφέρω αυτή την στιγμή:

Οι δημοσκόπησεις από μόνες τους δεν αρκούν για να κάνουν ένα μοντέλο αξιόπιστο.

Μετά από μια βαθιά ανάλυση στις δικές μου προκαταλήψεις, κατέληξα στο συμπέρασμα ότι εμπιστεύομαι υπερβολικά τις δημοσκοπήσεις. Τις τελευταίες της προεκλογικής εκστρατείας, είχα πει ότι εάν οι δημοσκοπήσεις πέσουν έξω, θα πέσουμε κι εμείς. Ως υπεύθυνη ενός πρότζεκτ όπως το HuffPost Pollster, αυτή ήταν μια λογική σκέψη. Το πρόβλημα ήταν ότι είχα βασιστεί πολύ στις δημοσκοπήσεις. Νόμιζα ότι θα ήταν σωστές.

Υπάρχουν περισσότερα λάθη στις δημοσκοπήσεις από ότι νομίζουν οι περισσότεροι άνθρωποι. Το γνωρίζω και έχω ερευνήσει σε μεγάλο βαθμό αυτά τα λάθη (θα ακολουθήσουν και άλλες έρευνες). Όμως έδινα έμφαση στην συχνότητα των δημοσκοπήσεων. Αυτές σίγουρα αμφιταλαντεύονταν ανάμεσα στα δύο ίδια άκρα, όμως πάντοτε έδειχναν την Κλίντον να κερδίζει στις Πολιτείες-κλειδιά που έπρεπε να κερδίσει. Δεν έβρισκα λόγο να αναρωτηθώ κατά πόσο οι δημοσκοπήσεις ήταν αξιόπιστες. Επομένως έμεινα πιστή στα νούμερα, όπως ο καθένας που εμπιστεύεται την δουλειά που κάνει. Αυτό με έφερε τελικά σε δύσκολη θέση. Όμως δεν πειράζει, θα μάθω να αντιλαμβάνομαι καλύτερα τις δικές μου προκαταλήψεις.

Ίσως να μην λάβαμε υπόψιν δημοσκοπήσεις που είχαν αξία.

Η HuffPost Pollster έθεσε πιο αυστηρούς κανόνες όσον αφορά τα στάνταρντ της. Ζητούσαμε από τις δημοσκοπήσεις να αναφέρουν λεπτομερώς την μεθοδολογία που ακολούθησαν. Οι περισσότερες παρείχαν αυτές τις λεπτομέρειες, όμως αυτή η αυστηρότητα μας δημιούργησε προβλήματα στην Ιντιάνα, όπου έγιναν ελάχιστες δημοσκοπήσεις. Αυτό μας έκανε να χάσουμε την πρόβλεψη μιας σημαντικής αλλαγής που έλαβε χώρα στη Γερουσία.

Οι εθνικές δημοσκοπήσεις δεν είναι πάντοτε χρήσιμες.

Αυτό δεν σχετίζεται απαραίτητα με το μοντέλο της HuffPost, το οποίο δεν χρησιμοποίησε σε μεγάλο βαθμό τις εθνικές δημοσκοπήσεις. Όμως αξίζει να σημειωθεί ότι το 2016 είναι η δεύτερη φορά των τελευταίων πέντε αναμετρήσεων που είδαμε μεγάλη διαφορά μεταξύ εκλεκτορικού κολεγίου και λαϊκής ψήφου.

Πρέπει να ανταποκρινόμαστε στις δυσκολίες με δεδομένα.

Αυτό δεν έχει να κάνει με το μοντέλο προγνωστικών. Είναι μια προσωπική παρατήρηση. Την τελευταία εβδομάδα, παραδόθηκα στον αρνητισμό και άρχισα να επιτίθομαι πίσω στον Νέιτ Σίλβερ του FiveThirtyEight που έλεγε ότι τα προγνωστικά που δίνουν 90+% πιθανότητες στην Κλίντον δεν είχαν καμία βάση. Συνεχίζω να πιστεύω ότι αυτό δεν ήταν δίκαιο. Όμως η κριτική που του άσκησα στο Twitter ήταν επίσης άδικη. Δεν έχει σημασία αν κερδίζεις στην διαφωνία. Οι αντιπαραθέσεις στο Twitter σχετικά με την μεθοδολογία δεν προσφέρουν τίποτα και δεν βοηθούν στην εξέλιξη των δημοσκοπήσεων. Αυτό το έργο χρειάζεται χρόνο και γίνει βήμα βήμα.

*To κείμενο προέρχεται από την αμερικανική έκδοση της Huffington Post και έχει αποδοθεί στα ελληνικά.

Δημοφιλή