¿Por qué las predicciones electorales de 538 parecen tan mal este año?

Answer 1

Porque el individuo que escribió ese tweet es cherrypicking.

538 utiliza tres modelos de pronóstico diferentes:

Ahora-cast – Quién ganaría una elección hoy.

Pronóstico solo de encuestas: lo que las encuestas nos dicen sobre el 8 de noviembre.

Pronóstico de encuestas adicionales : lo que los sondeos, la economía y los datos históricos nos dicen sobre el 8 de noviembre.

El tweeter en cuestión parece estar refiriéndose al ahora emitido, que es, según confirma Nate Silver, totalmente inútil para predecir algo. Es una determinación de lo que sucedería si la elección se llevara a cabo en un día determinado. Teniendo en cuenta que faltan más de 90 días para el día de las elecciones, esto es estrictamente por diversión y, por supuesto , está sujeto a fluctuaciones aleatorias.

El pronóstico solo de Encuestas también es algo volátil, ya que 538 ponderan las encuestas recientes más que las anteriores. Como tal, Clinton y Trump se encontraban en un punto muerto después de la convención del Partido Republicano y el volcado de Wikileaks, y antes del inicio del DNC. Estos datos se dan un ligero masaje, pero no incluyen indicadores económicos, datos históricos o participación esperada. Según tengo entendido, el 538 actualmente promueve esto un poco más que el pronóstico de Encuestas más, ya que tuvo un mejor récord durante las primarias (que son competiciones volátiles en sí mismas).

El pronóstico de Polls-plus es el bebé de Nate Silver. Esto incluye datos históricos, tendencias económicas y encuestas (una vez más, las encuestas recientes se han ponderado mucho más). Y en este frente, 538 ha sido extremadamente consistente: la probabilidad de victoria de Hillary fue del 62.8% el 8 de junio, el 73.1% del 12 de julio, bajó a un mínimo del 59.5% el 25 de julio después de que su candidatura fuera golpeada por varias malas noticias, y ahora está hasta el 74.9% a partir de hoy (después de una semana horrible para Donald Trump). Esto se reduce a un rango de 15.4% en casi dos meses, lo que en realidad es bastante consistente. Sí, la probabilidad de ganar de Hillary ha aumentado recientemente, pero Donald Trump tuvo una semana excepcionalmente mala de sondeo post-DNC (por razones obvias), con el choque post-convención de Hillary que está fuera de lo normal.

Así que no diría que las predicciones de 538 parecen particularmente fuera de lugar este año. No les fue particularmente bien con las primarias, pero en realidad nunca lo hicieron. Donde absolutamente han matado es en grandes carreras con gran cantidad de datos, siendo la elección presidencial la más grande con más. Los picos y valles que han proyectado en 2016 no son más dramáticos de lo que proyectaron en 2012 cuando se clavaron en cada estado.

Pero bueno, esto probablemente hizo que el tweeter cuestionara a algunos más seguidores de Twitter.

Answer 2

Para el problema del interrogador original:

Nate Silver hizo una predicción estúpida (no basada en estadísticas) al principio de las primarias de que Trump fracasaría como candidato. Esto ha llevado a muchas personas a dudar de las elecciones generales de Silver, pronósticos estadísticos.

Hay problemas potenciales con las encuestas individuales. Las organizaciones de sondeo están lidiando con un cambio continuo de teléfonos fijos, y tienen que hacer suposiciones sobre la composición del electorado de 2016 en función de factores demográficos e históricos que pueden o no ser exactos. Silver intenta corregir esto a nivel de un “efecto de casa”, para que las metodologías individuales no afecten el pronóstico general. Sin embargo, si todos los encuestadores tenían la misma falla en su metodología y esa falla era nueva en el ciclo de 2016 , entonces las cifras podrían ser mayores o menores de lo esperado. Ya veremos.

Para el problema de NNT:

Sería correcto decir que un modelo que le dio un 45% de probabilidad de ganar una semana y un 80% la próxima sería inútil, si obtuviera estos resultados con los mismos datos (o sin nueva información).

Como se ha señalado en otra parte, la nueva información salió a la luz en las últimas dos semanas. Ha habido dos convenciones, y han aparecido algunas noticias negativas adicionales para Trump (The Khan, Russia y controversias de no aprobación). Basado en la experiencia pasada, uno predeciría que las encuestas cambiarían después de cada convención, primero hacia quien tuvo la primera convención, y luego hacia quien tuvo la segunda. El modelo recogió algo que realmente sucedió, no solo algo que se inventó o imaginó: es un cambio real.

Si los votantes ahora cerraran sus ojos a la nueva información y luego los abrieran el día de las elecciones, esperaríamos que el modelo predictivo no se modificara. Si sale a la luz información adicional, esperaríamos que las encuestas reflejaran eso, y el modelo también lo reflejaría. Los modelos 538 (excluyendo el NowCast) han sido bastante buenos en responder a la nueva información sin volverse locos.

La forma de pensar acerca de los 538 modelos electorales es tratarlos explícitamente como un pronóstico , al igual que lo haría con un pronóstico meteorológico. Esperaría que apareciera una mejor información a medida que se acercaba a la fecha prevista, y debería tener una forma ordenada de incorporar esa información, de modo que su modelo se corresponda con la realidad. Eso es lo que lo hace un modelo útil.

Answer 3

Si sigue 538, pero no presta mucha atención, es probable que se confunda.

538 publica muchos tipos diferentes de estimaciones de probabilidad. Su “nowcast”, por ejemplo, es un pronóstico puntual de cuál sería el resultado de la elección si la elección se llevara a cabo en este instante exacto. Va a ser muy variable, porque refleja las cosas que están sucediendo en el momento: una convención política, un debate, algo estúpido que alguien dijo durante una entrevista. El nowcast está en todo el mapa.

Las proyecciones a largo plazo son mucho más estables y han sido sólidamente Clinton durante mucho tiempo.

Si confunde los diferentes tipos de proyecciones y no lee en qué se basan o cómo se derivan, puedo ver cómo puede llegar a la conclusión de que 538 es BS.

Answer 4

¿Por qué las predicciones electorales de 538 parecen tan mal este año?

[refiriéndose a los tweets de NassimNicholasTaleb en Twitter ]

El punto que Taleb señala sobre la metaprobabilidad solo se aplica a los casos en que no se obtiene información entre diferentes estimaciones de probabilidades. Pero este no es el caso para las predicciones de 538. Actualizan su pronóstico si y solo si obtienen nueva información.

Para verificar si los cambios en la probabilidad tienen sentido, realicé algunas simulaciones rápidas (en Excel) de una caminata aleatoria gaussiana y calculé la probabilidad de que el número final estuviera por encima de 0. Es muy fácil calcular esta probabilidad exactamente, ya que es tan simple modelo. Y los columpios del tamaño observado por 538 son bastante comunes.

Aquí hay dos ejemplos:

Una caminata aleatoria basada en una distribución con eventos más extremos (cisnes negros), que Taleb defiende en otras circunstancias, conduce a cambios aún mayores, ya que un evento tan extremo puede convertir a un perdedor en uno de los favoritos durante la noche.

Answer 5

¿Son cinco centavos llenos de mierda? No

El argumento de Nassim Taleb incluido en la descripción roza el disparate. Sugiere que debe ignorar la nueva información que le parezca impactante.

Imagine que está considerando invertir en una compañía que está convocando una reunión secreta para todos sus empleados. No sabes si las noticias son buenas o malas, ¡tal vez obtuvieron un nuevo contrato! O tal vez algo ha salido terriblemente mal. Pones las probabilidades en 50–50 (nota al margen: las probabilidades de Trump alcanzaron un máximo del 50.1%, no del 55%).

Tienes mucho en juego, por lo que te colas fuera de la reunión para ver qué pasa. Termina, y todo el mundo se echa a llorar. Algunos trabajadores sacan un teléfono celular, y usted oye, a través de sollozos, “voy a necesitar encontrar un nuevo trabajo”.

Las probabilidades de que las noticias fueran buenas, desde su perspectiva, simplemente disminuyeron drásticamente. Tal vez digas que hay un 80% de probabilidad de que nunca vuelvas a ver tu dinero invertido.

Intente aplicar el argumento del Sr. Taleb, palabra por palabra, y vea cuánto sentido tiene para usted.

Las encuestas cambiaron de casi cuello y cuello a Clinton +6 o +7 (o incluso más). Eso es bastante sustancial. La mejor probabilidad estimada tiene que cambiar mucho.

¿Deberían las probabilidades “converger” al 50%? Tal vez

El señor Taleb tiene un punto que se puede salvar. Se puede argumentar que dado que las encuestas han sido tan ruidosas, debería haber más incertidumbre sobre cómo cambian las cosas de aquí a las elecciones. Si aumenta la incertidumbre (en el lenguaje de las estadísticas, la “variación”), las probabilidades se acercarán más al 50% de lo lejos que se han movido. Esto no es realmente “convergente”: las probabilidades de Clinton aún deberían aumentar. Pero tal vez deberían subir por menos de lo que el modelo hace subir.

Fivethirtyeight (no 538) no cambiará su varianza porque no querían ajustar sus modelos de manera retroactiva. Si lo hicieran, los abriría a futuros retoques para hacer que su candidato favorito tenga más probabilidades de ganar. No quieren abrir ninguna acusación de parcialidad.

Si crees que deberían incorporar algún modelo donde la varianza aumenta en función del movimiento pasado, puedes argumentar que esto debería cambiarse. Tendrá que demostrar que en las elecciones donde las encuestas se movieron mucho antes, se atrasan mucho. Eso es posible.

Hay razones para pensar que se pueden mejorar las estimaciones de cinco tercios. Pero “lleno de mierda” es injustificado.

Answer 6

Taleb es confuso (y dados sus antecedentes, creo que intencionalmente) las estadísticas frecuentistas con las estadísticas bayesianas.

En las estadísticas frecuentistas, la probabilidad se refiere a la distribución de los resultados en ensayos repetidos. Por ejemplo, si tira un buen dado de seis caras muchas veces, cada cara aumentará 16.667% (1/6) del tiempo.

En las estadísticas bayesianas, la probabilidad se refiere a nuestra predicción del resultado de un evento futuro dado lo que sabemos. Por ejemplo, queremos predecir qué número aparecerá si tiramos dos dados de seis caras y los sumamos. Sabemos que la mayoría de los dados son justos y que hay más formas de obtener un 7 que cualquier otro número, por lo que decimos que existe una probabilidad del 16.67% (6/36) de tirar un 7.

Cinco tercios (y otras predicciones) se basan en estadísticas bayesianas. De acuerdo con las estadísticas frecuentistas, hay un 100% de posibilidades de que Clinton gane o un 0% de probabilidades de que gane, ya que es un evento único. Eso es inútil para nosotros, así que usamos la estimación bayesiana.

Dado que las estadísticas bayesianas son predicciones basadas en lo que sabemos ahora, por supuesto que van a tener posibilidades con frecuencia a medida que aprendemos cosas nuevas.

Answer 7

Los números cambian con el tiempo porque los candidatos hacen cosas con el tiempo (especialmente Trump), y los votantes responden a esas cosas con el tiempo .

¿Cómo no es esto obvio? La objeción de Taleb no tiene sentido para mí. El mundo no es un lugar estático. Las cosas pasan, incluyendo cambios en el sentimiento de los votantes.

Si los números de 538 no cambiaran, a pesar de los arrebatos periódicos de comportamiento ridículo de Trump, entonces eso sería algo interesante para reflexionar. Pero en cambio, tenemos cambios en las predicciones, debido a cambios en la realidad.

Supongo que los números fluctuaron menos en el pasado porque los candidatos eran profesionales y no eran propensos a los arrebatos de comportamiento ridículo.

Answer 8

Fivethirtyeight es super sofisticado, por lo que es fácil confundir a la persona promedio, pero obviamente saben lo que están haciendo. Su historial de predicciones electorales habla por sí mismo.

Hice un vlog sobre el debate anoche, cubriendo un poco de análisis, perspectiva y solo pensamientos personales. Cubierto Fivethirtyeight también. Es un momento desconcertante en la política estadounidense. La gente está confundida, desencantada y asustada. Tuve que sentarme y reflexionar sobre todo el asunto y buscar un montón de información por mi propia comprensión. Los temas que cubrí en el vlog incluyen: debates históricos, audiencia televisiva, acceso a información a través de las redes sociales en línea, limitaciones de la presidencia, la influencia de los votantes indecisos, el Colegio Electoral y similitudes entre Clinton y Trump. Echa un vistazo si lo deseas. ¡Espero eso ayude!

Answer 9

Trump es un fenómeno nuevo y las reglas ya no importan.

Sin embargo, Trump ahora debe girar para ganar el electorado general (vimos evidencia de esto cuando se desplomó en las encuestas recientemente), y si lo hace, el orden natural por el cual el 538 hace predicciones puede ser algo restaurado.

Esperemos que ahora el mundo vuelva a tener sentido de nuevo.

Answer 10

FiveThirtyEight fue fundada por Nate Silver, y la filosofía predictiva de Nate Silver se basa principalmente en las tendencias históricas. La elección de este año ha sido en muchos aspectos una anomalía, y creo que Silver subestimó la fuerza del populismo en esta elección (como cuando predijo incorrectamente que Michigan tenía un 99% de posibilidades de ir a Clinton durante las primarias, y Bernie lo aceptó) .

En el mismo sentido en que Bernie es un populista, Trump encarna el populismo de una manera similar. Por lo tanto, ha estado prediciendo que Clinton derrotará a Trump y ha dicho que Trump solo tiene un 20% de posibilidades en varios momentos. Si bien esto es demasiado optimista para Clinton, creo que finalmente será correcto a largo plazo, como parecen indicar ya las últimas encuestas.