Todos tendemos a valorar las encuestas según criterios subjetivos, aplaudiendo aquellas que dicen lo que nos gusta y despotricando de aquellas cuyos resultados no nos agradan tanto; es natural. Sin embargo, hay casos flagrantes: encuestadoras que nos presentan sistemáticamente, mes tras mes, resultados disparatados cuando no directamente risibles, que insultan el más elemental sentido común: que hacen sospechar que no estamos ante simple torpeza sino algo ante más grave, como puede ser sesgos deliberados o, directamente, burda manipulación interesada. Pero, ¿es esta presunta manipulación demostrable? ¿Existen criterios objetivos que puedan permitirnos separar el simple error de la mentira? La respuesta es sí; al menos desde el punto de la estadística. Y es que hay encuestas cuyos resultados, como veremos, van en contra de toda probabilidad.

A continuación, y a modo de cuestionario, presentaré algunos conceptos de estadística que debe tener claros cualquiera que quiera analizar una encuesta con un mínimo de criterio y ojo crítico.

¿Qué es el margen de error de una encuesta? ¿Cómo se calcula?

El margen de error es una forma de medir la “fiabilidad” de una encuesta. Y uso comillas porque, en realidad, el asunto es bastante más complejo. Se suele dar en tanto por ciento y se  calcula mediante la siguiente fórmula matemática:

ec1

Donde e es el error y n el número de entrevistas. Así, para una encuesta típica de 1200 encuestados, el “error” que aparecería en la ficha técnica sería del 3,2%.

¿Este “error” es el error total, el del partido mayoritario o de cada partido?

NINGUNA de las tres cosas, en realidad. Es un simple parámetro estimativo que se aproxima más o menos al error global. Pero el verdadero error (llamado desviación típica) de la estimación para CADA partido se calcula mediante la siguiente fórmula (derivada de los modelos de distribución binomial)

ec2

Ejemplo: imaginemos que una encuesta, cuyo supuesto margen de error es del 3%, le da al Partido Urbanita una intención de voto del 20%. Entonces, la desviación típica correspondiente a ese partido sería d= 3*raíz (20*(100-20))/100=1.2%. Es decir, que si la encuesta es veraz y está bien realizada, lo más probable es que este partido acabe sacando entre un 21, 2 y un 18,8%. Cualquier desviación que supere esta horquilla empezará a ser sospechosa.

Entonces, si la desviación típica es de, pongamos ese 1.2%, ¿Significa eso que es imposible que el resultado real acabe yéndose mucho más arriba o debajo de la estimación? Si, por ejemplo, se equivoca en tres puntos, ¿significa que la encuesta está manipulada?

No necesariamente, y ahí está la madre del cordero; es “posible”, pero para nada probable.  Seré más concreto:

-La probabilidad de que el error real de una encuesta supere los márgenes de la horquilla fijada por la desviación típica es del 32%

-La probabilidad de que supere una horquilla del doble de la d.t. es de MENOS del 4.2%

-La probabilidad de que supere una horquilla  del triple de la d.t. es de UN IRRISODIO 0.2%.

Volvamos a nuestro caso práctico. Imaginemos que las elecciones se celebran a los pocos días, y el Partido Urbanita, para el que se pronosticaba un 20% (y cuyo error o desviación típica era del 1.2%) se queda en un 18.7%. En ese caso el error real sería aproximadamente igual a 1xd (una vez la d.t.) así que podríamos decir que la encuesta está dentro de lo estadísticamente razonable, siendo la probabilidad de este resultado de alrededor del 30%. Imaginemos ahora que el nuestros amigos urbanitas se quedan en un triste 17.5% (2xd): aquí empieza a oler a chamusquina, siendo indicativo de, como mínimo, errores gruesos  en “cocina”, pues la probabilidad de esto es de menos del 4% … Pero supongamos ahora que nuestros queridos urbanitas, para colmo de males, se quedan en un 16. 5%, es decir, que el error de la encuesta TRIPLICA a la desviación. Aquí sí que habría que asumir o bien sesgo o bien errores sistemáticos del tamaño de la pirámide de Keops o bien directamente manipulación, pues la probabilidad sería MENOR a una entre 500.

¿Y si este hipotético partido urbanita se hubiera quedado en un 14%, se preguntará alguno maliciosamente? Entonces, la probabilidad de que ese resultado se diera de forma espontanea, y que todo fueran errores aleatorios e “inocentes” sería de una entre 500.000: 8 veces menor a la de ser agraciado por la lotería. Un dato que conviene analizar sin PRISA.

Eso está muy bien, pero en la vida real las elecciones no ocurren inmediatamente, sino que pueden pasar semanas. ¿Cómo podemos saber que hay verdadera mala fe, y no han sido los votantes los que han cambiado repentinamente de opinión? ¿No es eso más natural que imaginar manipulación de los medios o encuestadoras?

Me alegra que me hagas esa pregunta, Relojero. En ese caso, todavía nos quedan algunos cartuchos. El primero es el llamado “intervalo de confianza”, basado en comparar la encuesta “sospechosa” con el PROMEDIO de las encuestas de similares fechas y  evaluar su grado de coherencia. Adelanto ya que el Electopromedio NO DEBERÍA admitir ninguna encuesta en la que un partido se desvíe de la media móvil más de un 3%. El otro, que es el que usé para evaluar la fiabilidad de las encuestas pre 20-D es establecer el sesgo, es decir, hasta qué punto las encuestas sobrevaloraron más a una fuerzas o infravaloraron a otras en comparación con su error total acumulado.

Sin embargo, este es tema largo, así que se continuará detallando todo esto en un próximo artículo.

Un artículo de Victorino García.

Suscribir
Notificar de
31 Comentarios
Newest
Oldest Most Voted
Inline Feedbacks
View all comments

Truji_11
Truji_11 (@truji_11)
Miembro
4 años atrás

Todo eso seria verdad si se aplicara un muestreo probabilístico de verdad, cosa que no es real. ¿Porqué no es real? Para que sea un muestreo probabilístico cada elemento de la población objetivo (que serían los potenciales electores, en una encuesta de este tipo) debería tener una probabilidad superior a 0 de salir en la muestra, y esa probabilidad debe ser conocida (y de hecho, para aplicar las fórmulas que pones, las del muestreo aleatorio simple, debería ser igual para todos). Eso no ocurre, por varios motivos.
El primero, el marco que se utiliza. Casi todas las encuestas son telefónicas, salvo las del CIS, que son presenciales, y alguna que es basadas en marcos por Internet. En las encuestas telefónicas, la mayoría utiliza solo teléfonos fijos, y aunque no lo ponga, como marco utiliza directorios basados en la antiguas "páginas blancas". Bien, pues a nivel nacional hay aprox. un 20% de españoles que no tiene teléfono fijo. Y no son cualquiera, sino que tienen unas características concretas: jóvenes, y con bajos ingresos. Pero eso no es lo peor. El marco utilizado por la mayoría solo tiene a los clientes de Telefónica, por lo que nos quedamos solo con menos de un 50% de cobertura. ¿Se podría hacer mejor? Por supuesto, haciendo un marcado automático, pero pocas lo hacen porque es más caro. Además se podría hacer muestreos incluyendo móviles. Pocos lo hacen, alguno dice que lo hace, pero habrá que ver como. A nivel nacional ni siquiera es mucho más caro, a nivel regional sí.

El segundo problema: la falta de respuesta. Todavía estoy esperando ver una empresa que diga cual es su tasa de respuesta, es decir, de los individuos que han sido elegidos, cuales han sido los que realmente han respondido. El CIS sí la ha dado en algunos estudios: por debajo del 15%. En encuestas telefónicas, por estudios realizados, está todavía más baja. Para que fuera probabilístico, debería ser del 100%. Así que cualquier parecido con una muestra probabilística es pura coincidencia.

Estas desviaciones tremendas de un muestreo probabilístico son uno de los factores que hacen que haya grandes sesgos, ya que esas desviaciones pueden ir en cualquier dirección. Así que como no nos fiamos de la muestra, porque lo que nos sale (la IDV) no tiene por donde cogerlo, pues hacemos cocina, y aplicamos multiplicadores (un término que jamás he visto utilizar en estadística). Y después rezamos porque las encuestas acierten (y por si acaso conforme se acercan las elecciones nos copiamos un poco del compañero para si nos equivocamos, equivocarnos todos juntos)

trackback
Estadística para Dummies (II): Metroscopia vs el 20-D – Electomanía
4 años atrás

[…] que en el anterior artículo se definió el “error” de una encuesta, se enseñó a calcular la correspondiente desviación […]

SkyHausmann
SkyHausmann (@skyhaussmann)
Miembro
4 años atrás

Hay un error en el análisis que consiste en aplicar las desviaciones típicas en el resultado cocinado.

El error hace referencia a la IDV que son los datos sobre los que se hace la inferencia en la población general.

Pero vayamos directos al principio. ¿Cómo se hace una encuesta?

Parece sencillo ¿no? Se le pregunta a la gente y ya está. Lo cual funcionaría muy bien si los resultados electorales estuviesen uniformemente distribuidos a lo largo de todo el país, grupos de edad, nivel económico… Pero en realidad no es así.

Pero imaginemos que somos capaces de estratificar nuestra muestra de manera que eliminemos ese sesgo. Nos encontramos con el siguiente escollo. El efecto House, o todo el mundo miente. No todo el mundo miente, pero muchos dicen que no saben o directamente no contestan y se niegan a decir a quién votarán o aseguran que no lo han decidido todavía. De las respuestas directas a esas preguntas se saca la Intención Directa de Voto o IDV.

El error muestral se aplica a los resultados de la IDV y los cálculos se hacen en base a ello. Es decir si la IDV del Partido Urbanita es 10% el error sería de 10+-1.2%, Una desviación típica de 1.2% implica que un intervalo de confianza del 67% sería 8.8-11.2 y el intervalo plausible, dos desviaciones típicas sería +-2.4%. Es decir, estamos 95% seguros de que el verdadero valor estará entre 7.6 y 12.4% en cuanto a IDV.

Ya es bastante error.

La famosa "cocina" no es más que un intento de corregir las omisiones y mentiras de los encuestados cuándo se les pregunta. Por ejemplo, imaginemos que los votantes del partido X se avergüenzan de decir que lo han votado o que lo votarán mentras que los votantes del Partido Urbanita están muy orgullosos. Eso nos daría que las intenciones directas de voto de ambos partidos tal vez serían idénticas. Ahí es cuando entran otras variables como el recuerdo de voto que se utilizan para intentar calcular las proporciones. Por ejemplo.

Resultado real en pasadas elecciones: PARTIDO A: 30% PARTIDO B: 15%
Recuerdo de voto en la encuesta: PARTIDO A: 10%, PARTIDO B: 10%

Tendríamos que multiplicar los "votos" de la gente que reconoce haber votado al partido A por 3 y los que reconocen haber votado al partido B por 1.5.

Naturalmente la cocina es un poco más complicado que eso y es aquí donde vienen la mayoría de los errores.

¿Qué occurre con el error al "cocinar" los datos?

Bien, si multiplicamos una IDV por 2, también estamos multiplicando su error por dos. De manera que en este caso, el partido Urbanita al que se le cocina un 20%, el error sería de 2.4% y un intervalo de confianza del 95% sería 15.2% – 24.8%

Las encuestas, incluso con la mejor fé del mundo, no son fáciles de hacer.

sololaverdad
sololaverdad (@honradez)
Miembro
4 años atrás

Por pura lógica, todas las encuestas están manipuladas. Porque todas las encuestadoras tienen su partido político afín. Sirva para comprobarse que el resultado de las urnas difiere mucho de lo que se pronostica con anterioridad. El día que haya una, sólo una empresa que sea neutra tendremos un sondeo real. A día de hoy, la mejor encuestadora es la que tiene cada partido y cuyos datos no afloran.

Aristopeple
Aristopeple
Invitado
4 años atrás

Agradezco el artículo.

Jose Salver
Jose Salver (@josesalver)
Administrador
4 años atrás

La entrada es muy buena, porque pone en antecedentes de datos básicos que creo que todo el mundo debe saber. Mi única objeción sería al último párrafo, que es, en mi opinión, el meollo de la cuestión.

La cuestión es que en las elecciones del 20-D Ciudadanos obtuvo un 5-6% aproximadamente menos que lo que decían las encuestas diez días antes de las elecciones. En esto la explicación del último párrafo se me queda pendiente, de momento, porque en España no se pueden publicar encuestas en los cinco días previos a la jornada electoral. Si a eso sumamos un par de días más para toma y procesamiento de datos, en la práctica, las encuestan ofrecen una foto de las elecciones una semana antes de producirse estas. Por tanto, las encuestas no pronostican nada, sino que sacan una foto fija de una situación previa, como muy tarde una semana antes de que se celebren las elecciones. ¿Cómo vamos a comparar eso con el resultado electoral y sacar conclusiones?

Es como sacar una foto de la situación de una carrera de 1.500 metros lisos, cuando han transcurrido los primeros 1.450 metros, pero faltan 5 segundos para el final. Aunque la foto esté sacada desde el ángulo correcto y sea estupenda (ese es otro problema), no puede decir cómo acabará EXACTAMENTE la carrera. Avisa de cómo van las cosas cuando están ya en la recta final, pero nada más. TODAS las fotos sacadas en ese momento, que es el último permitido, son incapaces de predecir dónde estarán los corredores al llegar a la meta. No sirven para eso. Dónde estarán al final depende de cuánto aceleren en los 50 metros finales. Y esos metros son, precisamente, en los que unos suelen desfogarse y otros crecerse.

Las tendencias se aceleran notablemente en los últimos días de campaña, que es cuando en España la legislación nos obliga a quedarnos a ciegas.

Y otra cuestión es Metroscopia, en particular, que lleva ya un año mostrando un sesgo a favor de Ciudadanos de unos 2-3 y a veces hasta 4 puntos por encima del promedio de encuestas. Si tuviéramos datos de encuestas hasta el mismo día de las elecciones, podríamos comparar y sacar conclusiones sobre sesgos. Pero como no los tenemos, ¿cómo podemos cuantificar si el sesgo es solo respecto a los demás sondeos, o también respecto al resultado real?

Mi opinión es que es imposible superar esta dificultad. Comparamos peras con manzanas, y así no hay quien saque conclusiones objetivas. Lo único que podemos hacer es detectar en el "momento 1450" si alguien está acelerando o desacelerando, y a continuación suponer que seguirá así hasta el momento 1500. Eso es justo lo que intentamos con el electopronóstico para el 20-D, y no nos salió bien, porque es muy difícil. Pero somos un poco burros y seguiremos intentándolo.

Aparte puede haber fotos mal hechas, o directamente manipuladas, y esto se puede superponer al problema anterior, con lo cual todo se complica aún más. Pero como valoramos momentos temporales distintos, nos encontramos perdidos.

Respeto al 20-D, es imposible saber si las encuestas en conjunto se equivocaron con Ciudadanos o si por el contrario Ciudadanos pinchó en los últimos cincuenta metros. Mi intuición es que ocurrió lo segundo, aunque al sector favorable a Podemos le interese creer que ocurrió lo primero. También se pudo dar una combinación de ambas cosas. Pero más allá de nuestras creencias particulares, no hay forma OBJETIVA de saberlo. El análisis de las desviaciones es válido para datos homogéneos, en este caso, para datos referidos al mismo momento temporal. Y eso no lo tenemos en este caso.

En cuanto a qué debe incluirse en el electopromedio, somos el único poll of polls de España que excluye del promedio a quien se desvía demasiado. Metroscopia ha quedado excluida más de una vez por ese motivo.

Hasta lo que yo sé, los demás promedios o no explican la metodología, o incluyen todos los sondeos disponibles, aporten los resultados que aporten. Nuestro criterio, en cambio, es excluir a quien se desvíe por encima de lo que técnicamente se podría llamar un "sigma 2" conjunto. Por su parte, Vicente propone excluir cualquier encuesta que se desvíe en más de tres puntos respecto al promedio para algún partido. Yo de momento prefiero valorar conjuntamente todas las desviaciones, y no fijarse solo en una. Pero espero próximos artículos de Viente para ver la fundamentación técnica de su criterio. Si resulta convincente la adoptaremos.

Por último decir, que me encanta que haya entradas como esta. Hablando, debatiendo, entendiendo; crecemos juntos, más allá de despotricar contra la última encuesta que no nos guste, lo cual es bastante menos constructivo.

Enhorabuena por el artículo.

Ojito con los últimos cincuenta metros…

https://www.youtube.com/watch?v=tO-2PajCye8

WhiskyTime
WhiskyTime
Invitado
4 años atrás

Relojero, ¿eres lector de Ciencia de sofá?

Pd:buen artículo.

Socioliberal
Socioliberal (@linksliberal)
Miembro
4 años atrás

Bueno Víctor,

Mi comentario: Como clarificación bastante interesante. Yo creo que deberías resaltar todavía más que estas encuestas electorales son fotografías pasajeras del momento anímico. También el problema del modelo estadístico en sí, a quienes se les pregunta o que franjas de edad,clase social,urbano o rural,centro o más periferia? En qué momento se les pregunta a los posibles votantes, por la mañana después de leer el periódico o por la tarde reflexionado? Que modelo estadístico ha sido usado y que cocina se aplicó o que pensamientos sociológicos estaban detrás? Que orquillas se barajaban por los encuestadores? Un sin fin de preguntas que podría seguir…creo que se pueden intuir irregularidades pero constatar manipulaciones es poco científico a mi ver.

Mi punto: La psicología de la estimulación negativa o positiva del subconsciente , es decir, crear una confianza de voto o un sentimiento de subversión que movilice al votante indispuesto o volátil.

Mi conclusión o mi intuición: La estrategia de crear self full-filling prophecies fracasó en el 20-D. Parece evidente que el votante vota por lmuchos factores. Es más, la influencia del entorno político(el posicionamiento ideológico y político del entorno) como una real-life proyección a pie sobre la intención de voto es mucho más tangible y transcendente.

Saludos

Lutxana
Lutxana (@lutxana)
Miembro
4 años atrás

Felicitaciones Relojero78, ha sido una exposicion perfecta y clara de como descubrir una encuesta manipulada.

+1000

Chiflagoras
Chiflagoras (@chiflagoras)
Miembro
4 años atrás

Gracias por el articulo, es muy util e interesante! Creo que la manipulación a veces es tan obvia que ya han perdido el efecto que tenian. No he escuchao ya veces respecto a las noticias y encuestas la frase de -No me creo nada, estan haciendo lo mismo que antes de las elecciones-

Gran parte de la población se ha hecho inmune y va en aumento por lo absurdas que llegan a ser las acusaciones y noticias contra P's.

lebowski2015
lebowski2015
Invitado
4 años atrás

La verdad es que te ha quedado un resumen muy didáctico, hay que reconocerlo. Pero tranquilo, que ya vengo yo, el defensor oficial de (casi) todas las empresas demoscópicas de España, a tocar un poco las narices.

Evidentemente, los datos que das son incontestables, aunque creo que, tratándose tu estudio de encuestas de intención de voto, cabría hacer algunas matizaciones, pues tus cálculos están excluyendo posibles errores (voluntarios o involuntarios) de la famosa "cocina" que todas las encuestadoras aplican a sus resultados. Te pongo un ejemplo histórico muy claro: en 1996 todas las encuestas daban una ventaja amplia entre PP y PSOE y el resultado final fue una diferencia de apenas un punto. ¿Estaban todas las encuestas manipuladas? No, lo que sucedió fue que todas las encuestadoras, en mayor o menor medida, cometieron el mismo error en su cocina. Consideraron, como había sido tradicional hasta entonces, que el partido más afectado por el voto oculto era el PP, cuando la gran cantidad de casos de corrupción que salieron durante el final del felipismo habían provocado que mucho votante del PSOE se "ocultase", y eso supuso el hasta ahora mayor fiasco global de las encuestadoras en España. En aquellas elecciones los resultados reales se desviaron con creces de la desviación típica de las encuestas, sin que mediara ninguna confabulación global de todos los medios para adulterarlas.

Una encuesta sobre intención de voto es el trabajo demoscópico más complicado y en el que las posibilidades de fallar estrepitosamente son mayores. La única encuesta que no tiene margen de error es la que hace el INE para calcular la esperanza de vida: ahí no hace falta "cocina", o estás muerto o estás vivo, no hay muertos ocultos ni indecisos.

Dicho esto, a mí me parecen más sorprendentes las diferencias que presentan las encuestas en los datos de intención directa de voto. Ahí encontramos a veces diferencias significativas que no pueden explicarse por la cocina posterior, y donde tus cálculos sí que indican que en muchos casos las cosas no se han hecho bien, pues esas desviaciones solo pueden ser explicadas por errores (voluntarios o involuntarios) en el diseño de la muestra o en la frecuencia de preguntas. Lamentablemente, salvo raras excepciones, como el CIS, los datos que nos hacen llegar las encuestadoras son insuficientes para poder analizar qué ha sucedido ahí.

Y un último apunte sobre tu estudio: en el último párrafo, para valorar la fiabilidad de una encuesta, te basas en el promedio global de todas las encuestas de la misma fecha. Si se parte de la premisa de que todas las encuestas están manipuladas, el promedio de todas esas manipulaciones no podría considerarse como un dato de referencia para valorar nada. Con esa teoría encima de la mesa, podría ser que todas las encuestas fueran falsas y que la de Metroscopia fuera la única fiable. Yo, personalmente, no me lo creo.

Resumiendo, creo que tus razonamientos resultan excelentes para demostrar que la desviación de las encuestas de Metroscopia no puede ajustarse a parámetros estadísticos, si no a criterios impuestos por la línea editorial de una empresa con unos objetivos político-económicos evidentes, como igual de evidente es su falta de escrúpulos a la hora de manipular y tergiversar cualquier información a su conveniencia. Pero para que esta conclusión se pueda fundamentar en cálculos reales, tú mismo estás considerando que el resto (más o menos) de encuestadoras sí que ofrecen unos datos dentro del margen de error que las Matemáticas permiten. Es decir, que sí, que El País nos toma el pelo cada vez que saca una encuesta, pero si el resto de las encuestadoras están apuntando ciertas tendencias en las últimas semanas, más o menos pronunciadas, pienso que sí deberíamos tomarlas en serio y no como resultado de una confabulación global de todos los poderes económicos y políticos para favorecer a Ciudadanos y perjudicar a Podemos.

pltologo_madrid
pltologo_madrid
Invitado
4 años atrás

Un texto bastante útil en los tiempos que corren.

Txemagarcia64
Txemagarcia64
Invitado
4 años atrás

"Un dato que conviene analizar sin PRISA".
Muy interesante y revelador

lizarraba
lizarraba
Invitado
4 años atrás

Muchas gracias por esta entrada tan aclaradora, ¿Alguien se la puede enviar a Metroscopia?