Todos tendemos a valorar las encuestas según criterios subjetivos, aplaudiendo aquellas que dicen lo que nos gusta y despotricando de aquellas cuyos resultados no nos agradan tanto; es natural. Sin embargo, hay casos flagrantes: encuestadoras que nos presentan sistemáticamente, mes tras mes, resultados disparatados cuando no directamente risibles, que insultan el más elemental sentido común: que hacen sospechar que no estamos ante simple torpeza sino algo ante más grave, como puede ser sesgos deliberados o, directamente, burda manipulación interesada. Pero, ¿es esta presunta manipulación demostrable? ¿Existen criterios objetivos que puedan permitirnos separar el simple error de la mentira? La respuesta es sí; al menos desde el punto de la estadística. Y es que hay encuestas cuyos resultados, como veremos, van en contra de toda probabilidad.

A continuación, y a modo de cuestionario, presentaré algunos conceptos de estadística que debe tener claros cualquiera que quiera analizar una encuesta con un mínimo de criterio y ojo crítico.

¿Qué es el margen de error de una encuesta? ¿Cómo se calcula?

El margen de error es una forma de medir la “fiabilidad” de una encuesta. Y uso comillas porque, en realidad, el asunto es bastante más complejo. Se suele dar en tanto por ciento y se  calcula mediante la siguiente fórmula matemática:

ec1

Donde e es el error y n el número de entrevistas. Así, para una encuesta típica de 1200 encuestados, el “error” que aparecería en la ficha técnica sería del 3,2%.

¿Este “error” es el error total, el del partido mayoritario o de cada partido?

NINGUNA de las tres cosas, en realidad. Es un simple parámetro estimativo que se aproxima más o menos al error global. Pero el verdadero error (llamado desviación típica) de la estimación para CADA partido se calcula mediante la siguiente fórmula (derivada de los modelos de distribución binomial)

ec2

Ejemplo: imaginemos que una encuesta, cuyo supuesto margen de error es del 3%, le da al Partido Urbanita una intención de voto del 20%. Entonces, la desviación típica correspondiente a ese partido sería d= 3*raíz (20*(100-20))/100=1.2%. Es decir, que si la encuesta es veraz y está bien realizada, lo más probable es que este partido acabe sacando entre un 21, 2 y un 18,8%. Cualquier desviación que supere esta horquilla empezará a ser sospechosa.

Entonces, si la desviación típica es de, pongamos ese 1.2%, ¿Significa eso que es imposible que el resultado real acabe yéndose mucho más arriba o debajo de la estimación? Si, por ejemplo, se equivoca en tres puntos, ¿significa que la encuesta está manipulada?

No necesariamente, y ahí está la madre del cordero; es “posible”, pero para nada probable.  Seré más concreto:

-La probabilidad de que el error real de una encuesta supere los márgenes de la horquilla fijada por la desviación típica es del 32%

-La probabilidad de que supere una horquilla del doble de la d.t. es de MENOS del 4.2%

-La probabilidad de que supere una horquilla  del triple de la d.t. es de UN IRRISODIO 0.2%.

Volvamos a nuestro caso práctico. Imaginemos que las elecciones se celebran a los pocos días, y el Partido Urbanita, para el que se pronosticaba un 20% (y cuyo error o desviación típica era del 1.2%) se queda en un 18.7%. En ese caso el error real sería aproximadamente igual a 1xd (una vez la d.t.) así que podríamos decir que la encuesta está dentro de lo estadísticamente razonable, siendo la probabilidad de este resultado de alrededor del 30%. Imaginemos ahora que el nuestros amigos urbanitas se quedan en un triste 17.5% (2xd): aquí empieza a oler a chamusquina, siendo indicativo de, como mínimo, errores gruesos  en “cocina”, pues la probabilidad de esto es de menos del 4% … Pero supongamos ahora que nuestros queridos urbanitas, para colmo de males, se quedan en un 16. 5%, es decir, que el error de la encuesta TRIPLICA a la desviación. Aquí sí que habría que asumir o bien sesgo o bien errores sistemáticos del tamaño de la pirámide de Keops o bien directamente manipulación, pues la probabilidad sería MENOR a una entre 500.

¿Y si este hipotético partido urbanita se hubiera quedado en un 14%, se preguntará alguno maliciosamente? Entonces, la probabilidad de que ese resultado se diera de forma espontanea, y que todo fueran errores aleatorios e “inocentes” sería de una entre 500.000: 8 veces menor a la de ser agraciado por la lotería. Un dato que conviene analizar sin PRISA.

Eso está muy bien, pero en la vida real las elecciones no ocurren inmediatamente, sino que pueden pasar semanas. ¿Cómo podemos saber que hay verdadera mala fe, y no han sido los votantes los que han cambiado repentinamente de opinión? ¿No es eso más natural que imaginar manipulación de los medios o encuestadoras?

Me alegra que me hagas esa pregunta, Relojero. En ese caso, todavía nos quedan algunos cartuchos. El primero es el llamado “intervalo de confianza”, basado en comparar la encuesta “sospechosa” con el PROMEDIO de las encuestas de similares fechas y  evaluar su grado de coherencia. Adelanto ya que el Electopromedio NO DEBERÍA admitir ninguna encuesta en la que un partido se desvíe de la media móvil más de un 3%. El otro, que es el que usé para evaluar la fiabilidad de las encuestas pre 20-D es establecer el sesgo, es decir, hasta qué punto las encuestas sobrevaloraron más a una fuerzas o infravaloraron a otras en comparación con su error total acumulado.

Sin embargo, este es tema largo, así que se continuará detallando todo esto en un próximo artículo.

Un artículo de Victorino García.

Suscribir
Notificar de
31 Comentarios
Newest
Oldest Most Voted
Inline Feedbacks
View all comments

Truji_11
Truji_11 (@truji_11)
5 años atrás

Todo eso seria verdad si se aplicara un muestreo probabilístico de verdad, cosa que no es real. ¿Porqué no es real? Para que sea un muestreo probabilístico cada elemento de la población objetivo (que serían los potenciales electores, en una encuesta de este tipo) debería tener una probabilidad superior a 0 de salir en la muestra, y esa probabilidad debe ser conocida (y de hecho, para aplicar las fórmulas que pones, las del muestreo aleatorio simple, debería ser igual para todos). Eso no ocurre, por varios motivos. El primero, el marco que se utiliza. Casi todas las encuestas son telefónicas, salvo las del CIS, que son presenciales, y alguna que es basadas en marcos por Internet. En las encuestas telefónicas, la mayoría utiliza solo teléfonos fijos, y aunque no lo ponga, como marco utiliza directorios basados en la antiguas "páginas blancas". Bien, pues a nivel nacional hay aprox. un 20%… Leer más »

trackback
Estadística para Dummies (II): Metroscopia vs el 20-D – Electomanía
5 años atrás

[…] que en el anterior artículo se definió el “error” de una encuesta, se enseñó a calcular la correspondiente desviación […]

SkyHausmann
SkyHausmann (@skyhaussmann)
5 años atrás

Hay un error en el análisis que consiste en aplicar las desviaciones típicas en el resultado cocinado. El error hace referencia a la IDV que son los datos sobre los que se hace la inferencia en la población general. Pero vayamos directos al principio. ¿Cómo se hace una encuesta? Parece sencillo ¿no? Se le pregunta a la gente y ya está. Lo cual funcionaría muy bien si los resultados electorales estuviesen uniformemente distribuidos a lo largo de todo el país, grupos de edad, nivel económico… Pero en realidad no es así. Pero imaginemos que somos capaces de estratificar nuestra muestra de manera que eliminemos ese sesgo. Nos encontramos con el siguiente escollo. El efecto House, o todo el mundo miente. No todo el mundo miente, pero muchos dicen que no saben o directamente no contestan y se niegan a decir a quién votarán o aseguran que no lo han decidido… Leer más »

sololaverdad
sololaverdad (@honradez)
5 años atrás

Por pura lógica, todas las encuestas están manipuladas. Porque todas las encuestadoras tienen su partido político afín. Sirva para comprobarse que el resultado de las urnas difiere mucho de lo que se pronostica con anterioridad. El día que haya una, sólo una empresa que sea neutra tendremos un sondeo real. A día de hoy, la mejor encuestadora es la que tiene cada partido y cuyos datos no afloran.

Aristopeple
Aristopeple
5 años atrás

Agradezco el artículo.

Jose Salver
Jose Salver (@josesalver)
Administrador
5 años atrás

La entrada es muy buena, porque pone en antecedentes de datos básicos que creo que todo el mundo debe saber. Mi única objeción sería al último párrafo, que es, en mi opinión, el meollo de la cuestión. La cuestión es que en las elecciones del 20-D Ciudadanos obtuvo un 5-6% aproximadamente menos que lo que decían las encuestas diez días antes de las elecciones. En esto la explicación del último párrafo se me queda pendiente, de momento, porque en España no se pueden publicar encuestas en los cinco días previos a la jornada electoral. Si a eso sumamos un par de días más para toma y procesamiento de datos, en la práctica, las encuestan ofrecen una foto de las elecciones una semana antes de producirse estas. Por tanto, las encuestas no pronostican nada, sino que sacan una foto fija de una situación previa, como muy tarde una semana antes de… Leer más »

WhiskyTime
WhiskyTime
5 años atrás

Relojero, ¿eres lector de Ciencia de sofá?

Pd:buen artículo.

Socioliberal
Socioliberal (@linksliberal)
5 años atrás

Bueno Víctor, Mi comentario: Como clarificación bastante interesante. Yo creo que deberías resaltar todavía más que estas encuestas electorales son fotografías pasajeras del momento anímico. También el problema del modelo estadístico en sí, a quienes se les pregunta o que franjas de edad,clase social,urbano o rural,centro o más periferia? En qué momento se les pregunta a los posibles votantes, por la mañana después de leer el periódico o por la tarde reflexionado? Que modelo estadístico ha sido usado y que cocina se aplicó o que pensamientos sociológicos estaban detrás? Que orquillas se barajaban por los encuestadores? Un sin fin de preguntas que podría seguir…creo que se pueden intuir irregularidades pero constatar manipulaciones es poco científico a mi ver. Mi punto: La psicología de la estimulación negativa o positiva del subconsciente , es decir, crear una confianza de voto o un sentimiento de subversión que movilice al votante indispuesto o volátil.… Leer más »

Lutxana
Lutxana (@lutxana)
5 años atrás

Felicitaciones Relojero78, ha sido una exposicion perfecta y clara de como descubrir una encuesta manipulada.

+1000

Chiflagoras
Chiflagoras (@chiflagoras)
5 años atrás

Gracias por el articulo, es muy util e interesante! Creo que la manipulación a veces es tan obvia que ya han perdido el efecto que tenian. No he escuchao ya veces respecto a las noticias y encuestas la frase de -No me creo nada, estan haciendo lo mismo que antes de las elecciones-

Gran parte de la población se ha hecho inmune y va en aumento por lo absurdas que llegan a ser las acusaciones y noticias contra P's.

lebowski2015
lebowski2015
5 años atrás

La verdad es que te ha quedado un resumen muy didáctico, hay que reconocerlo. Pero tranquilo, que ya vengo yo, el defensor oficial de (casi) todas las empresas demoscópicas de España, a tocar un poco las narices. Evidentemente, los datos que das son incontestables, aunque creo que, tratándose tu estudio de encuestas de intención de voto, cabría hacer algunas matizaciones, pues tus cálculos están excluyendo posibles errores (voluntarios o involuntarios) de la famosa "cocina" que todas las encuestadoras aplican a sus resultados. Te pongo un ejemplo histórico muy claro: en 1996 todas las encuestas daban una ventaja amplia entre PP y PSOE y el resultado final fue una diferencia de apenas un punto. ¿Estaban todas las encuestas manipuladas? No, lo que sucedió fue que todas las encuestadoras, en mayor o menor medida, cometieron el mismo error en su cocina. Consideraron, como había sido tradicional hasta entonces, que el partido más… Leer más »

pltologo_madrid
pltologo_madrid (@politologo_madrid)
5 años atrás

Un texto bastante útil en los tiempos que corren.

Txemagarcia64
Txemagarcia64
5 años atrás

"Un dato que conviene analizar sin PRISA".
Muy interesante y revelador

lizarraba
lizarraba
5 años atrás

Muchas gracias por esta entrada tan aclaradora, ¿Alguien se la puede enviar a Metroscopia?