As pesquisas estavam erradas, mas aconteceu com todos nós

As pesquisas estavam certas em 26-J?

Todo mundo diz que não, que erraram muito, muito mesmo, um ultraje. Mas a questão merece um pouco mais de tempo.

Avisamos você sobre o que pode acontecer em um artigo de meados de maio, quando todos pareciam ter certeza do que iria acontecer. Para isso utilizamos as estimativas de Kiko Llaneras e traçamos um paralelo com a mecânica quântica. A palavra-chave foi incerteza, e sempre será. Incerteza não é o mesmo que erro: a incerteza é uma característica inata do sistema que tentamos analisar (o sistema eleitoral) e temos de a ter em conta porque estará sempre presente.

É claro que ninguém no nosso submundo de fãs políticos prestou atenção a este artigo ou, de facto, aos belos gráficos em forma de sino de Llaneras. Estávamos todos muito ocupados acreditando que sabíamos o que iria acontecer.

Mas agora temos os dados reais, então podemos comparar os resultados que Kiko Llaneras considerou prováveis ​​por volta de 16 de junho com aqueles que realmente ocorreram:

Quer queiramos ou não, queiramos acreditar ou não, todos os jogos estão dentro do que era possível há um mês. Alguns mais do que outros, também é verdade.

Gráficos como o acima (que, antes das eleições, só faltavam as barras verticais pretas) foram imediatamente esquecidos. Na verdade, o único que publicou algo assim foi Llaneras para o El Español, mas as manchetes do seu jornal foram muito mais incisivas do que, no mesmo artigo, os gráficos diziam posteriormente. O próprio Llaneras, como se pedisse desculpas, e num esforço para não parecer muito impreciso, publicou faixas que incluíam apenas 50% dos casos possíveis. Poderia ter publicado intervalos mais elevados, o que teria sido perfeitamente razoável, mas que talvez o público em geral não tivesse tolerado.

Assim, os jornais preferiram publicar números exatos e contundentes. Os leitores preferiram ler números exatos e contundentes. Os supostos cientistas políticos preferiram analisar números exatos e conclusivos...

Mas foi isso que as pesquisas disseram? As pesquisas, tal como publicadas nos jornais, talvez. Mas os valores centrais de uma pesquisa são apenas um caso particular, bastante raro, dentro das possibilidades que essa mesma pesquisa abre. Não digamos se compararmos com outros. A verdade é que todos nos esforçamos em maio e junho para ver valores centrais e não intervalos, embora o valor central que uma sondagem nos dá para um partido, em termos de número de deputados por exemplo, mal cubra, para o maior partes, 2% dos resultados finais possíveis. Todos sabemos que existe uma margem de erro, mas todos a ignoramos completamente quando se trata de interpretar uma pesquisa. As manchetes dos jornais acentuam essa tendência e também enfatizam mudanças mínimas em relação às pesquisas anteriores. Ninguém se importa que as variações entre uma pesquisa e outra possam cair dentro das margens de erro e sejam, portanto, irrelevantes. Eles geram manchetes interessantes e só isso conta. Os leitores de jornais exigem esse tipo de interpretação. A coisa forte vende; o reflexivo, o realista, não.

A verdade é que as manchetes não ajudam e nem o clima de opinião que se cria. Ambos se reforçam mutuamente numa espiral impossível de parar. Gostamos de nos enganar para adaptar a realidade aos nossos preconceitos ideológicos, e somos nós, sim, nós, os leitores, que exigimos que a imprensa da nossa própria linha ideológica nos engane com manchetes categóricas e conclusões contundentes.

Para compreender o clima de opinião que reinou antes e durante esta última campanha eleitoral, e que tornou tudo isto possível, nada melhor do que ver esta outra sondagem publicada pouco antes das eleições.

Infotécnico: Não há bypass

A pesquisa oferece uma estimativa de assentos (embora certamente não de votos) que acabariam alcançando uma alta taxa de sucesso. O melhor. Bem, a reação que ocorreu após a sua publicação na Electomanía foi tudo menos calma. O pedido mais comum foi que a entrada dessa pesquisa fosse removida, por considerá-la tendenciosa, manipuladora e manifestamente falsa. Como é possível que uma simples pesquisa tenha provocado tal reação, num site como este, onde todas as pesquisas de sempre são publicadas? Deixe que cada um julgue por si mesmo suas próprias atitudes. Talvez a unanimidade que reinava então tenha algo a ver com isso: essa unanimidade, a uniformidade, sempre produz intolerância para com quem é diferente. É por isso que a diversidade de opiniões e pontos de vista é tão importante, porque introduz um elemento essencial: a dúvida. Devemos ter isso em mente para o futuro.

Outro fenômeno curioso ocorrido nos meses anteriores às eleições de 26 J foi a coincidência entre quase todas as pesquisas. Houve uma unanimidade verdadeiramente surpreendente entre eles. O convergência entre as pesquisas apareceu em março, piorou em abril e atingiu seu extremo em maio. Não importava se a mídia que publicava as pesquisas era de direita ou de esquerda. Não importava o tamanho da amostra ou o método de obtenção dos dados: o resultado para cada partido era quase sempre o mesmo, com variações de apenas um ponto percentual, ou no máximo dois. Nunca antes houve uma harmonia tão grande entre pesquisas tão diferentes e tenho quase certeza de que isso nunca mais acontecerá.

Que estranha alucinação colectiva invadiu todas as sondagens para tornar isso possível? Acho que a pressão social, difusa mas muito real, é enorme e influencia. Os pesquisadores cobram pelo seu trabalho, e o medo de que esse trabalho acabe virando motivo de chacota pública os deixa com medo. Eles preferem se misturar em vez de se destacar. Viemos de uma eleição recente, em que as sondagens estavam erradas num certo sentido e a sua memória ainda estava muito fresca. A sociedade rotula, desqualifica e pune quem se destaca. O medo de errar novamente no mesmo sentido da vez anterior tornava o processamento dos dados tímido, e todos tendiam a publicar suas pesquisas olhando de soslaio para os dados que outros publicavam para não se chocarem muito. Além disso, neste caso, o grupo social mais mobilizado foi muito sensível aos resultados do 20-D. Havia uma legião de ativistas no Twitter, no Facebook, nos fóruns, muito combativos e visíveis, claramente majoritários em todas essas redes, que estavam dispostos a acusar qualquer pesquisa que não oferecesse resultados de manipulação. correto. Não acredito que os investigadores tenham cedido a essa pressão de forma consciente e deliberada. Mas acredito que a atmosfera de euforia que surgiu na esquerda entre Março e Maio fez com que os investigadores errassem o alvo na hora de avaliar os dados. Especificamente, talvez a maior motivação daqueles que, sendo muito mais mobilizados que os restantes (e portanto mais visíveis), falaram mais e manifestaram mais vontade de votar, mas isso não significava que fossem mais numerosos na contagem dos votos. E o silêncio de quem estava do outro lado, que estava cada vez mais cansado desta pressão social e, por isso, calou-se sobre o seu voto e esperou pelo seu momento, que chegaria no dia 26 de junho, não foi devidamente tido em conta.

Isso foi um erro dos investigadores, tendo em conta os resultados, porque só alguns se atreveram a ir na direcção certa, como Juan José Domínguez ou a Infortécnica, e conseguiram assim aproximar as suas previsões do que as sondagens finalmente revelaram. trouxe urnas.

Mas mesmo tendo em conta a curiosa unanimidade das pesquisas (a deriva da Metroscopia, naqueles meses, é um exemplo perfeito de cedência, consciente ou inconsciente, à pressão), se olharmos para as bifurcações acima que Llaneras publicou antes do 26 -J, o resultado obtido pelo PSOE e pelo Ciudadanos está dentro dos 50% mais prováveis, e mesmo tanto o do PP como o do Unidos Podemos estão dentro dos 80%. Ou seja, nenhum dos quatro grandes obteve um resultado que se inclinasse para os mais improváveis ​​20%. As sondagens estavam erradas, sim, mas mesmo no meio de um clima tão inebriante e polarizado, não foram tão desastrosas como alguns afirmam.

Para completar os erros, as chamadas israelitas, aquelas no mesmo dia das eleições, não foram mais precisas do que as sondagens publicadas no último dia legalmente admissível, 20 de Junho. Portanto, não podemos explicar a razão da subvalorização do PP e da sobrevalorização do Podemos culpando o Brexit ou qualquer outra coisa que aconteceu nos últimos cinco dias de campanha. A questão era muito geral e veio por trás. Os investigadores falharam mais do que o necessário, talvez por falta de coragem quando se tratou de acreditar nos seus próprios dados, tal como foram obtidos após uma cozinha boa e tecnicamente consistente, independentemente de parecerem mais ou menos ou credíveis ou serem mais ou menos diferentes dos os dos outros, da empresa vizinha.

Tudo isto deverá levar-nos a reflectir um pouco mais e a ser um pouco mais cautelosos no futuro. Prudente no julgamento e corajoso nos dados, que é o que são, gostem ou não quem vai ler.

Uma após a outra, no final das Electomédias dos inquéritos que publicámos nos últimos meses, incluímos a seguinte menção, à qual, claro, ninguém prestou atenção:

NOTA: Stephen Hawking e Kiko Llaneras Lembram-lhes que os inquéritos são como a física quântica: estão cheios de incertezas e, mesmo que sejam realizados corretamente, os dados que fornecem são apenas, na melhor das hipóteses, a alternativa mais provável entre muitas outras. Eles nunca fornecem certezas, mas as pistas que nos oferecem são valiosas.

Depois do 26-J vimos as consequências. Não diga que não avisamos.