Quão confiante você deve estar nas pesquisas eleitorais? Não tão confiante quanto afirmam os pesquisadores, de acordo com um novo estudo da Berkeley Haas.

A maioria das pesquisas eleitorais reporta um nível de confiança de 95%. Ainda uma análise de 1, 400 pesquisas de 11 ciclos eleitorais revelaram que o resultado cai dentro do resultado da pesquisa em apenas 60% das vezes. E isso é para pesquisas apenas uma semana antes de uma eleição - a precisão cai ainda mais.

"Se você está confiante, com base na pesquisa, sobre como serão as eleições de 2020, pense de novo, "disse Berkeley Haas Prof. Don Moore, que conduziu a análise com a ex-aluna Aditya Kotak, BA 20. "Existem muitas razões pelas quais o resultado real pode ser diferente da votação, e a maneira como os pesquisadores calculam os intervalos de confiança não leva essas questões em consideração. "

Muitas pessoas ficaram surpresas quando o presidente Donald Trump derrotou Hillary Clinton em 2016, depois de perdê-la nas pesquisas, e especularam que as pesquisas estão ficando menos precisas ou que a eleição foi tão incomum que os atrapalhou. Mas Moore e Kotak não encontraram evidências de declínio na precisão em sua amostra de pesquisas de 2008 - em vez disso, eles encontraram afirmações consistentemente excessivamente confiantes por parte dos pesquisadores.

"Talvez a maneira como interpretamos as pesquisas como um todo precise ser ajustada, para explicar a incerteza que vem com eles, "Kotak disse. Na verdade, estar 95% confiante, as pesquisas precisariam dobrar as margens de erro que relatam até mesmo uma semana após o dia da eleição, a análise foi concluída.

Como estudante de estatística e ciência da computação em um estágio de iniciação científica no Laboratório de Precisão de Moore durante as primárias presidenciais de 2019, Kotak ficou curioso sobre os intervalos de confiança incluídos nas pesquisas. Ele notou que a margem de erro das pesquisas era frequentemente mencionada como nota de rodapé em artigos de notícias e metodologias de previsão eleitoral, e ele se perguntou se eles eram tão precisos quanto suas margens de erro indicavam que deveriam ser.

Kotak trouxe a ideia para Moore, que estuda o excesso de confiança de uma perspectiva psicológica e estatística. Grande parte da pesquisa sobre a precisão da votação considera apenas se a votação chamou corretamente o vencedor. Para medir a confiança da pesquisa, eles decidiram dar uma olhada retroativa nas pesquisas com base em quanto tempo antes de uma eleição foram realizadas, e não considere se um candidato ganhou ou perdeu, mas se a participação real dos votos caiu dentro da margem de erro que a pesquisa relatou. Por exemplo, se uma pesquisa mostrou que 54% dos eleitores favorecem um candidato, e tinha uma margem de erro de 5%, seria preciso se o candidato obtivesse 49% a 59% dos votos, mas seria uma falha se o candidato vencesse com mais de 59% dos votos (ou menos de 49%).

Moore e Kotak obtiveram 1, 400 pesquisas realizadas antes das eleições gerais de 2008, 2012, e 2016, bem como as primárias presidenciais democratas em Iowa e New Hampshire de 2008 e 2016 e as primárias republicanas nos mesmos estados de 2012 e 2016. Como algumas pesquisas perguntaram sobre vários candidatos, a amostra incluiu resultados de mais de 5, 000 pesquisas de como as pessoas disseram que votariam em candidatos específicos, bem como as respectivas margens de erro.

Analisando as pesquisas em lotes de sete dias, eles encontraram um declínio constante na precisão quanto mais longe de uma eleição a pesquisa foi realizada, com apenas cerca de metade provando ser precisa 10 semanas antes de uma eleição. Isso faz sentido, já que eventos imprevistos ocorrem - como o ex-diretor do FBI James Comey anunciando uma investigação sobre os e-mails de Clinton apenas uma semana antes da eleição presidencial de 2016. No entanto, a maioria das pesquisas, mesmo semanas fora, relatou o intervalo de confiança de 95% padrão da indústria.

Erro de amostragem e intervalos de confiança

O intervalo de confiança quantifica o quão certo se pode ter de que a amostra de pessoas pesquisadas reflete toda a população de eleitores. Um intervalo de confiança de 95%, por exemplo, significa que se o mesmo procedimento de amostragem fosse seguido 100 vezes, 95 dessas amostras conteriam a verdadeira população de eleitores. Ai que fica o problema, Contudo.

O nível de confiança leva em consideração "erro de amostragem, "um termo estatístico que quantifica a probabilidade de que, por puro acaso, a amostra varia da maior população de eleitores da qual a amostra foi retirada. Por exemplo, não pesquisar um grupo grande o suficiente de eleitores aumentaria o erro de amostragem. Mas o erro de amostragem não inclui nenhum outro tipo de erro - como pesquisar o conjunto errado de pessoas, para começar.

"As pessoas muitas vezes esquecem que as margens de erro das pesquisas apenas capturam as fontes estatísticas de erro, "disse David Broockman, professor associado do Departamento de Ciência Política de Berkeley. "Esta análise mostra o quão grandes são as fontes de erro não estatísticas restantes na prática."

Adicionado o Prof. Gabriel Lenz, também da Ciência Política de Berkeley, "Esta é uma análise fascinante, e trabalhos futuros podem identificar as fontes de imprecisão, como pesquisadores de baixa qualidade, dificuldade de triagem de prováveis ​​eleitores, mudanças de última hora nas intenções do eleitor, e mais."

É fácil levar em conta o erro de amostragem nas estatísticas de votação, mas muito mais difícil de explicar todas as outras incógnitas, Disse Moore. É uma lição que vai muito além da votação.

"Porque baseamos nossas crenças em amostras imperfeitas e tendenciosas de informações, às vezes estaremos errados por motivos que não previmos, " ele disse.