Pesquisadores da Northwestern University e do Facebook publicaram em março uma nova pesquisa no jornal INFORMS Ciência de Marketing que esclarece se as abordagens comuns para medição de publicidade online são tão confiáveis ​​e precisas quanto o "padrão ouro" de grande escala, experimentos randomizados.

O estudo será publicado na edição de março da revista INFORMS Ciência de Marketing é intitulado "Uma comparação de abordagens para medição de publicidade:evidências de grandes experiências de campo no Facebook, "e é de autoria de Brett Gordon da Northwestern University; Florian Zetttelmeyer da Northwestern University e do National Bureau of Economic Research; e Neha Bhargava e Dan Chapsky do Facebook.

"Nossas descobertas sugerem que as abordagens observacionais comumente usadas que dependem de dados normalmente disponíveis para os anunciantes muitas vezes falham em medir com precisão o verdadeiro efeito da publicidade, "disse Brett Gordon.

As abordagens observacionais são aquelas que abrangem uma ampla classe de modelos estatísticos que dependem dos dados "como eles são, "gerado sem manipulação explícita por meio de um experimento aleatório.

"Encontramos uma diferença significativa na eficácia do anúncio obtida a partir de testes de controle randomizados e os métodos observacionais que são frequentemente usados ​​por anunciantes para avaliar suas campanhas, "acrescentou Zettelmeyer." Geralmente, os métodos atuais e mais comuns superestimam a eficácia do anúncio em relação ao que encontramos em nossos testes randomizados. Embora em alguns casos, eles subestimam significativamente a eficácia. "

Medir a eficácia da propaganda continua sendo um problema importante para muitas empresas. Uma questão chave é se uma campanha publicitária produziu resultados incrementais:mais consumidores compraram porque viram um anúncio, ou muitos desses consumidores teriam comprado mesmo na ausência do anúncio? Obter uma medida precisa dos resultados incrementais ("conversões") ajuda o anunciante a calcular o retorno sobre o investimento (ROI) da campanha.

"Plataformas digitais que transportam publicidade, como o Facebook, criaram meios abrangentes para avaliar a eficácia do anúncio, usando dados granulares que vinculam exposições de anúncios, cliques, visita à página, compras online e até compras offline, "disse Gordon." Mesmo assim, mesmo com esses dados, medir o efeito causal da publicidade requer a plataforma de experimentação adequada. "

Os autores do estudo usaram dados de 15 experimentos de publicidade dos EUA no Facebook, compreendendo 500 milhões de observações de experimentos de usuários e 1,6 bilhões de impressões de anúncios.

A plataforma de experimentação de "aumento de conversão" do Facebook oferece aos anunciantes a capacidade de realizar experimentos controlados aleatórios para medir o efeito causal de uma campanha publicitária nos resultados do consumidor.

Esses experimentos alocam usuários aleatoriamente a um grupo de controle, que nunca são expostos ao anúncio, e para um grupo de teste, que estão qualificados para ver o anúncio. Comparar os resultados entre os grupos fornece o efeito causal do anúncio porque a randomização garante que os dois grupos sejam, na média, equivalente, exceto para exposições de publicidade no grupo de teste. Os resultados experimentais de cada campanha publicitária serviram como uma linha de base para avaliar métodos observacionais comuns.

Os métodos de observação comparam os resultados entre usuários que foram expostos ao anúncio e usuários que não foram expostos. Esses dois grupos de usuários tendem a diferir sistematicamente de muitas maneiras, como idade e sexo. Essas diferenças nas características podem ser observáveis ​​porque o anunciante (ou sua plataforma de publicidade) costuma ter acesso a dados sobre essas características e outras, por exemplo., além de saber o sexo e a idade de um usuário online, é possível observar o tipo de dispositivo que está sendo usado, a localização do usuário, quanto tempo se passou desde a última visita do usuário, etc. No entanto, a parte complicada é que os grupos expostos e não expostos também podem diferir de maneiras que são muito difíceis de medir, como a afinidade subjacente dos usuários à marca. Dizer que o anúncio "causou" um efeito requer que a pesquisa seja capaz de dar conta das diferenças observadas e não observadas entre os dois grupos. Os métodos observacionais usam dados sobre as características dos usuários que são observados na tentativa de se ajustar às diferenças observáveis ​​e não observáveis.

"Começamos a determinar se, como comumente se acredita, os métodos de observação atuais que usam dados abrangentes de nível individual são "bons o suficiente" para a medição de anúncios, "disse Zettelmeyer." O que descobrimos foi que mesmo dados bastante abrangentes se mostraram inadequados para produzir estimativas confiáveis ​​dos efeitos da propaganda. "

"Em princípio, acreditamos que o uso de ensaios clínicos randomizados em grande escala para avaliar a eficácia da publicidade deve ser o método preferido para os anunciantes, sempre que possível. "