p Uma equipe internacional de pesquisadores testou a ideia de que as classificações online gratuitas são menos confiáveis ​​do que aquelas que têm algum custo para elas, desenho da teoria ecológica conhecida como "teoria de sinalização cara." p A teoria sugere que, se deixar uma avaliação acarreta algum preço - seja dinheiro, tempo ou energia -, isso resultará em avaliações mais precisas. Em ecologia, a teoria de sinalização cara argumenta que exibe esse "custo" mais - como elaboradas caudas de pavão, ou demonstrações extenuantes de fome de passarinhos - têm maior probabilidade de refletir a realidade. Uma cauda colorida denota um pavão saudável, e um filhote com a barriga cheia não desperdiçará energia para gritar por mais comida.

p Mas o sociólogo de Princeton Dalton Conley e seus colegas são os primeiros a aplicar essa teoria ao Yelp ou Uber e seus sistemas de classificação. Ao testar uma série de ferramentas de avaliação ponderada no contexto de um videogame, eles descobriram que as classificações de baixo esforço eram menos precisas do que aquelas que custam alguns segundos extras para serem usadas. Eles concluíram que os sites de comércio eletrônico devem redesenhar suas interfaces para impor custos de tempo aos avaliadores de produtos ou serviços.

p "Simplificando:tornando a avaliação de bens ou serviços o mais fácil possível, como muitos sites de comércio eletrônico tentam fazer, é contraproducente, "disse Conley, Professor de Sociologia da Henry Putnam University de Princeton e docente afiliado do Office of Population Research e do Center for Health and Wellbeing, quem é o autor sênior de um artigo recente no Proceedings of the National Academies of Science. "O mesmo vale para forçar todos a darem uma avaliação. As avaliações são mais precisas quando custam algo para serem avaliadas."

p Ele continuou:"A intuição do Uber e de outros sites de comércio eletrônico provavelmente está errada. Há uma razão para a produção das penas do pavão ser tão cara:seu custo garante um sinal honesto de aptidão reprodutiva."

p Ou, como disse o co-autor Lucas Parra:"Avaliações online não valem nada, não são? A menos que eles incorram em algum custo para os avaliadores! ”Parra é o Harold Shames Professor de Engenharia Biomédica no City College de Nova York.

p Conley, Parra e sua equipe de co-autores argumentaram que, mesmo que haja pouca motivação para trapacear nas avaliações online, não há incentivo óbvio para deixar uma avaliação de uma estrela de um lugar que gostamos, ou uma revisão cinco estrelas de um despejo - há, no melhor, pouco benefício direto para avaliadores que fornecem avaliações precisas, sugerindo que as pessoas provavelmente fornecerão informações de baixa qualidade.

p Eles decidiram testar a teoria impondo um "custo" para fornecer informações - e custos mais altos em classificações extremas - para ver se eles poderiam eliminar ou reduzir o número de desonestos, classificações de uma e cinco estrelas com distorção média.

p Então, eles criaram alguns videogames, e recrutou jogadores do Mechanical Turk da Amazon.

p Em um jogo típico, jogadores manobraram um carro para coletar moedas, sabendo que receberiam um centavo de pagamento na vida real para cada moeda digital coletada. As estradas eram separadas por lagos que só podiam ser percorridos com balsas. Os dois primeiros passeios de balsa foram usados ​​como um conjunto de treinamento, com atrasos de 20 segundos e, em seguida, 4 segundos, para definir uma linha de base comum para avaliações de desempenho de balsas. Depois disso, o jogo variava aleatoriamente os atrasos e velocidades dos serviços de balsa. As balsas mais rápidas chegaram imediatamente e cruzaram o lago em 2 segundos, enquanto as balsas mais lentas demoravam para chegar e se moviam lentamente, exigindo um total de 40 segundos para cruzar um lago.

p No final de cada viagem de balsa, os jogadores tiveram que avaliar o serviço de balsa em uma escala de 0 a 100 antes de poderem seguir em frente. Essas classificações tornaram-se os dados para a equipe de pesquisa. A ferramenta de classificação do jogo usava uma barra deslizante ponderada com "fricção" digital para cada ponto que um jogador se afastava de uma classificação média previamente determinada. Em outras palavras, quanto mais extrema for sua pontuação, mais segundos você gasta empurrando a barra para cima ou para baixo.

p A jogabilidade total foi limitada a 15 minutos, então os jogadores foram motivados a enviar suas classificações o mais rápido possível para que pudessem voltar a coletar suas recompensas monetárias. Os jogadores viajaram em média 17 balsas por jogo, permitindo aos pesquisadores medir as correlações entre suas avaliações subjetivas e o serviço objetivo das balsas (medido como o tempo total para pegar a balsa), tanto dentro como entre assuntos.

p Eles descobriram que sua barra deslizante ponderada levou a estimativas de qualidade da multidão mais confiáveis ​​do que uma barra de clique não ponderada, onde todas as pontuações de 0 a 100 podiam ser dadas por um clique instantâneo na tela - onde todas as avaliações eram igualmente "baratas".

p Seus resultados têm implicações para as solicitações onipresentes de classificações no comércio eletrônico, e sua abordagem pode ser generalizada e testada em uma variedade de sistemas de comunicação online de grande escala, disseram os pesquisadores.

p A equipe não se propôs a testar as classificações, disse Conley. Eles estavam originalmente interessados ​​em aprendizagem online, "mas, no decorrer dos experimentos, percebemos que os dados de classificação que recebíamos ... não eram muito bons, então decidimos melhorar esse problema. "

p Eles ficaram surpresos ao descobrir que reduzir o custo das classificações realmente saiu pela culatra. A teoria econômica clássica sugere que minimizar custos produziria os melhores resultados, mas seus dados mostram o oposto.

p Resumidamente, O Uber precisa desacelerar sua ferramenta de avaliação, Disse Conley. "Converter o dispositivo de classificação de um simples clique em um controle deslizante, onde dar pontuações muito altas ou baixas fica difícil porque o controle deslizante fica mais lento à medida que o usuário se afasta em qualquer direção, produz melhores distribuições de pontuação. Apenas avaliadores altamente motivados fornecerão pontuações extremas. "