Sistemas de inteligência artificial podem ser treinados para escrever avaliações de produtos semelhantes a humanos que auxiliam consumidores, profissionais de marketing e revisores profissionais, de acordo com um estudo do Dartmouth College, da Dartmouth's Tuck School of Business e da Indiana University.
A pesquisa, publicada no International Journal of Research in Marketing , também identifica os desafios éticos levantados pelo uso do conteúdo gerado por computador.

"A redação de resenhas é um desafio para humanos e computadores, em parte, devido ao grande número de produtos distintos", disse Keith Carlson, pesquisador de doutorado da Tuck School of Business. "Queríamos ver como a inteligência artificial pode ser usada para ajudar as pessoas que produzem e usam essas avaliações".

Para a pesquisa, a equipe de Dartmouth estabeleceu dois desafios. A primeira foi determinar se uma máquina pode ser ensinada a escrever revisões originais de qualidade humana usando apenas um pequeno número de recursos do produto depois de ser treinada em um conjunto de conteúdo existente. Em segundo lugar, a equipe se propôs a ver se os algoritmos de aprendizado de máquina podem ser usados ​​para escrever sínteses de avaliações de produtos para os quais já existem muitas avaliações.

"Usar inteligência artificial para escrever e sintetizar avaliações pode criar eficiências em ambos os lados do mercado", disse Prasad Vana, professor assistente de administração de empresas da Tuck School of Business. “A esperança é que a IA possa beneficiar os revisores que enfrentam cargas de trabalho de redação maiores e os consumidores que precisam classificar tanto conteúdo sobre produtos”.

Os pesquisadores se concentraram em análises de vinhos e cervejas devido à ampla disponibilidade de material para treinar os algoritmos de computador. As descrições desses produtos também apresentam vocabulários relativamente focados, uma vantagem ao trabalhar com sistemas de IA.

Para determinar se uma máquina poderia escrever críticas úteis a partir do zero, os pesquisadores treinaram um algoritmo em cerca de 180.000 avaliações de vinhos existentes. Tags de metadados para fatores como origem do produto, variedade de uva, classificação e preço também foram usadas para treinar o sistema de aprendizado de máquina.

Ao comparar as avaliações geradas por máquina com as avaliações humanas para os mesmos vinhos, a equipe de pesquisa encontrou concordância entre as duas versões. Os resultados permaneceram consistentes mesmo quando a equipe desafiou os algoritmos alterando a quantidade de dados de entrada disponíveis para referência.

O material escrito por máquina foi então avaliado por participantes não especialistas do estudo para testar se eles poderiam determinar se as revisões foram escritas por humanos ou por uma máquina. De acordo com o trabalho de pesquisa, os participantes não conseguiram distinguir entre as revisões geradas por humanos e por IA com qualquer significância estatística. Além disso, sua intenção de comprar um vinho foi semelhante entre as análises do vinho geradas por humanos e por máquinas.

Tendo descoberto que a inteligência artificial pode escrever resenhas de vinhos confiáveis, a equipe de pesquisa se voltou para as resenhas de cerveja para determinar a eficácia do uso da IA ​​para escrever “sínteses de revisão”. Em vez de ser treinado para escrever novas avaliações, o algoritmo foi encarregado de agregar elementos de avaliações existentes do mesmo produto. Isso testou a capacidade da IA ​​de identificar e fornecer informações limitadas, mas relevantes, sobre produtos com base em um grande volume de opiniões variadas.

“Escrever uma revisão original testa a capacidade expressiva do computador com base em um conjunto relativamente estreito de dados. de comentários para um produto", disse Carlson, que conduziu a pesquisa enquanto um Ph.D. candidato em ciência da computação em Dartmouth.

Para testar a capacidade do algoritmo de escrever sínteses de resenhas, os pesquisadores o treinaram em 143.000 avaliações existentes de mais de 14.000 cervejas. Tal como acontece com o conjunto de dados de vinhos, o texto de cada revisão foi emparelhado com metadados, incluindo o nome do produto, teor alcoólico, estilo e pontuações fornecidas pelos revisores originais.

Assim como nas avaliações de vinhos, a pesquisa usou participantes independentes do estudo para julgar se os resumos escritos por máquina capturavam e resumiam as opiniões de várias avaliações de maneira útil e humana.

De acordo com o artigo, o modelo foi bem-sucedido em receber as revisões de um produto como entrada e gerar uma revisão de síntese para esse produto como saída.

"Nossa estrutura de modelagem pode ser útil em qualquer situação em que os atributos detalhados de um produto estejam disponíveis e um resumo escrito do produto seja necessário", disse Vana. “É interessante imaginar como isso pode beneficiar restaurantes que não podem pagar sommeliers ou vendedores independentes em plataformas online que podem vender centenas de produtos”.

Ambos os desafios usaram uma rede neural de aprendizado profundo baseada na arquitetura do transformador para ingerir, processar e revisar a linguagem de saída.

De acordo com a equipe de pesquisa, os sistemas de computador não se destinam a substituir escritores profissionais e profissionais de marketing, mas sim a auxiliá-los em seu trabalho. Uma revisão escrita por máquina, por exemplo, pode servir como um primeiro rascunho de uma revisão que economiza tempo e que um revisor humano pode revisar.

A pesquisa também pode ajudar os consumidores. As resenhas de sínteses – como aquelas sobre cerveja no estudo – podem ser expandidas para a constelação de produtos e serviços em mercados online para ajudar as pessoas que têm tempo limitado para ler muitas resenhas de produtos.

Além dos benefícios das revisões escritas por máquina, a equipe de pesquisa destaca alguns dos desafios éticos apresentados pelo uso de algoritmos de computador para influenciar o comportamento do consumidor humano.

Observando que os profissionais de marketing podem obter uma melhor aceitação das avaliações geradas por máquina atribuindo-as falsamente a humanos, a equipe defende a transparência quando as avaliações geradas por computador são oferecidas.

"Assim como acontece com outras tecnologias, temos que ser cautelosos sobre como esse avanço é usado", disse Carlson. “Se usadas com responsabilidade, as avaliações geradas por IA podem ser uma ferramenta de produtividade e apoiar a disponibilidade de informações úteis ao consumidor”.