As ferramentas de recomendação de inteligência artificial (IA) são amplamente utilizadas por setores como comércio eletrônico, mídia, bancos e serviços públicos. O algoritmo da ferramenta usa a atividade online anterior dos visitantes do site e outros dados, tanto implícitos quanto explícitos, para prever o que esse visitante gostaria de ver ou comprar em seguida e, em seguida, apresenta essas opções a eles. Isso pode ser altamente benéfico; por exemplo, para os clientes, o recomendador pode economizar tempo sugerindo opções adaptadas aos seus gostos e necessidades. Enquanto, para as empresas, pode incentivar os consumidores a gastar mais por meio de seu site e aumentar a fidelidade do cliente:no caso da gigante do streaming Netflix, estima-se que seu mecanismo de recomendação gere US$ 1 bilhão anualmente.
Um grupo de pesquisadores da China, Finlândia e Coréia começou a descobrir os potenciais efeitos negativos dessas ferramentas de IA. Como o coautor Sihua Chen, da Universidade de Finanças e Economia de Jiangxi, na China, explica que “toda moeda tem dois lados e, com a penetração de recomendações de IA em nossas vidas, as desvantagens estão se tornando mais aparentes”. A pesquisa foi publicada on-line pela primeira vez em 10 de agosto de 2021 no Journal of Management Science and Engineering , e está programado para ser publicado em dezembro de 2021.

Depois de revisar pesquisas anteriores sobre o tema, a equipe construiu um modelo empírico, que revela como as preferências de um cliente influenciam suas decisões de compra e o papel que a recomendação de IA desempenha nesse processo. Eles estavam particularmente interessados ​​em explorar o fenômeno do 'casulo da informação' da internet:ao se deparar com um grande volume de informações online, as pessoas tendem a ver apenas o que querem ver.

Os pesquisadores realizaram dois experimentos usando Jingdong e Taobao, as duas maiores plataformas de compras online da China. De acordo com o autor Jian Mou, da Pusan ​​National University da Coréia, eles "descobriram que a recomendação de IA aumentava o efeito de casulo de informações. Em outras palavras, as pessoas veem o que querem ver e, em seguida, o algoritmo de recomendação de IA do site seleciona conteúdo para elas com base nesses preferências. Isso impacta negativamente na qualidade das decisões de compra do cliente."

O coautor Mikko Siponen, da Universidade de Jyvaskyla, na Finlândia, acrescenta que "como acontece com muitas outras novas tecnologias, a recomendação de IA é uma fonte de consequências não intencionais. Nossas descobertas têm implicações importantes para os consumidores, principalmente no setor de comércio eletrônico - se eles quiserem para tomar decisões de compra independentes, eles precisam evitar a influência esmagadora das ferramentas de recomendação de IA."