A Wikipedia permitiu em grande escala, colaboração aberta no maior recurso de referência geral da Internet. Mas, como acontece com muitos projetos de escrita colaborativa, elaborar o conteúdo pode ser um assunto controverso.

Muitas vezes, vários editores da Wikipedia irão discordar sobre certas mudanças em artigos ou políticas. Uma das principais maneiras de resolver oficialmente essas disputas é o processo de Solicitações de Comentários (RfC). Editores em disputa publicarão suas deliberações em um fórum, onde outros editores da Wikipedia intervirão e um editor neutro tomará a decisão final.

Idealmente, isso deve resolver todos os problemas. Mas um novo estudo realizado por pesquisadores do MIT descobriu que fatores debilitantes - como brigas excessivas e argumentos mal formulados - levaram cerca de um terço dos RfCs a ficar sem solução.

Para o estudo, os pesquisadores compilaram e analisaram o primeiro conjunto de dados abrangente de conversas RfC, capturado ao longo de um período de oito anos, e conduziu entrevistas com editores que frequentemente fecham RfCs, para entender por que eles não encontram uma solução. Eles também desenvolveram um modelo de aprendizado de máquina que aproveita esse conjunto de dados para prever quando os RfCs podem ficar obsoletos. E, eles recomendam ferramentas digitais que podem tornar a deliberação e resolução mais eficazes.

"Foi surpreendente ver que um terço das discussões não foi encerrado, "diz Amy X. Zhang, candidato a PhD no Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) e co-autor do artigo, que está sendo apresentado na Conferência ACM desta semana sobre Trabalho Cooperativo Apoiado por Computador e Computação Social. "Na Wikipedia, todo mundo é um voluntário. As pessoas estão trabalhando, e eles têm interesse ... e os editores podem estar esperando que alguém feche para que possam voltar à edição. Nós sabemos, olhando as discussões, o trabalho de ler e resolver uma grande deliberação é difícil, especialmente com frente e para trás e contencioso. [Esperamos] ajudar essa pessoa a fazer esse trabalho. "

Os co-autores do artigo são:primeira autora Jane Im, um estudante de pós-graduação na Escola de Informação da Universidade de Michigan; Christopher J. Schilling da Fundação Wikimedia; e David Karger, professor de ciência da computação e pesquisador do CSAIL.

(Não) encontrando fechamento

A Wikipedia oferece vários canais para resolver disputas editoriais, que envolvem dois editores resolvendo seus problemas, colocar as ideias em votação por maioria simples da comunidade, ou levar o debate a um painel de moderadores. Algumas pesquisas anteriores da Wikipedia investigaram esses canais e "guerras de edição" entre os contribuidores. "Mas RfCs são interessantes, porque há muito menos mentalidade de voto, "Zhang diz." Com outros processos, no final do dia você votará e verá o que acontece. [Participantes do RfC] às vezes votam, mas é mais para encontrar um consenso. O que é importante é o que realmente está acontecendo em uma discussão. "

Para registrar um RfC, um editor esboça um modelo de proposta, com base em uma disputa de conteúdo que não foi resolvida na página de "discussão" básica de um artigo, e convida a comentários da comunidade em geral. As propostas são variadas, desde pequenas divergências sobre as informações de fundo de uma celebridade até mudanças nas políticas da Wikipedia. Qualquer editor pode iniciar um RfC e qualquer editor - normalmente, os mais experientes - que não participaram da discussão e são considerados neutros, pode encerrar uma discussão. Após 30 dias, um bot remove automaticamente o modelo RfC, com ou sem resolução. Os RfCs podem fechar formalmente com uma declaração resumida pelo mais próximo, informalmente devido ao acordo esmagador dos participantes, ou ficar parado, significando removido sem resolução.

Para seu estudo, os pesquisadores compilaram um banco de dados que consiste em cerca de 7, 000 conversas RfC da Wikipedia em inglês de 2011 a 2017, que incluiu declarações de fechamento, informações da conta do autor, e estrutura geral de resposta. Eles também conduziram entrevistas com 10 dos fechadores mais frequentes da Wikipedia para entender melhor suas motivações e considerações ao resolver uma disputa.

Analisando o conjunto de dados, os pesquisadores descobriram que cerca de 57 por cento dos RfCs foram formalmente fechados. Dos 43 por cento restantes, 78 por cento (ou cerca de 2, 300) ficaram obsoletos sem resolução informal - ou, cerca de 33 por cento de todos os RfCs estudados. Combinando a análise do conjunto de dados com as entrevistas, os pesquisadores então detalharam as principais causas do fracasso na resolução. As principais questões incluem argumentos iniciais mal articulados, onde o iniciador não está claro sobre o problema ou escreve uma proposta deliberadamente tendenciosa; brigas excessivas durante as discussões que levam a questões mais complicadas, mais tempo, fios argumentativos que são difíceis de examinar completamente; e simples falta de interesse de editores terceirizados porque os tópicos podem ser muito esotéricos, entre outros fatores.

Ferramentas úteis

A equipe, então, desenvolveu um modelo de aprendizado de máquina para prever se um determinado RfC fecharia (formal ou informalmente) ou ficaria obsoleto, analisando mais de 60 características do texto, Página da Wikipedia, e informações da conta do editor. O modelo alcançou uma precisão de 75 por cento para prever o fracasso ou sucesso dentro de uma semana após o início da discussão. Alguns recursos mais informativos para previsão, eles encontraram, incluem a duração da discussão, número de participantes e respostas, número de revisões do artigo, popularidade e interesse no tópico, experiência dos participantes da discussão, e o nível de vulgaridade, negatividade, e agressão geral nos comentários.

O modelo poderia um dia ser usado por iniciadores de RfC para monitorar uma discussão enquanto ela se desdobra. "Achamos que poderia ser útil para os editores saber como direcionar suas intervenções, "Zhang diz." Eles poderiam postar [a RfC] em mais [fóruns da Wikipedia] ou convidar mais pessoas, se parecer que corre o risco de não ser resolvido. "

Os pesquisadores sugerem que a Wikipedia poderia desenvolver ferramentas para ajudar os fechadores a organizar longas discussões, sinalizar argumentos persuasivos e mudanças de opinião dentro de um tópico, e encorajar o fechamento colaborativo de RfCs.

No futuro, o modelo e as ferramentas propostas podem ser usados ​​para outras plataformas da comunidade que envolvem discussões e deliberações em grande escala. Zhang aponta para fóruns on-line de planejamento urbano e comunitário, onde os cidadãos opinam sobre as propostas. “As pessoas estão discutindo [as propostas] e votando nelas, para que as ferramentas possam ajudar as comunidades a entender melhor as discussões ... e seriam [também] úteis para os implementadores das propostas. "

Zhang, Eu estou, e outros pesquisadores já construíram um site externo para editores de todos os níveis de especialização se reunirem para aprender uns com os outros, e monitorar e encerrar as discussões com mais facilidade. "O trabalho de aproximação é muito difícil, "Zhang diz, "então, há uma falta de pessoas que procuram encerrar essas discussões, especialmente difícil, mais tempo, e outros mais consequentes. Isso poderia ajudar a reduzir a barreira de entrada [para editores fecharem] e ajudá-los a colaborar para fechar RfCs. "

"Embora seja surpreendente que um terço dessas discussões nunca tenham sido resolvidas, [o que é mais] importante são as razões pelas quais as discussões não chegam ao fim, e as conclusões mais interessantes aqui vêm das análises qualitativas, "diz Robert Kraut, um professor emérito de interações humano-computador na Carnegie Melon University. "Algumas descobertas [do estudo] transcendem a Wikipedia e podem ser aplicadas a muitas discussões em outros ambientes." Mais trabalho, ele adiciona, pode ser feito para melhorar a precisão do modelo de aprendizado de máquina, a fim de fornecer insights mais acionáveis ​​para a Wikipedia.

O estudo lança luz sobre como alguns processos RfC "se desviam das normas estabelecidas, levando a ineficiências e preconceitos, "diz Dario Taraborelli, diretor de pesquisa da Fundação Wikimedia. "Os resultados indicam que a experiência dos participantes e a duração de uma discussão são fortemente preditivos do fechamento oportuno de um RfC. Isso traz novas evidências empíricas para a questão de como tornar as discussões relacionadas à governança mais acessíveis aos recém-chegados e aos membros sub-representados grupos. "

Esta história foi republicada por cortesia do MIT News (web.mit.edu/newsoffice/), um site popular que cobre notícias sobre pesquisas do MIT, inovação e ensino.