Avaliando a usabilidade do software de código aberto (OSS), software que é disponibilizado gratuitamente para desenvolvedores em todo o mundo, geralmente envolve a análise de feedback e comentários de quem o usou. Processar e compreender o feedback fornecido nas discussões do usuário, Contudo, pode ser um desafio devido ao grande número de comentários online, e porque frequentemente apresentam opiniões opostas.

Ciente dessas dificuldades, pesquisadores da Universidade McGill, a Universidade de Bari e a Polytechnique Montreal desenvolveram recentemente o ArguLens, uma estrutura teórica e técnica automatizada para simplificar a análise das discussões da comunidade relacionadas à usabilidade de software de fonte aberta. Seu artigo recente, pré-publicado no arXiv, faz parte de um esforço de pesquisa em andamento mais amplo que visa ajudar os desenvolvedores de projetos de código aberto a melhorar a usabilidade de seu software.

"Compreender os fundamentos por trás das solicitações da comunidade e avaliar mais detalhadamente seus impactos sobre os usuários finais pode ser muito difícil, especialmente quando as opiniões da comunidade estão em conflito umas com as outras, "os pesquisadores disseram ao TechXplore, via email. "O objetivo principal de nosso estudo foi ajudar os contribuidores de código aberto a digerir e avaliar as opiniões da comunidade sobre a usabilidade de seu projeto."

Antes de começarem a trabalhar no ArguLens, os pesquisadores tiveram longas discussões com contribuidores de código aberto para entender melhor o que eles acharam mais desafiador sobre a compreensão do feedback que receberam da comunidade. Eles descobriram que a maioria dos desenvolvedores teve grandes dificuldades em digerir e incorporar comentários da comunidade, incluindo sugestões e solicitações feitas por meio de sistemas de rastreamento de problemas.

Isso foi devido ao grande volume de feedback que coletaram, bem como ao fato de que os usuários frequentemente expressam perspectivas diversas e um tanto opostas. Combinado, esses dois fatores frequentemente tornam o processamento e a digestão do feedback relacionado à usabilidade um desafio.

Os pesquisadores desenvolveram o ArguLens com o objetivo principal de ajudar os desenvolvedores de software de fonte aberta a compreender o feedback rico e variado que coletaram online. ArguLens inclui uma estrutura conceitual e uma técnica automatizada para a análise de comentários online.

"Como uma estrutura conceitual, ele adapta um modelo de argumentação proposto por Stephen Toulmin para estruturar as discussões relacionadas à usabilidade em três elementos principais:Reivindicação, Chão, e Warrant, "os pesquisadores explicaram." Isso é o que chamamos de 'anatomia' das opiniões da comunidade. Como uma técnica automatizada, ele propõe métodos de processamento de linguagem natural para detectar esses elementos de discussões relacionadas à usabilidade de forma livre. "

Desenvolvedores e outros membros da comunidade podem usar ArguLens para diferenciar e sintetizar solicitações concretas feitas por membros da comunidade (capturadas na categoria "Reivindicação '), bem como fatos sobre o sistema com os quais a comunidade se preocupa (capturados na categoria "terreno") e opiniões pessoais sobre por que fatos individuais são particularmente importantes para os usuários (capturados na categoria "Mandado"). a estrutura pode, portanto, ser usada para discussões de andaimes e para analisar questões de usabilidade de software de fonte aberta.

Como parte de sua pesquisa, a equipe avaliou e verificou a escalabilidade do ArguLens usando técnicas de aprendizado de máquina supervisionado para extração automatizada de argumentos. Eles também pediram que desenvolvedores experientes usassem o ArguLens e dessem feedback sobre se isso os ajudou a entender os comentários da comunidade. O feedback que eles receberam foi altamente promissor, já que a maioria dos usuários disse que o framework os ajudou a digerir e revisar melhor as opiniões relacionadas à usabilidade.

"Uma aplicação direta da estrutura ArguLens poderia ser em ferramentas para sistemas de rastreamento de problemas de código aberto para fornecer uma interface eficaz para as discussões da comunidade sobre questões de usabilidade, "disseram os pesquisadores." Uma vez amplamente adotado, esta estrutura pode induzir uma mudança inovadora na forma como as pessoas consideram as questões de usabilidade de código aberto, encorajando uma discussão construtiva sobre essas questões e, eventualmente, ajudando a melhorar a usabilidade do código aberto. "

A estrutura poderá em breve ajudar os desenvolvedores de software de fonte aberta em todo o mundo a compreender as opiniões contrastantes sobre a usabilidade de seus projetos. Interessantemente, Contudo, também pode ser aplicado a outros aspectos do software que podem ser melhorados com base no feedback do usuário, como privacidade ou segurança. A equipe agora está planejando melhorar ainda mais a estrutura, com foco em duas novas direções de pesquisa.

"Primeiro, estamos investigando projetos de ferramentas que podem apresentar efetivamente as informações capturadas pela estrutura ArguLens, "disseram os pesquisadores." Isso não só nos ajudará a entender melhor a eficácia dessa estrutura na natureza (em configurações do mundo real), mas também pode resultar em aplicativos concretos que beneficiam diretamente as comunidades de código aberto. Segundo, estamos nos concentrando em métodos humanos no circuito para mitigar a classificação imperfeita de técnicas automatizadas, para garantir ainda mais a escalabilidade e utilidade desta estrutura. "

© 2020 Science X Network