Uma equipe de pesquisadores do Rensselaer Polytechnic Institute desenvolveu uma nova maneira de analisar dados governamentais brutos, facilitando sua compreensão e uso pelas pessoas.

A equipe, liderada pelo professor de ciência da computação Jure Leskovec, criou um sistema chamado “Data Wrangler” que pode limpar e transformar automaticamente dados brutos em um formato mais acessível e utilizável.

“Os dados brutos do governo são muitas vezes confusos e difíceis de entender”, disse Leskovec. “Nosso objetivo era criar uma ferramenta que pudesse tornar esses dados mais acessíveis para pessoas que desejam usá-los para pesquisa, jornalismo ou outros fins”.

O Data Wrangler funciona usando uma variedade de técnicas de aprendizado de máquina e processamento de linguagem natural para identificar e corrigir erros nos dados, bem como para extrair informações significativas do texto.

O sistema pode ser usado para analisar uma ampla variedade de dados governamentais, incluindo registros financeiros, estatísticas criminais e dados ambientais.

Leskovec e sua equipe já usaram o Data Wrangler para analisar vários grandes conjuntos de dados, incluindo o American Community Survey do US Census Bureau e os dados de stop-and-frisk do Departamento de Polícia da Cidade de Nova York.

Os resultados destas análises foram publicados em diversas revistas académicas e têm sido utilizados por jornalistas e decisores políticos para informar o seu trabalho.

“Acreditamos que o Data Wrangler tem o potencial de revolucionar a forma como as pessoas usam os dados governamentais”, disse Leskovec. “Ao tornar estes dados mais acessíveis e utilizáveis, podemos capacitar as pessoas para tomarem melhores decisões sobre as suas vidas e as suas comunidades”.

A pesquisa da equipe foi publicada na revista "Nature Machine Intelligence".