Dois astrônomos da Universidade de Groningen (Holanda) desenvolveram uma biblioteca de software que pode gerar visualizações com base em centenas de milhões de pontos de dados sem esforço. Maarten Breddels e Jovan Veljanoski desenvolveram inicialmente seu software para lidar com a enorme quantidade de dados da missão Gaia. Contudo, o software também pode mostrar padrões em outros arquivos de dados grandes. O software é de código aberto e de uso gratuito. Os pesquisadores explicam os meandros de um artigo que foi aceito para publicação na revista Astronomia e Astrofísica .

Breddels e Veljanoski chamam seu software de Vaex, que significa "visualização e exploração de grandes conjuntos de dados tabulares". O software interativo pode gerar visualizações de bilhões de pontos de dados em apenas um segundo. Ele se comporta de forma semelhante ao Google Maps. Ao deslocar ou aplicar zoom, um mapa atualizado ou mais detalhado aparece quase imediatamente. Contudo, O Google Maps funciona rápido, servidores poderosos, enquanto Vaex trabalha em um laptop.

O poder do Vaex reside na combinação de várias técnicas inteligentes. Primeiro, ele usa um algoritmo inteligente que maximiza todo o poder de computação disponível. Então, ele lê apenas os dados necessários do disco rígido e os envia diretamente para a memória principal do computador. Finalmente, é extremamente eficiente em termos de memória, e a memória de trabalho não armazena cópias desnecessárias dos dados.

Breddels apresentou Vaex ao vivo em várias conferências. Como um exemplo, ele usou um conjunto de dados que consiste em 1 bilhão de entradas relacionadas aos táxis Yellow Cab na cidade de Nova York. Ele mostra quais corridas de táxi são mais lucrativas, e onde os táxis devem esperar em qualquer parte do dia para maximizar seu lucro. Este exemplo mostra como Vaex pode ser interessante e benéfico para aplicações gerais fora da astronomia.