Apenas alguns anos atrás, a pesquisa na web era simples. Os usuários digitaram algumas palavras e percorreram as páginas de resultados.

Hoje, esses mesmos usuários podem, em vez disso, tirar uma foto em um telefone e soltá-la em uma caixa de pesquisa ou usar um assistente inteligente para fazer uma pergunta sem tocar fisicamente em um dispositivo. Eles também podem digitar uma pergunta e esperar uma resposta real, não uma lista de páginas com respostas prováveis.

Essas tarefas desafiam os mecanismos de pesquisa tradicionais, que são baseados em um sistema de índice invertido que depende de correspondências de palavras-chave para produzir resultados.

"Os algoritmos de pesquisa por palavra-chave simplesmente falham quando as pessoas fazem uma pergunta ou tiram uma foto e perguntam ao mecanismo de pesquisa, 'O que é isso?' "Disse Rangan Majumder, gerente de programa de grupo na equipe de busca e IA da Microsoft no Bing.

Claro, acompanhar as preferências de pesquisa dos usuários não é novidade - é uma luta desde o início da pesquisa na web. Mas agora, está se tornando mais fácil atender a essas necessidades em evolução, graças aos avanços na inteligência artificial, incluindo aqueles desenvolvidos pela equipe de pesquisa do Bing e pesquisadores do laboratório de pesquisa da Microsoft na Ásia.

"A IA está tornando os produtos com os quais trabalhamos mais naturais, "disse Majumder." Antes, as pessoas tinham que pensar, 'Estou usando um computador, então, como eu digito minha entrada de uma forma que não interrompa a pesquisa? '"

A Microsoft disponibilizou uma das ferramentas de IA mais avançadas que usa para atender melhor às necessidades de pesquisa em evolução das pessoas como um projeto de código aberto no GitHub. Na quarta-feira, também lançou técnicas de exemplo de usuário e um vídeo de acompanhamento para essas ferramentas por meio do laboratório de IA da Microsoft.

O algoritmo, chamado de árvore e gráfico de partição espacial (SPTAG), permite que os usuários aproveitem a inteligência dos modelos de aprendizado profundo para pesquisar bilhões de informações, chamados vetores, em milissegundos. Este, por sua vez, significa que eles podem fornecer resultados mais relevantes aos usuários com mais rapidez.

A pesquisa de vetor torna mais fácil pesquisar por conceito em vez de palavra-chave. Por exemplo, se um usuário digitar "Qual é a altura da torre em Paris?" O Bing pode retornar um resultado de linguagem natural informando ao usuário que a Torre Eiffel é 1, 063 pés, mesmo que a palavra "Eiffel" nunca tenha aparecido na consulta de pesquisa e a palavra "alto" nunca apareça no resultado.

A Microsoft usa a busca de vetores para seu próprio motor de busca Bing, e a tecnologia está ajudando o Bing a entender melhor a intenção por trás de bilhões de pesquisas na web e encontrar o resultado mais relevante entre bilhões de páginas da web.

Usando vetores para uma melhor pesquisa

Essencialmente, uma representação numérica de uma palavra, pixel de imagem ou outro ponto de dados, um vetor ajuda a capturar o que um dado realmente significa. Graças aos avanços em um ramo da IA ​​chamado aprendizado profundo, A Microsoft disse que pode começar a entender e representar a intenção de pesquisa usando esses vetores.

Uma vez que o ponto numérico foi atribuído a um dado, vetores podem ser organizados, ou mapeado, com números próximos colocados próximos uns dos outros para representar semelhança. Esses resultados proximais são exibidos para os usuários, melhorando os resultados da pesquisa.

A tecnologia por trás da pesquisa vetorial que o Bing usa teve seu início quando os engenheiros da empresa começaram a perceber tendências incomuns nos padrões de pesquisa dos usuários.

"Ao analisar nossos registros, a equipe descobriu que as consultas de pesquisa estavam ficando cada vez mais longas, "disse Majumder. Isso sugeriu que os usuários estavam fazendo mais perguntas, explicando demais por causa do passado, experiências ruins com pesquisa de palavras-chave, ou estavam "tentando agir como computadores" ao descrever coisas abstratas - todas antinaturais e inconvenientes para os usuários.

Com a pesquisa do Bing, o esforço de vetorização se estendeu a mais de 150 bilhões de dados indexados pelo mecanismo de pesquisa para trazer melhorias em relação à correspondência de palavras-chave tradicional. Isso inclui palavras isoladas, personagens, trechos de páginas da web, consultas completas e outras mídias. Depois que um usuário pesquisa, O Bing pode escanear os vetores indexados e fornecer a melhor correspondência.

A atribuição de vetores também é treinada usando tecnologia de aprendizado profundo para melhoria contínua. Os modelos consideram entradas como cliques do usuário final após uma pesquisa para obter melhor compreensão do significado dessa pesquisa.

Embora a ideia de vetorizar mídia e dados de pesquisa não seja nova, só recentemente foi possível usá-lo na escala de um enorme mecanismo de pesquisa como o Bing, Especialistas da Microsoft disseram.

"O Bing processa bilhões de documentos todos os dias, e a ideia agora é que podemos representar essas entradas como vetores e pesquisar por meio desse índice gigante de mais de 100 bilhões de vetores para encontrar os resultados mais relacionados em 5 milissegundos, "disse Jeffrey Zhu, gerente de programa da equipe Bing da Microsoft.

Para colocar isso em perspectiva, Majumder disse, considere o seguinte:uma pilha de 150 bilhões de cartões de visita se estenderia daqui até a lua. Em um piscar de olhos, A pesquisa do Bing usando SPTAG pode encontrar 10 cartões de visita diferentes, um após o outro, dentro dessa pilha de cartões.

Usos para visual, busca de áudio

A equipe do Bing disse que espera que a oferta de código aberto possa ser usada para aplicativos corporativos ou voltados para o consumidor para identificar um idioma falado com base em um trecho de áudio, ou para serviços com muitas imagens, como um aplicativo que permite que as pessoas tirem fotos de flores e identifiquem o tipo de flor. Para esses tipos de aplicativos, uma experiência de pesquisa lenta ou irrelevante é frustrante.

"Mesmo alguns segundos para uma pesquisa pode inutilizar um aplicativo, "observou Majumder.

A equipe também espera que pesquisadores e acadêmicos o usem para explorar outras áreas de avanços na pesquisa.

"Nós apenas começamos a explorar o que é realmente possível em torno da pesquisa vetorial nesta profundidade, " ele disse.