A rede mundial cresceu imensamente desde seu início acadêmico e de pesquisa em 1991, e sua subsequente expansão nos domínios público e comercial. Inicialmente, era uma rede de páginas com hiperlinks e outros recursos digitais. Muito cedo, tornou-se óbvio que alguns recursos eram tão vastos que faria mais sentido gerar os materiais exigidos por usuários individuais de forma dinâmica, em vez de armazenar cada entidade digital como um item único.

Hoje, inúmeros sites são dinâmicos, cada visita única extrai informações e dados dinamicamente de um banco de dados back-end e os apresenta ao usuário sob demanda. Considerando que as páginas estáticas podem ser facilmente rastreadas pelos mecanismos de pesquisa, o conteúdo do banco de dados que direciona os sites dinâmicos está inacessível. Já em 2001, quando já havia vários terabytes de público, dados estáticos da web, estimou-se que a "teia invisível, "ou" web oculta, "não deve ser confundida com a" dark web, "era cerca de 550 vezes maior do que os recursos visíveis.

Escrevendo no International Journal of Business Intelligence and Data Mining, uma equipe da Índia descreve como desenvolveram uma arquitetura multiagente inteligente baseada em algoritmo genético que pode extrair informações da web invisível. As ferramentas podem permitir que até mesmo materiais que estão supostamente fora dos limites para os mecanismos de pesquisa convencionais sejam rastreados, raspado, e catalogado para uma ampla gama de aplicações.

D. Weslin da Bharathiar University e Joshva Devadas do Vellore Institute of Technology descrevem os detalhes e benefícios de sua abordagem na última edição da revista. "Os resultados experimentais mostram que a arquitetura proposta fornece melhor precisão e recuperação do que os rastreadores da web existentes, "escreve a equipe.