Uma empresa americana desenvolveu um software especialmente concebido para sondar a Web na sua profundidade com o objectivo de definir o tamanho real da rede. Segundo as pesquisas, a Web tem um tamanho 500 vezes superior ao que é actualmente abrangido pelos motores de busca.
Através da utilização do software, a empresa BrightPlanet estimou que existem cerca de 550 mil milhões de documentos armazenados na Web, e, segundo a empresa, os motores de busca utilizam tecnologia que geralmente identificam as páginas estáticas em detrimento da informação dinâmica armazenada em bases de dados.
Deste modo os motores de busca guiam os utilizadores para a página principal de uma grande base de dados, necessitando de uma busca mais intrínseca para aumentar a eficácia. Para isso a BrightPlanet desenvolveu o software LexiBot que, além de pesquisar as páginas principais, pesquisa também as grandes bases de dados que lhe estão associadas.
No entanto uma busca com o LexiBot pode demorar entre 15 a 20 minutos, podendo ir até aos 90 minutos caso a busca seja mais complexa. O LexiBot custará cerca de 89.95 dólares (19 contos) após um período de testes de 30 dias. Segundo Thane Paulsen, director da BrightPlanet, ''o LexiBot não é um software para pesquisas muito simples''.
