Comment chercher le Web invisible

Comme vous le savez sans doute déjà, la très grande majorité du Web reste invisible aux moteurs de recherches étant donné
• l’architecture déficiente de plusieurs sites;
• le fait que plusieurs bases de données soient à caractères semi-privés ou privés et exigent un mot de passe;
• parce que le site qui héberge les données est dynamique et que ses gestionnaires ne connaissent pas les avantages du mod_rewrite (réécriture d’URL à la volée);
• parce qu’un site est trop volumineux pour être entièrement couvert par l’araignée des moteurs de recherches classiques qui ne prennent que quelques secondes pour faire le tour d’un site Web ;
• parce que les webmestres du site ont fait une page Robot.txt empêchant les robots de faire leur travail;
• parce que le format du site n’est pas reconnu par les araignées (par exemple Flash).

Vous pouvez cependant tout de même avoir accès à ces données en utilisant des moteurs spécialisés. Ils ont souvent des ententes avec les fournisseurs de contenus pour pouvoir parcourir leurs bases de données ou ont tout simplement des technologies de recherches adaptées à cette fin.

Pour accéder à ce Web invisible que certains appellent le Web profond, visitez le site de mkbergman.com qui recense 275 moteurs sémantiques spécialisés, visitez completeplanet.com qui lui se branche à 70 000 moteurs de recherches ou site spécialisés.

Via Hervé Fischer