Comment chercher le Web invisible

Pin It

Comme vous le savez sans doute déjà, la très grande majorité du Web reste invisible aux moteurs de recherches étant donné
• l’architecture déficiente de plusieurs sites;
• le fait que plusieurs bases de données soient à caractères semi-privés ou privés et exigent un mot de passe;
• parce que le site qui héberge les données est dynamique et que ses gestionnaires ne connaissent pas les avantages du mod_rewrite (réécriture d’URL à la volée);
• parce qu’un site est trop volumineux pour être entièrement couvert par l’araignée des moteurs de recherches classiques qui ne prennent que quelques secondes pour faire le tour d’un site Web ;
• parce que les webmestres du site ont fait une page Robot.txt empêchant les robots de faire leur travail;
• parce que le format du site n’est pas reconnu par les araignées (par exemple Flash).

Vous pouvez cependant tout de même avoir accès à ces données en utilisant des moteurs spécialisés. Ils ont souvent des ententes avec les fournisseurs de contenus pour pouvoir parcourir leurs bases de données ou ont tout simplement des technologies de recherches adaptées à cette fin.

Pour accéder à ce Web invisible que certains appellent le Web profond, visitez le site de mkbergman.com qui recense 275 moteurs sémantiques spécialisés, visitez completeplanet.com qui lui se branche à 70 000 moteurs de recherches ou site spécialisés.

Via Hervé Fischer

Imprimez ce billet Imprimez ce billet

Commentaires

  1. 99 outils pour chercher dans le Web invisible | Michelle Blanc, M.Sc. commerce électronique. Marketing Internet, consultante, conférencière et auteure

    […] déjà écris comment chercher dans le Web invisible et donner une entrevue au Canal Argent et donner un cours à HEC Montréal sur la […]

  2. Tweets that mention Comment chercher le Web invisible • Michelle Blanc, M.Sc. commerce électronique. Marketing Internet, consultante, conférencière et auteure -- Topsy.com

    […] This post was mentioned on Twitter by Michelle Blanc, Martin Bélanger. Martin Bélanger said: RT @dominiquehardy @fpjqsectionqc de mes archives: Comment chercher le Web invisible http://bit.ly/hDcBey (via @MichelleBlanc) […]

  3. Guy Fawkes

    http://en.wikipedia.org/wiki/.onion

    Si vous n’utilisez pas Tor, inutile de vous-y risquer.