Optimiser le fichier robots.txt sous wordpress 4


robots-wordpress

Le fichier robots.txt est un fichier permettant aux crawlers, c’est-à-dire aux (ro)bots qui parcourent le web, d’indexer votre site aux moteurs de recherche.

Ce fichier donne aux bots les indications nécessaires pour que ceux-ci parcourent correctement votre site web mais il est nécessaire de lui indiquer aussi ce que les les robots ne doivent pas indexer!

Sous Wordpress, le fichier robots.txt est virtuel par défaut, vous ne pouvez donc pas le modifier. Pour lui rajouter des instructions, c’est simple, il vous suffit de créer le fichier, celui-ci remplacera automatiquement le fichier virtuel!

Pour le créer, rien de plus simple:

  • vous ouvrez votre bloc-note
  • vous insérez ce qui suit:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /*wp-login.php*
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author
Disallow: /contact/
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /z/j/
Disallow: /z/c/
Disallow: /stats/
Disallow: /dh_
Disallow: /login/
Disallow: /wget/
Disallow: /httpd/
Disallow: /i/
Disallow: /f/
Disallow: /t/
Disallow: /c/
Disallow: /j/
Disallow: /*.php$
Disallow: /*?*
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*?
Allow: /wp-content/uploads
# alexa archiver
User-agent: ia_archiver
Disallow: /
# autoriser le robots google image à rechercher toutes les images
User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /*
  • vous enregistrez le fichier sous le nom de robots avec l’extension .txt
  • et vous l’envoyer à la racine de votre site
  • pour vérifier qu’il est bien mis en place et qu’il donnera bien les instructions permettant aux robots de bien fouiller tout votre site sans pour autant y indexer des pages inutiles, peu pertinentes qui pourraient faire baisser votre référencement, il vous suffit de rajouter à l’adresse de votre site /robots.txt

N.B.:

Si vous utilisez Google XML-Sitemap Generator, pensez à vérifier que Ajouter l’URL du sitemap au fichier virtuel robots.txt est bien décoché.


Laissez un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

4 commentaires sur “Optimiser le fichier robots.txt sous wordpress