Optimiser le fichier robots.txt sous wordpress 4

Le fichier robots.txt est un fichier permettant aux crawlers, c’est-à-dire aux (ro)bots qui parcourent le web, d’indexer votre site aux moteurs de recherche.

Ce fichier donne aux bots les indications nécessaires pour que ceux-ci parcourent correctement votre site web mais il est nécessaire de lui indiquer aussi ce que les les robots ne doivent pas indexer!

Sous Wordpress, le fichier robots.txt est virtuel par défaut, vous ne pouvez donc pas le modifier. Pour lui rajouter des instructions, c’est simple, il vous suffit de créer le fichier, celui-ci remplacera automatiquement le fichier virtuel!

Pour le créer, rien de plus simple:

• vous ouvrez votre bloc-note
• vous insérez ce qui suit:

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-login.php

Disallow: /*wp-login.php*

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /author

Disallow: /contact/

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /z/j/

Disallow: /z/c/

Disallow: /stats/

Disallow: /dh_

Disallow: /login/

Disallow: /wget/

Disallow: /httpd/

Disallow: /i/

Disallow: /f/

Disallow: /t/

Disallow: /c/

Disallow: /j/

Disallow: /*.php$

Disallow: /*?*

Disallow: /*.js$

Disallow: /*.inc$

Disallow: /*.css$

Disallow: /*.gz$

Disallow: /*.wmv$

Disallow: /*.cgi$

Disallow: /*.xhtml$

Disallow: /*?

Allow: /wp-content/uploads

# alexa archiver

User-agent: ia_archiver

Disallow: /

# autoriser le robots google image à rechercher toutes les images


User-agent: Googlebot-Image

Disallow: /wp-includes/

Allow: /*

• vous enregistrez le fichier sous le nom de robots avec l’extension .txt
• et vous l’envoyer à la racine de votre site
• pour vérifier qu’il est bien mis en place et qu’il donnera bien les instructions permettant aux robots de bien fouiller tout votre site sans pour autant y indexer des pages inutiles, peu pertinentes qui pourraient faire baisser votre référencement, il vous suffit de rajouter à l’adresse de votre site /robots.txt

N.B.: Si vous utilisez Google XML-Sitemap Generator, pensez à vérifier que Ajouter l’URL du sitemap au fichier virtuel robots.txt est bien décoché.