4 Le fichier robots.txt est un fichier permettant aux crawlers, c’est-à-dire aux (ro)bots qui parcourent le web, d’indexer votre site aux moteurs de recherche. Ce fichier donne aux bots les indications nécessaires pour que ceux-ci parcourent correctement votre site web mais il est nécessaire de lui indiquer aussi ce que les […]