McAnerin: générateur de fichier robots.txt

Voici un site (un parmis tant d’autre) qui propose un générateur de fichier robots.txt pour votre site internet.

McAnerin générateur de fichier robots.txt

Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d’indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l’exploration d’un site web en cherchant le fichier robots.txt à la racine du site. source "commentcamarche"