Lexique

Robots.txt : c’est quoi, ce fichier pour les moteurs de recherche ?

Le robots.txt est un fichier texte posé à la racine d’un site, qui indique aux robots des moteurs de recherche les parties qu’ils peuvent visiter et celles à laisser de côté. C’est un panneau à l’entrée, pas une serrure.

La définition en une phrase

Google, Bing et d’autres services envoient des robots, des programmes qui parcourent les sites pour les lire. Avant d’entrer, un robot poli regarde d’abord le fichier robots.txt, à l’adresse votresite.fr/robots.txt. Il y trouve des consignes simples, du genre « ce dossier, n’y va pas ».

Le fichier peut aussi indiquer où se trouve le sitemap, le plan des pages à découvrir.

À quoi ça sert pour une petite entreprise

Sur un petit site, le robots.txt sert surtout à éviter que les robots perdent leur temps dans des zones sans intérêt : l’administration, les pages de recherche interne, les paniers d’achat, les fichiers techniques. Les robots se concentrent ainsi sur vos vraies pages.

Un exemple de la vie réelle

Pendant la fabrication d’un site, le prestataire ajoute une ligne qui interdit tout aux robots, pour que le chantier ne soit pas visible. Le site est mis en ligne, mais personne ne retire la ligne. Des mois plus tard, le gérant s’étonne de ne jamais apparaître dans Google. Une seule ligne oubliée bloquait tout.

Ce qu’il faut savoir

  • Ce n’est pas une protection. Le fichier est public, n’importe qui peut le lire, et les robots malveillants l’ignorent. Une page secrète doit être protégée par un mot de passe.
  • Bloquer une page n’est pas la retirer de Google. Une adresse bloquée peut encore apparaître si d’autres sites pointent vers elle. Pour la faire disparaître, il faut une consigne « noindex » sur la page elle-même.
  • Une petite faute peut avoir de gros effets. Une barre oblique de trop, et c’est tout le site qui est fermé aux robots.
  • Ne bloquez pas les fichiers de style, sans quoi Google voit votre site comme une page sans mise en forme.

Chez les Minis Monstres

Je règle le robots.txt à la mise en ligne de votre site, et je vérifie qu’il laisse bien passer Google sur les pages qui comptent. C’est un petit réglage, mais tout le reste du SEO en dépend. Pour la suite du parcours, lisez la page sur l’indexation.

Vos questions

Mon site doit-il avoir un fichier robots.txt ?

Ce n’est pas obligatoire : sans lui, les robots considèrent qu’ils peuvent tout visiter. En avoir un, bien réglé, permet d’indiquer le sitemap et d’écarter les zones inutiles.

Peut-on bloquer les robots qui recopient les textes des sites ?

Certains de ces robots respectent des consignes données dans le robots.txt, d’autres non. C’est un choix à faire selon votre activité, en sachant que le fichier reste une demande et non une barrière.

On crée votre site ?

Composez votre site en deux minutes. Vous voyez le prix tout de suite, et vous commandez quand vous êtes prêt.