Robots.txt : A quoi sert-il et comment le créer ?

Robots.txt

Si vous êtes ici, c’est que vous avez du entendre parler du « Robots.txt » dans le cadre de votre référencement, et que vous cherchez des explications/informations. N’ayez crainte, ce n’est pas si terrible que ça en à l’air !


Qu’est-ce que le Robots.txt ?

Il s’agit d’un fichier au format texte « txt » nommé « Robots », tout simplement.  On l’utilise dans le cadre du référencement à destination des moteurs de recherche, plus précisément pour exclure certains contenu de l’indexation par les robots.

Pour résumer, un moteur passe sur votre page tout les jours pour ajouter votre contenu au web, et vous, avec ce fichier, vous pouvez lui interdire cela directement. Les robots d’indexation consultent toujours le fichier « Robots.txt » avant d’agir.

Nous allons maintenant voir comment l’utiliser sur notre site/blog.


Comment créer un fichier Robots.txt ?

Comment créer Robot.txt

Rien de bien compliqué ce coup-ci, vous créez un document texte que vous renommez « Robots« . Une fois rempli, envoyez ce fichier à la racine de votre site.

Si vous désirez autoriser tous les robot à accéder au site, tapez uniquement ceci ou n’ajoutez pas le fichier:

User-agent: *
Disallow:

Si vous souhaitez interdire l’accès à touts les robots:

User-agent: *
Disallow: /

Si vous souhaitez interdire l’accès au forum ou à une URL… et autoriser seulement Google.

User-agent: *
Disallow: /forum

User-agent: googlebot
Disallow:

Etc, etc. Vous l’aurez bien compris, ce fichier permet une grande puissance et une souplesse dans le choix de l’indexation du contenu ou non. Attention toutefois, il ne s’agit pas d’une barrière de sécurité contre les robots: certains les ignorent très bien.

2 Comments

  1. Jerome-pasquelin
    Jerome-pasquelin11-23-2013

    Pour être précis, le fichier robots.txt est fait pour restreindre / interdire le crawl et par voir de conséquence ne pas indexer des URLs.
    En aucun cas ça ne garantit à 100% que la page ne soit pas indexée : il faut rajouter des meta noindex aussi.
    Le premier exemple est inutile, autant ne pas mettre de robots.txt que de mettre un disallow vide
    Jérôme

    • Loic
      Loic11-23-2013

      Salut Jérôme,

      Merci pour le retour. Jusqu’ici, je n’ai pas eu de soucis d’indexation via ce fichier.
      J’ai mis à jour l’article, c’est vrai que le premier exemple n’est pas pertinent si on ne possède pas le fichier à la base.

      A bientôt !

Laisser un commentaire

Cochez cette case et partagez vos articles !