Un fichier robots.txt pour votre CMS WordPress

seo-erreurs
10 erreurs SEO à éviter
15 janvier 2015
personnaliser knowledge graph
Comment personnaliser votre Knowledge Graph ?
24 janvier 2015

Un fichier robots.txt pour votre CMS WordPress

robots-txt

WordPress est le CMS le plus utilisé dans le monde pour la création de blogs ou de sites Internet. Et ce n’est pas le fruit du hasard tant WordPress est un CMS puissant et efficace pour la création et le référencement. Et pourtant, à l’origine WordPress n’est pas optimisé pour le référencement (!), notamment en ce qui concerne l’optimisation du crawl de Googlebot car WordPress ne propose pas nativement un fichier robots.txt.

Comment créer un fichier robots.txt pour WordPress ?

Il y a plusieurs solutions :

  • Vous pouvez créer avec le bloc note de windows un fichier que vous appellerez robots et que vous sauvegarderez avec l’extension .txt, il ne vous restera plus qu’à uploader le fichier à la racine de votre serveur avec n’importe lequel des clients FTP comme par exemple FileZilla.
  • Vous pouvez utiliser un plugin dédié de WordPress comme WP Robots Txt ou tout autre plugin plus complet comme notamment WordPress SEO By Yoast qui, en plus de vous permettre une optimisation fine de votre robots.txt, vous offrira tout un paramétrage possible pour votre SEO.

Comment paramétrer un fichier robots.txt pour WordPress ?

Inutile de faire de longs discours, voici le fichier robots.txt que j’utilise pour le site seoblue.fr et qui me donne entièrement satisfaction. Il ne s’agit pas d’un référence absolue mais plutôt d’un exemple à adapter selon vos besoins.

Votre fichier robots.txt  pourrait comporter les lignes suivantes :

User-agent: * 
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /cgi-bin
Allow: /wp-content/uploads/
Disallow: */trackback
Disallow: /*/feed
Disallow: /*/comments
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz
Disallow: /*.cgi
Disallow: /*?
User-agent: Googlebot-Image 
Disallow: 

 

Explications :

Disallow: wp-* et /cgi-bin, vous permettent d’empêcher le crawl par le Googlebot et les autres robots crawlers des fichiers d’administration et systèmes de WordPress.

Allow: /wp-content/uploads/ autorise le crawl spécifique d’un répertoire

Disallow: */trackback ,  /*/feed et  /*/comments , empêche Google bot d’ accéder à des pages de trackbacks, feed et commentaires dont le contenu est déjà accessible via les pages articles. On évite ainsi un crawl inutile et un duplicate content aux yeux de Google.

Disallow: /*.php$, /*.inc$,  /*.gz, /*.cgi préviennent le crawl de certains types de fichiers (ou d’URLs).

Disallow: /*? est utile si, par exemple, vous traquez des urls. En revanche il va bloquer toutes les URLs contenant des « ? ». Alors assurez vous bien que vous n’avez pas d’URLs à indexer avec des « ? » avant d’utiliser cette ligne dans votre robots.txt

Le Googlebot image peut accéder librement  au site.

 

En espérant que ce post aura répondu à vos besoins, je vous remercie de m’avoir lu.

 

Fabrice PEZOUS
Fabrice PEZOUS
Dans la vie, j'ai un métier et une passion : le SEO ou référencement de sites Internet que j'exerce en tant que Consultant Freelance SEO. J'ai travaillé pour des TPE, des PME, des Pure Players dans des domaines variés comme l'assurance, les loisirs (voyage,sport), la restauration, etc Si vous avez un site Internet avec des soucis de SEO, contactez moi, je peux vous aider.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *