Configurer le fichier robots.txt pour votre CMS Magento

Baidu
Baidu : Référencer son site en Chine
2 mars 2015
Sablier
Comparaison de la vitesse de chargement de quelques gros sites e-commerce
14 mars 2015

Configurer le fichier robots.txt pour votre CMS Magento

CMS magento

Dès lors qu’il s’agit de créer un site e-commerce, Magento est un CMS largement plébiscité. Pourtant, Magento est assez peu optimisé pour le référencement. Par exemple, il ne possède pas de fichier robots.txt ! Un comble quand on sait que la visibilité dans gGogle est fondamentale pour le chiffre d’affaire d’un e-commerçant ….

Magento : un CMS performant dans la gestion des produits

Voilà la différence majeure entre un CMS axé sur le e-commerce comme l’est Magento et un CMS axé sur les contenus comme l’est par exemple WordPress ou encore Drupal. Magento pense e-boutique et produits en rayons. Alors, si vous demandez à Magento de faire toutes les combinaisons possibles entre les tailles, couleurs, modèles de vos paires de chaussures, il devrait y arriver sans trop de soucis car il a été conçu pour ça et se révèle plutôt performant à ce jeu là. Demandez-lui de proposer du contenu optimisé SEO sur vos pages produits ou essayer d’ajouter des landing pages avec du contenu optimisé SEO et vous verrez vite les limites du CMS …

La navigation par facette sous Magento est aussi très problématique car elle engendre beaucoup de duplicate content, ainsi un site avec 1500 produits à la vente peut se retrouver avec 400 k d’URLs indexées dans Google si l’on ne restreint pas le crawl de certaines URLs à l’aide du robots.txt

Magento : un CMS qui veut se dispenser du fichier robots.txt

Sans doute la plus mauvaise idée qu’ont eu les développeurs de Magento, ne pas lui adjoindre de base un fichier robots.txt. Alors certes, le fichier robots.txt c’est avant tout du cas par cas avec une adéquation aux besoins de votre site, mais ne pas en avoir se révèle pénalisant pour ne pas dire suicidaire en terme de référencement…

Voici un exemple de fichier robots.txt générique que vous pourrez adapter à vos besoins.

PS : Si vous ne savez pas ce que vous faites, ne faites pas un copié-collé de ce fichier, vous pourriez vous faire plus de mal que de bien.

# Crawlers Setup
User-agent: *
# Directories
Disallow: /404/
Disallow: /app/
Disallow: /cgi-bin/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /js/
Disallow: /lib/
Disallow: /magento/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /scripts/
Disallow: /shell/
Disallow: /skin/
Disallow: /stats/
Disallow: /var/
# Paths (clean URLs)
Disallow: /catalogsearch/result/
Disallow: /catalog/
Disallow: /checkout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customer/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/
Disallow: /index.php/
# Files
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /STATUS.txt
# Paths (no clean URLs)
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?p=*&
Disallow: /*?SID=
Disallow: /*?limit=all
# Allowable
Allow: /catalog/seo_sitemap/category/

User-agent: Googlebot-Image
Disallow: /

# Website Sitemap
Sitemap: http://www.monsite.com/sitemap.xml

Fabrice PEZOUS
Fabrice PEZOUS
Dans la vie, j'ai un métier et une passion : le SEO ou référencement de sites Internet que j'exerce en tant que Consultant Freelance SEO. J'ai travaillé pour des TPE, des PME, des Pure Players dans des domaines variés comme l'assurance, les loisirs (voyage,sport), la restauration, etc Si vous avez un site Internet avec des soucis de SEO, contactez moi, je peux vous aider.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *