Vous voulez savoir comment générer et paramétrer un fichier robots.txt sur Prestashop ? Alors l’article qui suit devrait vous intéresser !
Je vous propose de voir à quoi sert ce fameux fichier (mais aussi à quoi il ne sert pas 😉) et comment bien l’optimiser. En prime, vous apprendrez aussi à tester et corriger rapidement votre fichier robots.txt grâce à un outil gratuit mis en place par Google.
En bref, à la fin de votre lecture, vous saurez comment donner les bonnes indications aux robots d’exploration pour qu’ils puissent crawler efficacement votre boutique en ligne.
Sommaire :
- Pourquoi optimiser le fichier robots.txt ?
- Comment générer un fichier robots.txt sur Prestashop ?
- Comment bien paramétrer le fichier et donner les bonnes consignes aux Bots ?
Avant de débuter votre lecture, si vous souhaitez améliorer le SEO de votre boutique en ligne, téléchargez gratuitement notre livre blanc seo.
Pourquoi optimiser le fichier robots.txt ?
Régulièrement, les robots (Bots) des moteurs de recherche parcourent votre site à la recherche de nouvelles pages à indexer ou de mises à jour à prendre en compte. Plus votre site est populaire, plus leurs visites sont fréquentes.
Lorsque votre boutique en ligne ne compte que quelques pages, cette exploration est rapide. En revanche, lorsque vous commencez à avoir des centaines, voire des milliers de pages, images et contenus en tout genre, les petits Bots peuvent vite être perdus.
Ils errent alors de page en page, en découvrent les différents contenus. Lorsque le temps d’exploration alloué (aussi appelé budget crawl) à votre site est écoulé, ils repartent.
Le problème, c’est qu’ils n’ont parfois pas le temps de consulter l’intégralité de votre site. Ils peuvent donc passer à côté de nouvelles fiches produits, d’articles de blog ou de tout autre contenu intéressant en attente d’indexation.
Or, si les robots avaient eu des consignes claires sur les pages à visiter et celles à ignorer, il aurait pu concentrer leurs efforts au bon endroit et vos contenus seraient déjà indexés.
C’est précisément à ça que sert le fichier robots.txt !
Il donne à GoogleBot (et aux autres) des directives pour guider leur exploration. Ainsi, ils ne perdent pas de temps à consulter des pages sans intérêt et se rendent directement là où « leurs services » sont nécessaires 😉
En résumé, un fichier robots.txt bien optimisé :
- économise votre budget crawl ;
- améliore vos chances de voir vos nouveaux contenus indexés plus rapidement ;
- plaît à Google et ses robots !
« Un fichier robots.txt indique aux robots d’exploration d’un moteur de recherche les URLs auxquelles il peut accéder sur votre site. Son objectif principal est d’éviter de surcharger votre site de demandes. »
Source Documentation Google
Comment générer un fichier robots.txt sur Prestashop ?
Vérifiez que le fichier n’est pas déjà créé
Avant de vous lancer dans la création de votre fichier robots.txt, je vous recommande de vérifier si celui-ci n’est pas déjà généré automatiquement par Prestashop. Pour cela, il existe une méthode simple et efficace : taper l’adresse de votre fichier sur Google.
Il faut savoir que le fichier robots.txt se place toujours à la racine de votre site, et qu’il est public ! Aussi, lorsque vous tapez votre nom de domaine suivi de « /robots.txt », vous devriez tomber directement dessus.
Si rien ne s’affiche lorsque vous recherchez ce fichier sur Google, cela peut signifier deux choses :
- Vous n’avez pas de fichier robots.txt.
- Vous avez un fichier robots.txt, mais il n’est pas correctement placé à la racine de votre site.
Dans cas comme dans l’autre, le plus simple sera de générer un nouveau fichier robots.txt dans Prestashop et de vous assurer que celui-ci est positionné au bon endroit.
Générez-le via le backoffice de votre site e-commerce
Si ce fichier est absent de la racine de votre site, vous pouvez le créer en deux temps trois mouvements sur l’interface administrateur de votre boutique Prestashop.
- Après vous être connecté, rendez-vous dans le menu CONFIGURER > Paramètres de la boutique. Sélectionnez alors l’option Trafic et SEO.
- Une nouvelle page s’ouvre : rendez-vous tout en bas jusqu’à atteindre l’encadré Génération du fichier robots.txt.
- Il ne vous reste plus qu’à cliquer sur le bouton !
Le fichier devrait maintenant être sauvegardé au bon endroit. Rendez-vous à la racine de votre site pour vérifier que c’est bien le cas, ou recherchez votre fichier sur Google comme expliqué un peu plus haut.
Comment bien paramétrer le fichier et donner les bonnes consignes aux Bots ?
Ajoutez des règles en fonction de vos besoins
Quelles sont les principales commandes à connaître ?
Si vous souhaitez modifier certains éléments de votre fichier, il vous suffit de l’ouvrir et d’y inscrire les règles que vous souhaitez voir appliquer. Pour cela, les principales commandes à connaître sont les suivantes.
🤖 User-agent: : vous permet de définir à quels robots s’appliquent les consignes données. Si vous souhaitez que tous les robots d’exploration soient concernés, il faudra utiliser le symbole *. Exemple : User-agent: *
✅ Allow: : ici, vous indiquez quels sont les pages ou contenus et répertoires accessibles aux bots. Exemple : Allow: / signifie que tous les répertoires sont ouverts aux robots d’exploration.
🛑 Disallow: : vous l’aurez compris, il s’agit de la commande contraire à Allow: et qui permet donc de bloquer l’exploration de vos pages. Exemple : Disallow: / signifie que tous les répertoires sont fermés aux robots, ils n’ont donc pas le droit de crawler votre site.
Vous verrez également que certains fichiers comportent des lignes commençant par le signe dièse #. Ce symbole vous permet d’inscrire une note dans votre document qui ne sera pas prise en compte par les robots.
Exemple :
User-agent: *
# Pages privees
Disallow: /*exemple1
Disallow: /*exemple2
Vous remarquerez qu’il est nécessaire de revenir à la ligne pour chaque nouvelle règle.
Pour en savoir plus sur les directives que vous pouvez inscrire dans ce type de fichier, je vous invite à consulter cette vidéo explicative du « Pape du SEO », Olivier Andrieu.
C’est notamment le cas pour les bots malveillants. Google le signale d’ailleurs dans sa documentation :
« Les instructions des fichiers robots.txt ne peuvent pas obliger le robot d’exploration à respecter les règles de votre site. Il appartient au robot d’exploration de s’y conformer. Googlebot et les autres robots d’exploration sérieux respectent les instructions des fichiers robots.txt, mais il est possible que d’autres robots ne le fassent pas. »
Dans quels cas interdire aux robots de crawler vos pages ?
Le fichier robots.txt généré par Prestashop est plutôt exhaustif et il n’est pas toujours nécessaire de le modifier. Les éléments non utiles à votre référencement, comme la page d’authentification, par exemple, ont déjà une commande « Disallow: » attribuée.
Toutefois, dans certains cas, vous pourriez avoir envie d’interdire la visite d’autres pages aux robots.
De manière générale, il peut être pertinent de bloquer le crawl :
- des pages de votre site qui sont trop similaires (exemple : déclinaisons d’un même produit présentes sur plusieurs pages) ;
- des fichiers multimédias qui n’ont pas d’intérêt pour votre référencement ;
- éventuellement des scripts, mais uniquement si ceux-ci ne sont pas essentiels à la bonne lisibilité de vos pages.
D’autre part, si une nouvelle version de votre site est en cours d’élaboration par exemple, vous pourriez bloquer l’ensemble de vos répertoires aux bots, pendant la phase de préproduction.
Faut-il indiquer son sitemap sur le fichier robots.txt ?
Ce n’est pas obligatoire.
Il est possible d’indiquer dans votre fichier robots.txt le sitemap de votre boutique Prestashop, mais cette directive est totalement facultative. D’autre part, vous avez la possibilité d’envoyer votre sitemap à Google directement via la Search Console.
🔎 Pour en savoir plus, je vous recommande la lecture de cet article : Comment créer et utiliser un Sitemap avec Prestashop ?
Vérifiez votre fichier avec l’outil de Google
Vous n’êtes pas certain de la syntaxe des règles qui apparaissent dans votre fichier ? Vous avez peur d’avoir fait une erreur ou que GoogleBot ne puisse pas comprendre vos directives ?
Google a pensé à vous et vous propose un outil gratuit pour vérifier votre fichier robots.txt.
Pour cela, ouvrez l’outil de test et vérifiez en bas du fichier si des erreurs ou des avertissements apparaissent.
En cas de problème avec les directives, l’outil vous indiquera quelles sont les lignes concernées et suggèrera même des corrections.
Grâce à cet outil, vous pouvez également vérifier que chacun des robots Google est capable de crawler une URL spécifique.
Pour cela :
- Indiquez le slug de l’URL dans le champ prévu à cet effet en bas de page.
- Choisissez le GoogleBot qui vous intéresse.
- Cliquez sur le bouton Tester.
Vous aurez le choix entre 7 robots différents :
- GoogleBot
- GoogleBot-Mobile
- GoogleBot-News
- GoogleBot-Image
- GoogleBot-Video
- Adsbot-Google
- Mediapartners-Google
N’hésitez pas à contrôler que vos pages les plus importantes sont bien accessibles au GoogleBot-Mobile.
En effet, l’index mobile (Mobile First) est devenu l’index principal de Google. D’autre part, plus de 60 % du trafic internet se fait sur smartphone en France (source Similarweb, avril 2022). Avoir une boutique en ligne mobile friendly est donc absolument vital !
Le fichier robots.txt peut être un allié précieux pour le référencement de votre site Prestashop. Toutefois, ce n’est pas le seul facteur impactant en termes de SEO !
🥇 Pour que votre boutique se positionne en première page de Google, je vous invite à lire mon livre blanc SEO spécial e-commerce.
Passionné d’e-commerce et de SEO, je suis le créateur du site reussir-mon-ecommerce.fr. Depuis plus de 15 années, j’aide les e-commerçants à développer sainement leur entreprise. Et si je ne suis pas devant mon écran, c’est que je suis derrière ma batterie à jouer du rock ! !