Il y a beaucoup \u00e0 couvrir, alors commen\u00e7ons !<\/p>\n
<\/a>Qu’est-ce qu’un Robots.txt WordPress ?<\/h2>\nAvant de parler du fichier robots.txt de WordPress, il est important de d\u00e9finir ce qu’est un \u00ab\u00a0robot\u00a0\u00bb dans ce cas. Les robots sont tous les types de \u00ab\u00a0bot\u00a0\u00bb qui visitent des sites Web sur Internet. L’exemple le plus courant est celui des robots des moteurs de recherche. Ces robots \u00ab\u00a0parcourent\u00a0\u00bb le Web pour aider les moteurs de recherche comme Google \u00e0 indexer et \u00e0 classer les milliards de pages sur Internet.<\/p>\n
Ainsi, les robots sont, en g\u00e9n\u00e9ral,<\/i> une bonne chose pour l’Internet… ou du moins une chose n\u00e9cessaire. Mais cela ne signifie pas n\u00e9cessairement que vous, ou d’autres webmasters, voulez que les bots circulent sans entraves. Le d\u00e9sir de contr\u00f4ler la fa\u00e7on dont les robots Web interagissent avec les sites Web a men\u00e9 \u00e0 la cr\u00e9ation de la norme d’exclusion des robots<\/strong> au milieu des ann\u00e9es 1990. Robots.txt est l’impl\u00e9mentation pratique de ce standard – il vous permet de contr\u00f4ler comment les robots participants interagissent avec votre site<\/strong>. Vous pouvez bloquer enti\u00e8rement les robots, restreindre leur acc\u00e8s \u00e0 certaines zones de votre site, et plus encore.<\/p>\nCette partie \u00a0\u00bb\u00a0participante\u00a0\u00a0\u00bb est importante. Cependant, le robots.txt ne peut pas forcer<\/i> un bot \u00e0 suivre ses directives. Et les robots malveillants peuvent ignorer le fichier robots.txt et le feront. De plus, m\u00eame les organisations les plus r\u00e9put\u00e9es ignorent certaines<\/i> commandes que vous pouvez mettre dans Robots.txt. Par exemple, Google ignorera toutes les r\u00e8gles<\/a> que vous ajoutez \u00e0 votre fichier robots.txt concernant la fr\u00e9quence de visite de ses robots. Si vous avez beaucoup de probl\u00e8mes avec les robots, une solution de s\u00e9curit\u00e9 comme Cloudflare<\/a> ou Sucuri<\/a> peut vous \u00eatre utile.<\/p>\n<\/a>Pourquoi devriez-vous vous soucier de votre fichier Robots.txt ?<\/h3>\nPour la plupart des webmasters, les avantages d’un fichier robots.txt bien structur\u00e9 se r\u00e9sument \u00e0 deux cat\u00e9gories :<\/p>\n
\n- Optimiser les ressources des moteurs de recherche en leur disant de ne pas perdre de temps sur les pages que vous ne voulez pas index\u00e9es. Cela permet de s’assurer que les moteurs de recherche se concentrent sur l’exploration des pages qui vous tiennent le plus \u00e0 c\u0153ur.<\/li>\n
- Optimisation de l’utilisation de votre serveur en bloquant les bots qui gaspillent des ressources.<\/li>\n<\/ul>\n
Le robots.txt n’est pas utile que pour le contr\u00f4le des pages qui sont index\u00e9es dans les moteurs de recherche<\/h3>\n
Le robots.txt n’est pas un moyen infaillible de contr\u00f4ler l’indexation des pages dans les moteurs de recherche. Si votre but premier est d’emp\u00eacher certaines pages d’\u00eatre incluses dans les r\u00e9sultats des moteurs de recherche, la bonne approche consiste \u00e0 utiliser une balise meta noindex<\/a> ou une autre m\u00e9thode directe similaire.<\/p>\nC’est parce que votre Robots.txt ne dit pas directement aux moteurs de recherche de ne pas indexer le contenu – il leur dit simplement de ne pas le parcourir. M\u00eame si Google ne parcourt pas les zones marqu\u00e9es \u00e0 l’int\u00e9rieur de votre site, Google lui-m\u00eame d\u00e9clare<\/a> que si un site externe renvoie vers une page que vous excluez avec votre fichier Robots.txt, Google peut quand m\u00eame indexer cette page.<\/p>\nJohn Mueller, un analyste de Google Webmaster, a \u00e9galement confirm\u00e9 que si une page a des liens point\u00e9s vers elle, m\u00eame si elle est bloqu\u00e9e par robots.txt, peut quand m\u00eame \u00eatre index\u00e9e<\/a>. Voici ce qu’il avait \u00e0 dire dans une rencontre Webmaster Central :<\/p>\nUne chose qu’il faut peut-\u00eatre garder \u00e0 l’esprit ici est que si ces pages sont bloqu\u00e9es par le robots.txt, alors il pourrait th\u00e9oriquement arriver que quelqu’un fasse un lien al\u00e9atoire vers l’une de ces pages. Et s’ils le font, il peut arriver que nous indexions cette URL<\/strong> sans aucun contenu car elle est bloqu\u00e9e par le robots.txt. Nous ne saurions donc pas que vous ne voulez pas que ces pages soient index\u00e9es.<\/p>\nAlors que s’ils ne sont pas bloqu\u00e9s par le robots.txt, vous pouvez mettre une balise meta noindex sur ces pages. Et si quelqu’un fait un lien vers eux, et que nous parcourons ce lien et pensons qu’il y a peut-\u00eatre quelque chose d’utile ici, nous saurions que ces pages n’ont pas besoin d’\u00eatre index\u00e9es et que nous pouvons simplement les ignorer compl\u00e8tement.<\/p>\n
Donc, \u00e0 cet \u00e9gard, si vous avez quelque chose sur ces pages que vous ne voulez pas faire indexer, alors ne les interdisez pas, utilisez plut\u00f4t noindex<\/strong>.<\/p><\/blockquote>\n<\/a>Comment cr\u00e9er et modifier votre fichier Robots.txt WordPress<\/h2>\nPar d\u00e9faut, WordPress cr\u00e9e automatiquement un fichier robots.txt virtuel pour votre site. Donc, m\u00eame si vous ne levez pas le petit doigt, votre site devrait d\u00e9j\u00e0 avoir le fichier robots.txt par d\u00e9faut. Vous pouvez tester si c’est le cas en ajoutant \u00ab\u00a0\/robots.txt\u00a0\u00bb \u00e0 la fin de votre nom de domaine. Par exemple, \u00ab\u00a0https:\/\/staging.kinsta.site\/robots.txt\u00a0\u00bb fait appara\u00eetre le fichier robots.txt que nous utilisons ici chez Kinsta :<\/p>\n![\"Exemple](\"https:\/\/staging.kinsta.site\/fr\/wp-content\/uploads\/sites\/4\/2017\/10\/exemple-robots-txt.png\")
Exemple d’un fichier Robots.txt<\/figcaption><\/figure>\nComme ce fichier est virtuel, vous ne pouvez pas le modifier. Si vous voulez \u00e9diter votre fichier robots.txt, vous devrez cr\u00e9er un fichier physique sur votre serveur que vous pourrez manipuler si n\u00e9cessaire. Voici trois fa\u00e7ons simples de le faire…<\/p>\n
Comment cr\u00e9er et modifier un fichier Robots.txt avec Yoast SEO<\/h3>\n
Si vous utilisez le populaire plugin de SEO Yoast, vous pouvez cr\u00e9er (et modifier plus tard) votre fichier robots.txt directement depuis l’interface de Yoast. Avant de pouvoir y acc\u00e9der, cependant, vous devez activer les fonctions avanc\u00e9es de Yoast SEO en allant sur SEO \u2192 Tableau de bord \u2192 Fonctionnalit\u00e9s<\/strong> et en activant sur les \u201cpages de param\u00e8tres avanc\u00e9s<\/strong>\u201d :<\/p>\n![\"Comment](\"https:\/\/staging.kinsta.site\/fr\/wp-content\/uploads\/sites\/4\/2017\/10\/robots-txt-2.png\")
Comment activer les fonctions avanc\u00e9es de Yoast<\/figcaption><\/figure>\nUne fois que c’est activ\u00e9, vous pouvez aller sur SEO \u2192 Outils<\/strong> et cliquer sur \u00c9diteur de fichier <\/strong>:<\/p>\n![\"Comment](\"https:\/\/staging.kinsta.site\/fr\/wp-content\/uploads\/sites\/4\/2017\/10\/robots-txt-3.png\")
Comment acc\u00e9der \u00e0 l’\u00e9diteur de fichier de Yoast<\/figcaption><\/figure>\nEn supposant que vous n’avez pas d\u00e9j\u00e0 un fichier robots.txt physique, Yoast vous donnera une option pour Cr\u00e9er un fichier robots.txt <\/strong>:<\/p>\n![\"Comment](\"https:\/\/staging.kinsta.site\/fr\/wp-content\/uploads\/sites\/4\/2017\/10\/robots-txt-4.png\")
Comment cr\u00e9er un Robots.txt dans Yoast<\/figcaption><\/figure>\nEt une fois que vous aurez cliqu\u00e9 sur ce bouton, vous pourrez \u00e9diter le contenu de votre fichier Robots.txt directement depuis la m\u00eame interface :<\/p>\n![\"Comment](\"https:\/\/staging.kinsta.site\/fr\/wp-content\/uploads\/sites\/4\/2017\/10\/robots-txt-5.png\")
Comment \u00e9diter le fichier Robots.txt dans Yoast<\/figcaption><\/figure>\nAu fur et \u00e0 mesure de votre lecture, nous approfondirons les types de directives \u00e0 mettre dans votre fichier robots.txt WordPress.<\/p>\n
Comment cr\u00e9er et modifier un fichier Robots.txt avec All In One SEO<\/h3>\n
Si vous utilisez le plugin All In One SEO Pack<\/strong>, <\/b>presque aussi populaire que Yoast, vous pouvez \u00e9galement cr\u00e9er et modifier votre fichier robots.txt WordPress directement depuis l’interface du plugin. Tout ce que vous avez \u00e0 faire est d’aller sur All in One SEO \u2192 Feature Manager<\/strong> et d’activer<\/strong> la fonction Robots.txt :<\/strong><\/p>\n![\"Comment](\"https:\/\/staging.kinsta.site\/fr\/wp-content\/uploads\/sites\/4\/2017\/10\/robots-txt-6.png\")
Comment cr\u00e9er un Robots.txt dans All In One SEO<\/figcaption><\/figure>\nEnsuite, vous pourrez g\u00e9rer votre fichier Robots.txt en allant sur All in One SEO \u2192 Robots.txt :<\/strong><\/p>\n![\"Comment](\"https:\/\/staging.kinsta.site\/fr\/wp-content\/uploads\/sites\/4\/2017\/10\/robots-txt-7.png\")
Comment \u00e9diter le Robots.txt dans All In One SEO<\/figcaption><\/figure>\nComment cr\u00e9er et modifier un fichier Robots.txt via FTP<\/h3>\n
Si vous n’utilisez pas un plugin SEO qui offre la fonctionnalit\u00e9 de robots.txt, vous pouvez toujours cr\u00e9er et g\u00e9rer votre fichier robots.txt via SFTP. Tout d’abord, utilisez n’importe quel \u00e9diteur de texte pour cr\u00e9er un fichier vide nomm\u00e9 \u00ab\u00a0robots.txt\u00a0\u00bb :<\/p>\n![\"Comment](\"https:\/\/staging.kinsta.site\/fr\/wp-content\/uploads\/sites\/4\/2017\/10\/robots-txt-8.png\")
Comment cr\u00e9er votre propre fichier Robots.txt<\/figcaption><\/figure>\nEnsuite, connectez-vous \u00e0 votre site via SFTP<\/a> et t\u00e9l\u00e9chargez ce fichier dans le dossier racine<\/strong> de votre site. Vous pouvez apporter d’autres modifications \u00e0 votre fichier robots.txt en le modifiant via SFTP ou en envoyant de nouvelles versions du fichier.<\/p>\n<\/a>Que mettre dans votre fichier Robots.txt<\/h2>\nOk, maintenant vous avez un fichier robots.txt physique sur votre serveur que vous pouvez modifier selon vos besoins. Mais que faites-vous r\u00e9ellement de ce fichier ? Eh bien, comme vous l’avez appris dans la premi\u00e8re section, le robots.txt vous permet de contr\u00f4ler comment les robots interagissent avec votre site. Vous le faites avec deux commandes principales :<\/p>\n
\n- User-agent<\/strong> – ceci vous permet de cibler des robots sp\u00e9cifiques. Les agents utilisateurs sont ce que les robots utilisent pour s’identifier. Avec eux, vous pourriez, par exemple, cr\u00e9er une r\u00e8gle qui s’applique \u00e0 Bing, mais pas \u00e0 Google.<\/li>\n
- Disallow<\/strong> – ceci vous permet de dire aux robots de ne pas acc\u00e9der \u00e0 certaines zones de votre site.<\/li>\n<\/ul>\n
Il y a aussi une commande Allow<\/strong> que vous utiliserez dans les situations de niche. Par d\u00e9faut, tout ce qui se trouve sur votre site est marqu\u00e9 par Allow<\/strong>, il n’est donc pas n\u00e9cessaire d’utiliser la commande Allow<\/strong> dans 99% des cas. Mais cela peut s’av\u00e9rer utile lorsque vous souhaitez interdire<\/strong> l’acc\u00e8s \u00e0 un dossier et \u00e0 ses dossiers enfants, mais autoriser<\/strong> l’acc\u00e8s \u00e0 un dossier enfant sp\u00e9cifique.<\/p>\nVous ajoutez des r\u00e8gles en sp\u00e9cifiant d’abord \u00e0 quel User-agent<\/strong> la r\u00e8gle doit s’appliquer, puis en \u00e9num\u00e9rant les r\u00e8gles \u00e0 appliquer \u00e0 l’aide de Disallow<\/strong> et Allow<\/strong>. Il y a aussi d’autres commandes comme Crawl-delay<\/strong> et Sitemap<\/strong>, mais elles sont soit :<\/p>\n\n- Ignor\u00e9es par la plupart des crawlers, ou interpr\u00e9t\u00e9es de mani\u00e8res tr\u00e8s diff\u00e9rentes (dans le cas d’un retard de crawl)<\/li>\n
- Rendues redondantes par des outils comme Google Search Console (pour les sitemaps)<\/li>\n<\/ul>\n
Passons en revue quelques cas d’utilisation sp\u00e9cifiques pour vous montrer comment tout cela s’articule.<\/p>\n
Comment utiliser le Robots.txt pour bloquer l’acc\u00e8s \u00e0 votre site entier<\/h3>\n
Supposons que vous vouliez bloquer l’acc\u00e8s de tous les robots<\/strong> d’exploration \u00e0 votre site. Il est peu probable que cela se produise sur un site en ligne, mais cela peut s’av\u00e9rer utile pour un site de d\u00e9veloppement. Pour ce faire, vous devez ajouter ce code \u00e0 votre fichier robots.txt WordPress :<\/p>\nUser-agent: *\nDisallow: \/<\/code><\/pre>\nQue se passe-t-il dans ce code ?<\/p>\n
L’ast\u00e9risque * \u00e0 c\u00f4t\u00e9 de User-agent<\/strong> signifie \u00ab\u00a0tous les agents utilisateurs\u00a0\u00bb. L’ast\u00e9risque est un caract\u00e8re de remplacement, ce qui signifie qu’il s’applique \u00e0 chaque agent utilisateur. Le \/ <\/b>(slash)<\/strong> \u00e0 c\u00f4t\u00e9 de Disallow<\/strong> indique que vous voulez interdire l’acc\u00e8s \u00e0 toutes les pages<\/strong> qui contiennent \u00ab\u00a0votredomaine.com\/\u00a0\u00bb. (ce qui correspond \u00e0 chaque page de votre site).<\/p>\nComment utiliser le Robots.txt pour emp\u00eacher un seul robot d’acc\u00e9der \u00e0 votre site<\/h3>\n
Changeons les choses. Dans cet exemple, nous allons pr\u00e9tendre que vous n’aimez pas le fait que Bing parcourt vos pages. Vous \u00eates un Pro Google dans tous les cas et vous ne voulez m\u00eame pas que Bing regarde votre site. Pour emp\u00eacher seulement<\/strong> Bing de crawler votre site, vous devez remplacer le caract\u00e8re g\u00e9n\u00e9rique *<\/b>ast\u00e9risque<\/strong> par Bingbot<\/strong> :<\/p>\nUser-agent: Bingbot\nDisallow: \/<\/code><\/pre>\nLe code ci-dessus dit d’appliquer seulement<\/strong> la r\u00e8gle Disallow<\/strong> aux bots avec l’ User-agent<\/strong> \u00ab\u00a0Bingbot\u00a0\u00bb<\/strong>. Maintenant, il est peu probable que vous souhaitiez bloquer l’acc\u00e8s \u00e0 Bing – mais ce sc\u00e9nario s’av\u00e8re utile s’il y a un bot sp\u00e9cifique que vous ne voulez pas autoriser sur votre site. Ce site contient<\/a> une bonne liste de la plupart des noms d’User-agent connus du service.<\/p>\nComment utiliser Robots.txt pour bloquer l’acc\u00e8s \u00e0 un dossier ou un fichier sp\u00e9cifique<\/h3>\n
Pour cet exemple, disons que vous voulez seulement bloquer l’acc\u00e8s \u00e0 un fichier ou dossier sp\u00e9cifique (et \u00e0 tous les sous-dossiers de ce dossier). Pour que cela s’applique \u00e0 WordPress, disons que vous voulez bloquer :<\/p>\n
\n- Tout le dossier wp-admin<\/li>\n
- wp-login.php<\/li>\n<\/ul>\n
Vous pouvez utiliser les commandes suivantes :<\/p>\n
User-agent: *\nDisallow: \/wp-admin\/\nDisallow: \/wp-login.php<\/code><\/pre>\nComment utiliser le Robots.txt pour autoriser l’acc\u00e8s \u00e0 un fichier sp\u00e9cifique dans un dossier non autoris\u00e9<\/h3>\n
Ok, disons maintenant que vous voulez bloquer un dossier entier, mais que vous voulez quand m\u00eame autoriser l’acc\u00e8s \u00e0 un fichier sp\u00e9cifique dans ce dossier. C’est l\u00e0 que la commande Allow<\/strong> est utile. Et c’est en fait tr\u00e8s applicable \u00e0 WordPress. En fait, le fichier robots.txt virtuel de WordPress illustre parfaitement cet exemple :<\/p>\nUser-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php<\/code><\/pre>\nCet extrait bloque l’acc\u00e8s \u00e0 tout le r\u00e9pertoire \/wp-admin\/<\/strong> \u00e0 l’exception du fichier \/wp-admin\/admin-ajax.php.<\/strong><\/p>\nComment utiliser le Robots.txt pour emp\u00eacher les bots de crawler vos r\u00e9sultats de recherche WordPress<\/h3>\n
Une modification sp\u00e9cifique \u00e0 WordPress que vous pourriez vouloir faire est d’emp\u00eacher les robots de recherche d’explorer vos pages de r\u00e9sultats de recherche. Par d\u00e9faut, WordPress utilise le param\u00e8tre de requ\u00eate \u00ab\u00a0?s=\u00a0\u00bb. Pour bloquer l’acc\u00e8s, il vous suffit donc d’ajouter la r\u00e8gle suivante :<\/p>\n
User-agent: *\nDisallow: \/?s=\nDisallow: \/search\/<\/code><\/pre>\nCeci peut \u00eatre un moyen efficace d’arr\u00eater \u00e9galement les erreurs 404<\/a> si vous les obtenez.\u00a0<\/span>Assurez-vous de lire notre guide approfondi sur la fa\u00e7on d’acc\u00e9l\u00e9rer la recherche dans WordPress<\/a>.<\/p>\nComment cr\u00e9er des r\u00e8gles diff\u00e9rentes pour diff\u00e9rents Bots dans le Robots.txt<\/h3>\n
Jusqu’\u00e0 pr\u00e9sent, tous les exemples ont trait\u00e9 une r\u00e8gle \u00e0 la fois. Mais que faire si vous voulez appliquer des r\u00e8gles diff\u00e9rentes \u00e0 des robots diff\u00e9rents ? Vous n’avez qu’\u00e0 ajouter chaque ensemble de r\u00e8gles sous la d\u00e9claration User-agent<\/strong> pour chaque bot. Par exemple, si vous voulez faire une r\u00e8gle qui s’applique \u00e0 tous les robots<\/strong> et une autre qui s’applique uniquement<\/strong> \u00e0 Bingbot<\/strong>, vous pouvez le faire comme ceci :<\/p>\nUser-agent: *\nDisallow: \/wp-admin\/\nUser-agent: Bingbot\nDisallow: \/<\/code><\/pre>\nDans cet exemple, tous les robots<\/strong> seront bloqu\u00e9s pour acc\u00e9der \u00e0 \/wp-admin\/, mais Bingbot<\/strong> sera bloqu\u00e9 pour acc\u00e9der \u00e0 votre site entier.<\/p>\n<\/a>Test de votre fichier Robots.txt<\/h2>\nVous pouvez tester votre fichier robots.txt WordPress dans la Google Search Console<\/a> pour vous assurer qu’il est correctement configur\u00e9. Cliquez simplement sur votre site, et sous \u00ab\u00a0Crawl\u00a0\u00bb cliquez sur \u00ab\u00a0robots.txt Tester\u00a0\u00bb. Vous pouvez ensuite soumettre n’importe quelle URL, y compris votre page d’accueil. Vous devriez voir un vert Autoris\u00e9<\/strong> si tout est indexable (ou crawlable). Vous pouvez \u00e9galement tester les URLs que vous avez bloqu\u00e9es pour vous assurer qu’elles sont effectivement bloqu\u00e9es et\/ou interdites<\/strong>.<\/p>\n![\"Tester](\"https:\/\/staging.kinsta.site\/fr\/wp-content\/uploads\/sites\/4\/2017\/10\/tester-fichier-robots-txt.png\")
Tester le fichier robots.txt<\/figcaption><\/figure>\nM\u00e9fiez-vous de la nomenclature UTF-8<\/h3>\n
BOM est l’abr\u00e9viation de \u201cbyte order mark\u201d et est un caract\u00e8re invisible qui est parfois ajout\u00e9 aux fichiers par d’anciens \u00e9diteurs de texte, etc. Si cela arrive \u00e0 votre fichier robots.txt, Google pourrait ne pas le lire correctement. C’est pourquoi il est important de v\u00e9rifier si votre fichier contient des erreurs. Par exemple, comme on le voit ci-dessous, notre fichier avait un caract\u00e8re invisible et Google se plaint que la syntaxe ne soit pas comprise. Ceci invalide essentiellement la premi\u00e8re ligne de notre fichier robots.txt, ce qui n’est pas bon ! Glenn Gabe a un excellent article sur la fa\u00e7on dont un Bom UTF-8 pourrait tuer votre SEO<\/a>.<\/p>\n![\"Nomenclature](\"https:\/\/staging.kinsta.site\/fr\/wp-content\/uploads\/sites\/4\/2017\/10\/utf-8-fichier-robots-txt.png\" "\\"UTF-8")
Nomenclature UTF-8 dans votre fichier robots.txt<\/figcaption><\/figure>\nGooglebot est principalement bas\u00e9 aux \u00c9tats-Unis<\/h3>\n
Il est \u00e9galement important de ne pas bloquer le Googlebot des \u00c9tats-Unis, m\u00eame si vous visez une r\u00e9gion locale en dehors des \u00c9tats-Unis. Ils font parfois des recherches locales, mais Googlebot est surtout bas\u00e9 aux \u00c9tats-Unis<\/strong>.<\/p>\n\nGooglebot is mostly US-based, but we also sometimes do local crawling. https:\/\/t.co\/9KnmN4yXpe<\/a><\/p>\n— Google Search Central (@googlesearchc) November 13, 2017<\/a><\/p><\/blockquote>\n
Cette partie \u00a0\u00bb\u00a0participante\u00a0\u00a0\u00bb est importante. Cependant, le robots.txt ne peut pas forcer<\/i> un bot \u00e0 suivre ses directives. Et les robots malveillants peuvent ignorer le fichier robots.txt et le feront. De plus, m\u00eame les organisations les plus r\u00e9put\u00e9es ignorent certaines<\/i> commandes que vous pouvez mettre dans Robots.txt. Par exemple, Google ignorera toutes les r\u00e8gles<\/a> que vous ajoutez \u00e0 votre fichier robots.txt concernant la fr\u00e9quence de visite de ses robots. Si vous avez beaucoup de probl\u00e8mes avec les robots, une solution de s\u00e9curit\u00e9 comme Cloudflare<\/a> ou Sucuri<\/a> peut vous \u00eatre utile.<\/p>\n Pour la plupart des webmasters, les avantages d’un fichier robots.txt bien structur\u00e9 se r\u00e9sument \u00e0 deux cat\u00e9gories :<\/p>\n Le robots.txt n’est pas un moyen infaillible de contr\u00f4ler l’indexation des pages dans les moteurs de recherche. Si votre but premier est d’emp\u00eacher certaines pages d’\u00eatre incluses dans les r\u00e9sultats des moteurs de recherche, la bonne approche consiste \u00e0 utiliser une balise meta noindex<\/a> ou une autre m\u00e9thode directe similaire.<\/p>\n C’est parce que votre Robots.txt ne dit pas directement aux moteurs de recherche de ne pas indexer le contenu – il leur dit simplement de ne pas le parcourir. M\u00eame si Google ne parcourt pas les zones marqu\u00e9es \u00e0 l’int\u00e9rieur de votre site, Google lui-m\u00eame d\u00e9clare<\/a> que si un site externe renvoie vers une page que vous excluez avec votre fichier Robots.txt, Google peut quand m\u00eame indexer cette page.<\/p>\n John Mueller, un analyste de Google Webmaster, a \u00e9galement confirm\u00e9 que si une page a des liens point\u00e9s vers elle, m\u00eame si elle est bloqu\u00e9e par robots.txt, peut quand m\u00eame \u00eatre index\u00e9e<\/a>. Voici ce qu’il avait \u00e0 dire dans une rencontre Webmaster Central :<\/p>\n Une chose qu’il faut peut-\u00eatre garder \u00e0 l’esprit ici est que si ces pages sont bloqu\u00e9es par le robots.txt, alors il pourrait th\u00e9oriquement arriver que quelqu’un fasse un lien al\u00e9atoire vers l’une de ces pages. Et s’ils le font, il peut arriver que nous indexions cette URL<\/strong> sans aucun contenu car elle est bloqu\u00e9e par le robots.txt. Nous ne saurions donc pas que vous ne voulez pas que ces pages soient index\u00e9es.<\/p>\n Alors que s’ils ne sont pas bloqu\u00e9s par le robots.txt, vous pouvez mettre une balise meta noindex sur ces pages. Et si quelqu’un fait un lien vers eux, et que nous parcourons ce lien et pensons qu’il y a peut-\u00eatre quelque chose d’utile ici, nous saurions que ces pages n’ont pas besoin d’\u00eatre index\u00e9es et que nous pouvons simplement les ignorer compl\u00e8tement.<\/p>\n Donc, \u00e0 cet \u00e9gard, si vous avez quelque chose sur ces pages que vous ne voulez pas faire indexer, alors ne les interdisez pas, utilisez plut\u00f4t noindex<\/strong>.<\/p><\/blockquote>\n Par d\u00e9faut, WordPress cr\u00e9e automatiquement un fichier robots.txt virtuel pour votre site. Donc, m\u00eame si vous ne levez pas le petit doigt, votre site devrait d\u00e9j\u00e0 avoir le fichier robots.txt par d\u00e9faut. Vous pouvez tester si c’est le cas en ajoutant \u00ab\u00a0\/robots.txt\u00a0\u00bb \u00e0 la fin de votre nom de domaine. Par exemple, \u00ab\u00a0https:\/\/staging.kinsta.site\/robots.txt\u00a0\u00bb fait appara\u00eetre le fichier robots.txt que nous utilisons ici chez Kinsta :<\/p>\n Comme ce fichier est virtuel, vous ne pouvez pas le modifier. Si vous voulez \u00e9diter votre fichier robots.txt, vous devrez cr\u00e9er un fichier physique sur votre serveur que vous pourrez manipuler si n\u00e9cessaire. Voici trois fa\u00e7ons simples de le faire…<\/p>\n Si vous utilisez le populaire plugin de SEO Yoast, vous pouvez cr\u00e9er (et modifier plus tard) votre fichier robots.txt directement depuis l’interface de Yoast. Avant de pouvoir y acc\u00e9der, cependant, vous devez activer les fonctions avanc\u00e9es de Yoast SEO en allant sur SEO \u2192 Tableau de bord \u2192 Fonctionnalit\u00e9s<\/strong> et en activant sur les \u201cpages de param\u00e8tres avanc\u00e9s<\/strong>\u201d :<\/p>\n Une fois que c’est activ\u00e9, vous pouvez aller sur SEO \u2192 Outils<\/strong> et cliquer sur \u00c9diteur de fichier <\/strong>:<\/p>\n En supposant que vous n’avez pas d\u00e9j\u00e0 un fichier robots.txt physique, Yoast vous donnera une option pour Cr\u00e9er un fichier robots.txt <\/strong>:<\/p>\n Et une fois que vous aurez cliqu\u00e9 sur ce bouton, vous pourrez \u00e9diter le contenu de votre fichier Robots.txt directement depuis la m\u00eame interface :<\/p>\n Au fur et \u00e0 mesure de votre lecture, nous approfondirons les types de directives \u00e0 mettre dans votre fichier robots.txt WordPress.<\/p>\n Si vous utilisez le plugin All In One SEO Pack<\/strong>, <\/b>presque aussi populaire que Yoast, vous pouvez \u00e9galement cr\u00e9er et modifier votre fichier robots.txt WordPress directement depuis l’interface du plugin. Tout ce que vous avez \u00e0 faire est d’aller sur All in One SEO \u2192 Feature Manager<\/strong> et d’activer<\/strong> la fonction Robots.txt :<\/strong><\/p>\n Ensuite, vous pourrez g\u00e9rer votre fichier Robots.txt en allant sur All in One SEO \u2192 Robots.txt :<\/strong><\/p>\n Si vous n’utilisez pas un plugin SEO qui offre la fonctionnalit\u00e9 de robots.txt, vous pouvez toujours cr\u00e9er et g\u00e9rer votre fichier robots.txt via SFTP. Tout d’abord, utilisez n’importe quel \u00e9diteur de texte pour cr\u00e9er un fichier vide nomm\u00e9 \u00ab\u00a0robots.txt\u00a0\u00bb :<\/p>\n Ensuite, connectez-vous \u00e0 votre site via SFTP<\/a> et t\u00e9l\u00e9chargez ce fichier dans le dossier racine<\/strong> de votre site. Vous pouvez apporter d’autres modifications \u00e0 votre fichier robots.txt en le modifiant via SFTP ou en envoyant de nouvelles versions du fichier.<\/p>\n Ok, maintenant vous avez un fichier robots.txt physique sur votre serveur que vous pouvez modifier selon vos besoins. Mais que faites-vous r\u00e9ellement de ce fichier ? Eh bien, comme vous l’avez appris dans la premi\u00e8re section, le robots.txt vous permet de contr\u00f4ler comment les robots interagissent avec votre site. Vous le faites avec deux commandes principales :<\/p>\n Il y a aussi une commande Allow<\/strong> que vous utiliserez dans les situations de niche. Par d\u00e9faut, tout ce qui se trouve sur votre site est marqu\u00e9 par Allow<\/strong>, il n’est donc pas n\u00e9cessaire d’utiliser la commande Allow<\/strong> dans 99% des cas. Mais cela peut s’av\u00e9rer utile lorsque vous souhaitez interdire<\/strong> l’acc\u00e8s \u00e0 un dossier et \u00e0 ses dossiers enfants, mais autoriser<\/strong> l’acc\u00e8s \u00e0 un dossier enfant sp\u00e9cifique.<\/p>\n Vous ajoutez des r\u00e8gles en sp\u00e9cifiant d’abord \u00e0 quel User-agent<\/strong> la r\u00e8gle doit s’appliquer, puis en \u00e9num\u00e9rant les r\u00e8gles \u00e0 appliquer \u00e0 l’aide de Disallow<\/strong> et Allow<\/strong>. Il y a aussi d’autres commandes comme Crawl-delay<\/strong> et Sitemap<\/strong>, mais elles sont soit :<\/p>\n Passons en revue quelques cas d’utilisation sp\u00e9cifiques pour vous montrer comment tout cela s’articule.<\/p>\n Supposons que vous vouliez bloquer l’acc\u00e8s de tous les robots<\/strong> d’exploration \u00e0 votre site. Il est peu probable que cela se produise sur un site en ligne, mais cela peut s’av\u00e9rer utile pour un site de d\u00e9veloppement. Pour ce faire, vous devez ajouter ce code \u00e0 votre fichier robots.txt WordPress :<\/p>\n Que se passe-t-il dans ce code ?<\/p>\n L’ast\u00e9risque * \u00e0 c\u00f4t\u00e9 de User-agent<\/strong> signifie \u00ab\u00a0tous les agents utilisateurs\u00a0\u00bb. L’ast\u00e9risque est un caract\u00e8re de remplacement, ce qui signifie qu’il s’applique \u00e0 chaque agent utilisateur. Le \/ <\/b>(slash)<\/strong> \u00e0 c\u00f4t\u00e9 de Disallow<\/strong> indique que vous voulez interdire l’acc\u00e8s \u00e0 toutes les pages<\/strong> qui contiennent \u00ab\u00a0votredomaine.com\/\u00a0\u00bb. (ce qui correspond \u00e0 chaque page de votre site).<\/p>\n Changeons les choses. Dans cet exemple, nous allons pr\u00e9tendre que vous n’aimez pas le fait que Bing parcourt vos pages. Vous \u00eates un Pro Google dans tous les cas et vous ne voulez m\u00eame pas que Bing regarde votre site. Pour emp\u00eacher seulement<\/strong> Bing de crawler votre site, vous devez remplacer le caract\u00e8re g\u00e9n\u00e9rique *<\/b>ast\u00e9risque<\/strong> par Bingbot<\/strong> :<\/p>\n Le code ci-dessus dit d’appliquer seulement<\/strong> la r\u00e8gle Disallow<\/strong> aux bots avec l’ User-agent<\/strong> \u00ab\u00a0Bingbot\u00a0\u00bb<\/strong>. Maintenant, il est peu probable que vous souhaitiez bloquer l’acc\u00e8s \u00e0 Bing – mais ce sc\u00e9nario s’av\u00e8re utile s’il y a un bot sp\u00e9cifique que vous ne voulez pas autoriser sur votre site. Ce site contient<\/a> une bonne liste de la plupart des noms d’User-agent connus du service.<\/p>\n Pour cet exemple, disons que vous voulez seulement bloquer l’acc\u00e8s \u00e0 un fichier ou dossier sp\u00e9cifique (et \u00e0 tous les sous-dossiers de ce dossier). Pour que cela s’applique \u00e0 WordPress, disons que vous voulez bloquer :<\/p>\n Vous pouvez utiliser les commandes suivantes :<\/p>\n Ok, disons maintenant que vous voulez bloquer un dossier entier, mais que vous voulez quand m\u00eame autoriser l’acc\u00e8s \u00e0 un fichier sp\u00e9cifique dans ce dossier. C’est l\u00e0 que la commande Allow<\/strong> est utile. Et c’est en fait tr\u00e8s applicable \u00e0 WordPress. En fait, le fichier robots.txt virtuel de WordPress illustre parfaitement cet exemple :<\/p>\n Cet extrait bloque l’acc\u00e8s \u00e0 tout le r\u00e9pertoire \/wp-admin\/<\/strong> \u00e0 l’exception du fichier \/wp-admin\/admin-ajax.php.<\/strong><\/p>\n Une modification sp\u00e9cifique \u00e0 WordPress que vous pourriez vouloir faire est d’emp\u00eacher les robots de recherche d’explorer vos pages de r\u00e9sultats de recherche. Par d\u00e9faut, WordPress utilise le param\u00e8tre de requ\u00eate \u00ab\u00a0?s=\u00a0\u00bb. Pour bloquer l’acc\u00e8s, il vous suffit donc d’ajouter la r\u00e8gle suivante :<\/p>\n Ceci peut \u00eatre un moyen efficace d’arr\u00eater \u00e9galement les erreurs 404<\/a> si vous les obtenez.\u00a0<\/span>Assurez-vous de lire notre guide approfondi sur la fa\u00e7on d’acc\u00e9l\u00e9rer la recherche dans WordPress<\/a>.<\/p>\n Jusqu’\u00e0 pr\u00e9sent, tous les exemples ont trait\u00e9 une r\u00e8gle \u00e0 la fois. Mais que faire si vous voulez appliquer des r\u00e8gles diff\u00e9rentes \u00e0 des robots diff\u00e9rents ? Vous n’avez qu’\u00e0 ajouter chaque ensemble de r\u00e8gles sous la d\u00e9claration User-agent<\/strong> pour chaque bot. Par exemple, si vous voulez faire une r\u00e8gle qui s’applique \u00e0 tous les robots<\/strong> et une autre qui s’applique uniquement<\/strong> \u00e0 Bingbot<\/strong>, vous pouvez le faire comme ceci :<\/p>\n Dans cet exemple, tous les robots<\/strong> seront bloqu\u00e9s pour acc\u00e9der \u00e0 \/wp-admin\/, mais Bingbot<\/strong> sera bloqu\u00e9 pour acc\u00e9der \u00e0 votre site entier.<\/p>\n Vous pouvez tester votre fichier robots.txt WordPress dans la Google Search Console<\/a> pour vous assurer qu’il est correctement configur\u00e9. Cliquez simplement sur votre site, et sous \u00ab\u00a0Crawl\u00a0\u00bb cliquez sur \u00ab\u00a0robots.txt Tester\u00a0\u00bb. Vous pouvez ensuite soumettre n’importe quelle URL, y compris votre page d’accueil. Vous devriez voir un vert Autoris\u00e9<\/strong> si tout est indexable (ou crawlable). Vous pouvez \u00e9galement tester les URLs que vous avez bloqu\u00e9es pour vous assurer qu’elles sont effectivement bloqu\u00e9es et\/ou interdites<\/strong>.<\/p>\n BOM est l’abr\u00e9viation de \u201cbyte order mark\u201d et est un caract\u00e8re invisible qui est parfois ajout\u00e9 aux fichiers par d’anciens \u00e9diteurs de texte, etc. Si cela arrive \u00e0 votre fichier robots.txt, Google pourrait ne pas le lire correctement. C’est pourquoi il est important de v\u00e9rifier si votre fichier contient des erreurs. Par exemple, comme on le voit ci-dessous, notre fichier avait un caract\u00e8re invisible et Google se plaint que la syntaxe ne soit pas comprise. Ceci invalide essentiellement la premi\u00e8re ligne de notre fichier robots.txt, ce qui n’est pas bon ! Glenn Gabe a un excellent article sur la fa\u00e7on dont un Bom UTF-8 pourrait tuer votre SEO<\/a>.<\/p>\n Il est \u00e9galement important de ne pas bloquer le Googlebot des \u00c9tats-Unis, m\u00eame si vous visez une r\u00e9gion locale en dehors des \u00c9tats-Unis. Ils font parfois des recherches locales, mais Googlebot est surtout bas\u00e9 aux \u00c9tats-Unis<\/strong>.<\/p>\n Googlebot is mostly US-based, but we also sometimes do local crawling. https:\/\/t.co\/9KnmN4yXpe<\/a><\/p>\n — Google Search Central (@googlesearchc) November 13, 2017<\/a><\/p><\/blockquote>\n<\/a>Pourquoi devriez-vous vous soucier de votre fichier Robots.txt ?<\/h3>\n
\n
Le robots.txt n’est pas utile que pour le contr\u00f4le des pages qui sont index\u00e9es dans les moteurs de recherche<\/h3>\n
<\/a>Comment cr\u00e9er et modifier votre fichier Robots.txt WordPress<\/h2>\n
Comment cr\u00e9er et modifier un fichier Robots.txt avec Yoast SEO<\/h3>\n
Comment cr\u00e9er et modifier un fichier Robots.txt avec All In One SEO<\/h3>\n
Comment cr\u00e9er et modifier un fichier Robots.txt via FTP<\/h3>\n
<\/a>Que mettre dans votre fichier Robots.txt<\/h2>\n
\n
\n
Comment utiliser le Robots.txt pour bloquer l’acc\u00e8s \u00e0 votre site entier<\/h3>\n
User-agent: *\nDisallow: \/<\/code><\/pre>\nComment utiliser le Robots.txt pour emp\u00eacher un seul robot d’acc\u00e9der \u00e0 votre site<\/h3>\n
User-agent: Bingbot\nDisallow: \/<\/code><\/pre>\nComment utiliser Robots.txt pour bloquer l’acc\u00e8s \u00e0 un dossier ou un fichier sp\u00e9cifique<\/h3>\n
\n
User-agent: *\nDisallow: \/wp-admin\/\nDisallow: \/wp-login.php<\/code><\/pre>\nComment utiliser le Robots.txt pour autoriser l’acc\u00e8s \u00e0 un fichier sp\u00e9cifique dans un dossier non autoris\u00e9<\/h3>\n
User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php<\/code><\/pre>\nComment utiliser le Robots.txt pour emp\u00eacher les bots de crawler vos r\u00e9sultats de recherche WordPress<\/h3>\n
User-agent: *\nDisallow: \/?s=\nDisallow: \/search\/<\/code><\/pre>\nComment cr\u00e9er des r\u00e8gles diff\u00e9rentes pour diff\u00e9rents Bots dans le Robots.txt<\/h3>\n
User-agent: *\nDisallow: \/wp-admin\/\nUser-agent: Bingbot\nDisallow: \/<\/code><\/pre>\n<\/a>Test de votre fichier Robots.txt<\/h2>\n
M\u00e9fiez-vous de la nomenclature UTF-8<\/h3>\n
Googlebot est principalement bas\u00e9 aux \u00c9tats-Unis<\/h3>\n
\n