{"id":22921,"date":"2018-12-17T11:23:50","date_gmt":"2018-12-17T19:23:50","guid":{"rendered":"https:\/\/staging.kinsta.site\/?p=14044"},"modified":"2020-03-05T15:10:29","modified_gmt":"2020-03-05T18:10:29","slug":"wordpress-robots-txt","status":"publish","type":"post","link":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/","title":{"rendered":"Guia Robots.txt do WordPress \u2013 O Que \u00c9 e Como Usar"},"content":{"rendered":"<p>J\u00e1 ouviu falar sobre o termo robots.txt e se perguntou como ele se aplica ao seu website? A maioria dos sites possui um arquivo robots.txt, mas isso n\u00e3o significa que os webmasters o entendam. Neste post, esperamos mudar essa situa\u00e7\u00e3o atrav\u00e9s de uma an\u00e1lise profunda sobre o arquivo robots.txt do WordPress, al\u00e9m de explicar ele pode controlar e limitar o acesso ao seu site. Ao final, voc\u00ea estar\u00e1 apto a responder perguntas como:<\/p>\n<ul>\n<li><a href=\"#what\">O Que \u00e9 um Robots.txt do WordPress?<\/a><\/li>\n<li><a href=\"#benefit\">Como o Robots.txt Ajuda Meu Website?<\/a><\/li>\n<li><a href=\"#how\">Como Eu Posso Adicionar o Robots.txt ao WordPress?<\/a><\/li>\n<li><a href=\"#rules\">Quais Tipos de Regras Posso Colocar no Robots.txt?<\/a><\/li>\n<li><a href=\"#test-robots.txt\">Como Testo Meu Arquivo Robots.txt?<\/a><\/li>\n<li><a href=\"#examples\">Como Grandes Websites WordPress Implementam o Robots.txt?<\/a><\/li>\n<\/ul>\n<p>H\u00e1 muito a analisar, ent\u00e3o vamos come\u00e7ar!<\/p>\n<h2><a id=\"what\"><\/a>O que \u00e9 um Robots.txt do WordPress?<\/h2>\n<p>Antes de falarmos sobre o robots.txt do WordPress, \u00e9 importante definir o que \u00e9 um \u201crob\u00f4\u201d neste caso. Rob\u00f4s s\u00e3o quaisquer tipos de \u201cbots\u201d que visitam websites na Internet. O exemplo mais comum s\u00e3o os rastreadores de mecanismos de pesquisa. Esses bots \u201crastreiam\u201d ao redor da rede para ajudar buscadores, como o Google, a indexar e classificar bilh\u00f5es de p\u00e1ginas na Internet.<\/p>\n<p>Ent\u00e3o, bots s\u00e3o, <em>em geral<\/em>, uma coisa boa para a Internet&#8230; ou, pelo menos, necess\u00e1ria. Mas isso n\u00e3o significa necessariamente que voc\u00ea ou os demais webmasters queiram bots rodando por a\u00ed sem restri\u00e7\u00f5es. O desejo de controlar como os rob\u00f4s da rede interagem com websites levou \u00e0 cria\u00e7\u00e3o de um <strong>protocolo de exclus\u00e3o de rob\u00f4s<\/strong> em meados dos anos 90. Robots.txt \u00e9 a implementa\u00e7\u00e3o pr\u00e1tica desse protocolo \u2013 <strong>ele permite que voc\u00ea controle como os bots participantes interagem com seu site<\/strong>. Voc\u00ea pode bloquear os bots completamente, restringir o acesso deles a certas \u00e1reas de seu site, entre outras op\u00e7\u00f5es.<\/p>\n<p>A parte sobre \u201cparticipantes\u201d \u00e9 importante. Robots.txt n\u00e3o pode <em>for\u00e7ar<\/em> um bot a seguir suas orienta\u00e7\u00f5es. E bots maliciosos podem e v\u00e3o ignorar o arquivo robots.txt. Al\u00e9m disso, mesmo algumas organiza\u00e7\u00f5es de respeito ignoram <em>alguns<\/em> comandos que voc\u00ea pode adicionar no Robots.txt. Por exemplo, o <a href=\"https:\/\/productforums.google.com\/forum\/#!topic\/webmasters\/oBbFpMoygF0\" target=\"_blank\" rel=\"noopener noreferrer\">Google ir\u00e1 ignorar qualquer regra<\/a> que voc\u00ea adicione ao seu robots.txt sobre a frequ\u00eancia de visitas de seus rastreadores. Se voc\u00ea est\u00e1 enfrentando problemas com bots, uma solu\u00e7\u00e3o de seguran\u00e7a como <a href=\"https:\/\/www.cloudflare.com\/\" target=\"_blank\" rel=\"noopener noreferrer\">Cloudflare<\/a>\u00a0ou\u00a0<a href=\"https:\/\/sucuri.net\/\" target=\"_blank\" rel=\"noopener noreferrer\">Sucuri<\/a>\u00a0pode ser conveniente.<\/p>\n<h3><a id=\"benefit\"><\/a>Por Que Voc\u00ea Deve se Importar com seu Arquivo Robots.txt?<\/h3>\n<p>Para a maioria dos webmasters, os benef\u00edcios de um arquivo robots.txt bem estruturado se resumem a duas categorias:<\/p>\n<ul>\n<li>Otimizar recursos de rastreamento de mecanismos de pesquisa, ao inform\u00e1-los para que n\u00e3o percam tempo em p\u00e1ginas que voc\u00ea n\u00e3o deseja que sejam indexadas. Isso ajuda a garantir que mecanismos de pesquisa foquem no rastreamento das p\u00e1ginas que voc\u00ea mais se importa.<\/li>\n<li>Otimizando o uso do seu servidor, bloqueando bots que est\u00e3o desperdi\u00e7ando recursos.<\/li>\n<\/ul>\n<h3>Robots.txt N\u00e3o se Trata Especificamente de Controlar Quais P\u00e1ginas S\u00e3o Indexadas em Mecanismos de Pesquisa<\/h3>\n<p>Robots.txt n\u00e3o \u00e9 uma forma infal\u00edvel para controlar quais p\u00e1ginas os mecanismos de pesquisa indexam. Se seu objetivo prim\u00e1rio \u00e9 impedir que certas p\u00e1ginas sejam inclu\u00eddas nos resultados dos buscadores, a abordagem adequada \u00e9 <a href=\"https:\/\/support.google.com\/webmasters\/answer\/93710?hl=en\" target=\"_blank\" rel=\"noopener noreferrer\">usar uma meta tag noindex<\/a> ou outro m\u00e9todo direto similar.<\/p>\n<p>Isso ocorre porque seu Robots.txt n\u00e3o est\u00e1 dizendo diretamente aos mecanismos de pesquisa para n\u00e3o indexar o conte\u00fado \u2013 est\u00e1 informando apenas para que n\u00e3o o rastreiem. Apesar do Google n\u00e3o rastrear as \u00e1reas demarcadas dentro do seu site, o <a href=\"https:\/\/support.google.com\/webmasters\/answer\/6062608?hl=en\" target=\"_blank\" rel=\"noopener noreferrer\">pr\u00f3prio Google informa<\/a> que, caso um site externo aponte para uma p\u00e1gina que voc\u00ea excluiu do seu arquivo Robots.txt, ele ainda assim poder\u00e1 index\u00e1-la.<\/p>\n<p>John Mueller, um Analista Webmaster do Google, tamb\u00e9m j\u00e1 confirmou que, se uma p\u00e1gina tem links apontados para ela, mesmo que esteja bloqueada pelo robots.txt, <a href=\"https:\/\/www.searchenginejournal.com\/google-pages-blocked-robots-txt-will-get-indexed-theyre-linked\/255911\/\" target=\"_blank\" rel=\"noopener noreferrer\">ainda assim poder\u00e1 ser indexada<\/a>. Abaixo est\u00e1 o que ele disse em uma confer\u00eancia da Webmaster Central:<\/p>\n<blockquote><p>Uma coisa que devemos ter em mente aqui \u00e9 que, se essas p\u00e1ginas s\u00e3o bloqueadas pelo robots.txt, teoricamente \u00e9 poss\u00edvel que algu\u00e9m aleatoriamente crie um link apontando para uma delas. E se isso for feito, <strong>pode ser que indexemos esta URL<\/strong> sem qualquer conte\u00fado, pois ele est\u00e1 bloqueado pelo robots.txt. Assim, n\u00e3o saber\u00edamos que voc\u00ea n\u00e3o deseja ter essas p\u00e1ginas realmente indexadas.<\/p>\n<p>Considerando que, se elas n\u00e3o estiverem bloqueadas pelo robots.txt, voc\u00ea pode colocar adicionar uma meta tag noindex em tais p\u00e1ginas. E se algu\u00e9m cria um link apontado para elas, n\u00f3s o rastreamos e acreditamos que h\u00e1 algo \u00fatil l\u00e1, saber\u00edamos que essas p\u00e1ginas n\u00e3o precisam ser indexadas e que podemos ignor\u00e1-las completamente.<\/p>\n<p>Ent\u00e3o, neste aspecto, se voc\u00ea tem algo nessas p\u00e1ginas que n\u00e3o quer que seja indexado, n\u00e3o as desabilite, <strong>use a tag noindex<\/strong> ao inv\u00e9s disso.<\/p><\/blockquote>\n<h2><a id=\"how\"><\/a>Como Criar e Editar Seu Arquivo Robots.txt do WordPress<\/h2>\n<p>Por padr\u00e3o, o WordPress cria automaticamente um arquivo virtual robots.txt para seu site. Portanto, mesmo que voc\u00ea n\u00e3o mova um dedo, seu site j\u00e1 deve ter um arquivo robots.txt padronizado. Voc\u00ea pode testar se este \u00e9 o caso, adicionando \u201c\/robots.txt\u201d no final do seu nome de dom\u00ednio. Por exemplo, \u201chttps:\/\/staging.kinsta.site\/robots.txt\u201d apresenta o arquivo robots.txt que usamos aqui na Kinsta:<\/p>\n<figure style=\"width: 899px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-1.png\" alt=\"Exemplo de um arquivo Robots.txt\" width=\"899\" height=\"140\"><figcaption class=\"wp-caption-text\">Exemplo de um arquivo Robots.txt<\/figcaption><\/figure>\n<p>Por ser um arquivo virtual, no entanto, voc\u00ea n\u00e3o consegue edit\u00e1-lo. Se voc\u00ea deseja alterar seu arquivo robots.txt, precisar\u00e1 realmente criar um arquivo f\u00edsico em seu servidor que poder\u00e1 manipular conforme necess\u00e1rio. Aqui est\u00e3o tr\u00eas formas simples de fazer isso&#8230;<\/p>\n<h3>Como Criar e Editar um Arquivo Robots.txt com Yoast SEO<\/h3>\n<p>Se voc\u00ea est\u00e1 usando o plugin popular Yoast SEO, pode criar (e depois editar) seu arquivo robots.txt direto da interface do Yoast. Antes de conseguir acess\u00e1-lo, no entanto, voc\u00ea precisa habilitar os recursos avan\u00e7ados do Yoast SEO em <strong>SEO \u2192 Painel (<\/strong><strong><em>Dashboard<\/em><\/strong><strong>) \u2192 Recursos (<\/strong><strong><em>Features<\/em><\/strong><strong>) <\/strong>e alterar as <strong>P\u00e1ginas de configura\u00e7\u00f5es avan\u00e7adas (<em>Advanced settings pages<\/em>):<\/strong><\/p>\n<figure style=\"width: 1055px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-2.png\" alt=\"Como habilitar recursos avan\u00e7ados do Yoast\" width=\"1055\" height=\"649\"><figcaption class=\"wp-caption-text\">Como habilitar recursos avan\u00e7ados do Yoast<\/figcaption><\/figure>\n<p>Uma vez ativado, voc\u00ea pode ir at\u00e9 <strong>SEO <\/strong><strong>\u2192 <\/strong><strong>Ferramentas (<em>Tools<\/em>)<\/strong> e clicar em <strong>Editor de arquivos (<em>File editor<\/em>)<\/strong>:<\/p>\n<figure style=\"width: 1031px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-3.png\" alt=\"Como acessar o editor de arquivos do Yoast\" width=\"1031\" height=\"621\"><figcaption class=\"wp-caption-text\">Como acessar o editor de arquivos do Yoast<\/figcaption><\/figure>\n<p>Assumindo que voc\u00ea ainda n\u00e3o tenha um arquivo Robots.txt f\u00edsico, o Yoast oferecer\u00e1 uma op\u00e7\u00e3o para <strong>Criar o arquivo robots.txt (<em>Create robots.txt file<\/em>):<\/strong><\/p>\n<figure style=\"width: 887px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-4-1.png\" alt=\"Como criar o Robots.txt no Yoast\" width=\"887\" height=\"470\"><figcaption class=\"wp-caption-text\">Como criar o Robots.txt no Yoast<\/figcaption><\/figure>\n<p>E, ap\u00f3s ter clicado neste bot\u00e3o, voc\u00ea conseguir\u00e1 editar o conte\u00fado do seu arquivo Robots.txt diretamente na mesma interface:<\/p>\n<figure style=\"width: 925px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-5.png\" alt=\"Como editar Robots.txt no Yoast\" width=\"925\" height=\"441\"><figcaption class=\"wp-caption-text\">Como editar Robots.txt no Yoast<\/figcaption><\/figure>\n<p>Mais adiante nesta leitura, nos aprofundaremos sobre quais tipos de diretivas colocar em seu arquivo robots.txt do WordPress.<\/p>\n<h3>Como Criar e Editar um Arquivo Robots.txt Com All In One SEO<\/h3>\n<p>Se voc\u00ea estiver usando o All in One SEO Pack, um plugin quase t\u00e3o popular quanto o Yoast, tamb\u00e9m pode criar e editar seu arquivo robots.txt do WordPress diretamente na interface do plugin. Tudo o que voc\u00ea precisa fazer \u00e9 ir at\u00e9 <strong>All in One SEO<\/strong> <strong>\u2192 <\/strong><strong>Gerenciador de Recursos (<em>Feature Manager<\/em>) <\/strong>e<strong> Ativar (<em>Activate<\/em>) <\/strong>o recurso<strong> Robots.txt:<\/strong><\/p>\n<figure style=\"width: 1011px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-6.png\" alt=\"Como criar o Robots.txt no All In One SEO\" width=\"1011\" height=\"475\"><figcaption class=\"wp-caption-text\">Como criar o Robots.txt no All In One SEO<\/figcaption><\/figure>\n<p>Em seguida, voc\u00ea conseguir\u00e1 gerenciar seu arquivo Robots.txt, acessando <strong>All in One SEO \u2192 Robots.txt:<\/strong><\/p>\n<figure style=\"width: 979px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-7.png\" alt=\"Como editar o Robots.txt no All In One SEO\" width=\"979\" height=\"531\"><figcaption class=\"wp-caption-text\">Como editar o Robots.txt no All In One SEO<\/figcaption><\/figure>\n<h3>Como Criar e Editar um Arquivo Robots.txt Via FTP<\/h3>\n<p>Se voc\u00ea n\u00e3o estiver usando um plugin SEO que ofere\u00e7a a funcionalidade robots.txt, ainda ser\u00e1 capaz de criar e gerenciar seu pr\u00f3prio arquivo robots.txt via SFTP. Primeiro, use qualquer editor de texto para criar um arquivo vazio chamado \u201crobots.txt\u201d:<\/p>\n<figure style=\"width: 962px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-8.png\" alt=\"Como criar seu pr\u00f3prio arquivo Robots.txt\" width=\"962\" height=\"554\"><figcaption class=\"wp-caption-text\">Como criar seu pr\u00f3prio arquivo Robots.txt<\/figcaption><\/figure>\n<p>Em seguida, <a href=\"https:\/\/staging.kinsta.site\/pt\/base-de-conhecimento\/como-usar-sftp\/\" target=\"_blank\" rel=\"noopener noreferrer\">conecte-se ao seu site atrav\u00e9s de SFTP<\/a> e fa\u00e7a o upload do arquivo para a pasta <strong>raiz<\/strong> do seu site. Voc\u00ea pode fazer modifica\u00e7\u00f5es em seu arquivo robots.txt, editando-o via SFTP ou fazendo o upload de novas vers\u00f5es do mesmo.<\/p>\n<h2><a id=\"rules\"><\/a>O Que Colocar em Seu Arquivo Robots.txt<\/h2>\n<p>Ok, agora voc\u00ea tem um arquivo robots.txt f\u00edsico em seu servidor que pode ser editado conforme necess\u00e1rio. Mas o que realmente deve ser feito com ele? Bem, conforme dissemos na primeira se\u00e7\u00e3o, o robots.txt permite que voc\u00ea controle como os rob\u00f4s interagem com seu site. Voc\u00ea faz isso com dois comandos principais:<\/p>\n<ul>\n<li><strong>Agente de Usu\u00e1rio (<em>User-agent<\/em>)\u00a0<\/strong>\u2013 permite que voc\u00ea mire bots espec\u00edficos. Agentes de usu\u00e1rio s\u00e3o aqueles que os bots usam para se identificar. Com eles voc\u00ea pode, por exemplo, criar uma regra que se aplique ao Bing, mas n\u00e3o ao Google.<\/li>\n<li><strong>Negar (<em>Disallow<\/em>)<\/strong>\u2013 permite que voc\u00ea diga aos rob\u00f4s para n\u00e3o acessarem certas \u00e1reas de seu site.<\/li>\n<\/ul>\n<p>Existe tamb\u00e9m o comando <strong>Permitir (<em>Allow<\/em>)<\/strong> que voc\u00ea usar\u00e1 em situa\u00e7\u00f5es espec\u00edficas. Por padr\u00e3o, tudo em seu site \u00e9 marcado com <strong>Permitir (<em>Allow<\/em>)<\/strong>, por isso n\u00e3o \u00e9 necess\u00e1rio us\u00e1-lo em 99% das situa\u00e7\u00f5es. Mas ele se torna conveniente quando voc\u00ea precisa <strong>Negar (<em>Disallow<\/em>)<\/strong> o acesso a uma pasta e suas pastas filhas, mas <strong>Permitir (<em>Allow<\/em>)<\/strong> acesso a uma subpasta espec\u00edfica.<\/p>\n<p>Voc\u00ea adiciona regras especificando, primeiramente, a qual agente de usu\u00e1rio elas devem se aplicar e, em seguida, lista quais regras ser\u00e3o usadas atrav\u00e9s de <strong>Permitir (<em>Allow<\/em>)<\/strong> e <strong>Negar (<em>Disallow<\/em>)<\/strong>. Tamb\u00e9m h\u00e1 alguns outros comandos, como <strong>Atraso de Rastreamento (<em>Craw-delay<\/em>)<\/strong> e <strong>Mapa de<\/strong> <strong>Site (<em>Sitemap<\/em>)<\/strong>, mas eles s\u00e3o:<\/p>\n<ul>\n<li>Ignorados pela maioria dos grandes rastreadores ou interpretados de maneiras totalmente diferentes (no caso do atraso de rastreamento)<\/li>\n<li>Se tornam redundantes por ferramentas como Google Search Console (para mapas de site)<\/li>\n<\/ul>\n<p>Vamos abordar alguns casos espec\u00edficos de uso para mostrar a voc\u00ea como tudo isso \u00e9 reunido.<\/p>\n<h3>Como Usar Robots.txt Para Bloquear o Acesso ao Seu Site Inteiro<\/h3>\n<p>Digamos que voc\u00ea queira bloquear <strong>todo<\/strong> o acesso de rastreadores ao seu site. \u00c9 improv\u00e1vel que isso ocorra em um site que est\u00e1 em produ\u00e7\u00e3o (ao vivo), mas pode ser conveniente para um que esteja em teste. Para fazer isso, adicione esse c\u00f3digo ao arquivo robots.txt do WordPress:<\/p>\n<pre><code>User-agent: *\nDisallow: \/<\/code><\/pre>\n<p>O que esse c\u00f3digo diz?<\/p>\n<p>O *<strong>asterisco<\/strong>\u00a0ao lado do <strong>Agente de Usu\u00e1rio (<em>User-agent<\/em>)<\/strong> significa \u201ctodos os agentes de usu\u00e1rio\u201d. O asterisco \u00e9 um curinga, o que significa que ele se aplica a cada agente de usu\u00e1rio. A <strong>\/barra<\/strong> ao lado de <strong>Negar (<em>Disallow<\/em>)<\/strong> informa que voc\u00ea quer negar o acesso a <strong>todas<\/strong> as p\u00e1ginas que cont\u00eam \u201cseudominio.com\/\u201d (o que significa que s\u00e3o todas as p\u00e1ginas do seu site).<\/p>\n<h3>Como Usar Robots.txt Para Bloquear Um \u00danico Bot de Acessar Seu Site<\/h3>\n<p>Vamos mudar as coisas um pouco. Neste exemplo, digamos que voc\u00ea n\u00e3o gosta do fato de o Bing rastrear suas p\u00e1ginas. Voc\u00ea adora o Google e n\u00e3o deseja sequer que o Bing veja seu site. Para bloquear <strong>apenas<\/strong> o Bing de rastrear seu site, voc\u00ea deve substituir o <strong>*asterisco<\/strong> curinga por <strong>Bingbot<\/strong>:<\/p>\n<pre><code>User-agent: Bingbot\nDisallow: \/<\/code><\/pre>\n<p>Essencialmente, o c\u00f3digo acima informa que a regra <strong>Negar (<em>Disallow<\/em>)<\/strong> se aplica <strong>apenas<\/strong> aos bots com o <strong>Agente de Usu\u00e1rio (<em>User-agent<\/em>) \u201cBingbot\u201d. <\/strong>\u00c9 improv\u00e1vel que voc\u00ea queira bloquear o acesso ao Bing \u2013 mas esse cen\u00e1rio \u00e9 conveniente se houver um bot espec\u00edfico que voc\u00ea n\u00e3o queira acessando seu site. <a href=\"http:\/\/www.useragentstring.com\/pages\/useragentstring.php\" target=\"_blank\" rel=\"noopener noreferrer\">Este site<\/a> tem uma \u00f3tima lista dos nomes de Agentes de Usu\u00e1rio de servi\u00e7os conhecidos.<\/p>\n<h3>Como Usar Robots.txt Para Bloquear o Acesso a Uma Pasta Ou Arquivo Espec\u00edfico<\/h3>\n<p>Para este exemplo, digamos que voc\u00ea deseja bloquear o acesso a um arquivo ou pasta espec\u00edfica (e todas as suas subpastas). Para que isso se aplique ao WordPress, vamos considerar seu desejo de bloquear:<\/p>\n<ul>\n<li>A pasta wp-admin inteira<\/li>\n<li>wp-login.php<\/li>\n<\/ul>\n<p>Voc\u00ea poderia usar os seguintes comandos:<\/p>\n<pre><code>User-agent: *\nDisallow: \/wp-admin\/\nDisallow: \/wp-login.php<\/code><\/pre>\n<h3>Como Usar Robots.txt Para Permitir Acesso a Um Arquivo Espec\u00edfico em Uma Pasta Negada<\/h3>\n<p>Ok, agora digamos que voc\u00ea deseja bloquear uma pasta inteira, mas ainda deseja permitir acesso a um arquivo espec\u00edfico dentro dela. \u00c9 nesse momento que o comando <strong>Permitir (<em>Allow)<\/em><\/strong> se torna conveniente. E ele pode ser muito aplicado no WordPress. Na verdade, o arquivo robots.txt virtual do WordPress ilustra este exemplo perfeitamente:<\/p>\n<pre><code>User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php<\/code><\/pre>\n<p>Este c\u00f3digo bloqueia o acesso \u00e0 pasta <strong>\/wp-admin\/ <\/strong>inteira, com <strong>exce\u00e7\u00e3o do <\/strong>arquivo <strong>\/wp-admin\/admin-ajax.php.<\/strong><\/p>\n<h3>Como Usar Robots.txt Para Impedir Que Bots Rastreiem Resultados de Pesquisa do WordPress<\/h3>\n<p>Um ajuste espec\u00edfico do WordPress que voc\u00ea pode querer fazer \u00e9 impedir que os rastreadores de buscadores rastreiem suas p\u00e1ginas de resultados de pesquisas. Por padr\u00e3o, o WordPress usa o par\u00e2metro de query \u201c?s=\u201d. Para bloquear o acesso, tudo o que voc\u00ea precisa fazer \u00e9 adicionar a seguinte regra:<\/p>\n<pre><code>User-agent: *\nDisallow: \/?s=\nDisallow: \/search\/<\/code><\/pre>\n<p>Esta pode ser uma maneira efetiva de tamb\u00e9m impedir <a href=\"https:\/\/woorkup.com\/soft-404-errors\/\" target=\"_blank\" rel=\"noopener noreferrer\">erros soft 404<\/a> se voc\u00ea estiver se deparando com eles. Certifique-se de ler o nosso guia detalhado sobre como <a href=\"https:\/\/staging.kinsta.site\/pt\/blog\/pesquisa-wordpress\/\">acelerar a pesquisa do WordPress<\/a>.<\/p>\n<h3>Como Criar Regras Diferentes Para Bots Diferentes no Robots.txt<\/h3>\n<p>At\u00e9 agora, todos os exemplos atenderam uma regra por vez. Mas e se voc\u00ea deseja aplicar regras diferentes para bots diferentes? S\u00f3 \u00e9 necess\u00e1rio adicionar cada conjunto de regras abaixo da declara\u00e7\u00e3o do <strong>Agente de Usu\u00e1rio (<em>User-agent<\/em>)<\/strong> para cada bot. Por exemplo, se voc\u00ea quer uma regra que se aplique a <strong>todos os bots<\/strong> e outra que seja voltada apenas ao<strong> Bingbot<\/strong>, poderia fazer o seguinte:<\/p>\n<pre><code>User-agent: *\nDisallow: \/wp-admin\/\nUser-agent: Bingbot\nDisallow: \/<\/code><\/pre>\n<p>Neste exemplo, <strong>todos os bots<\/strong> ser\u00e3o bloqueados de acessar \/wp-admin\/, mas o <strong>Bingbot<\/strong> ser\u00e1 impedido de acessar seu site inteiro.<\/p>\n<h2><a id=\"test-robots.txt\"><\/a>Testando Seu Arquivo Robots.txt<\/h2>\n<p>Voc\u00ea pode testar seu arquivo robots.txt do WordPress no <a href=\"https:\/\/staging.kinsta.site\/pt\/blog\/google-search-console\/\">Google Search Console<\/a> para garantir que esteja configurado corretamente. Clique em seu site e na se\u00e7\u00e3o \u201cRastreamento\u201d (\u201c<em>Crawl<\/em>\u201d), clique em \u201cTestar robots.txt\u201d (\u201c<em>robots.txt Tester\u201d<\/em>)<strong>. <\/strong>Voc\u00ea poder\u00e1 submeter qualquer URL, incluindo sua p\u00e1gina inicial. Ser\u00e1 poss\u00edvel ver um <strong>Permitido (<em>Allowed<\/em>)<\/strong> verde se tudo puder ser rastreado. Voc\u00ea tamb\u00e9m poder\u00e1 testar URLs que bloqueou para garantir que est\u00e3o, de fato, bloqueadas ou <strong>Negadas<\/strong>.<\/p>\n<figure style=\"width: 1731px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/test-robots.txt-file.png\" alt=\"Testar arquivo robots.txt\" width=\"1731\" height=\"1095\"><figcaption class=\"wp-caption-text\">Testar arquivo robots.txt<\/figcaption><\/figure>\n<h3>Aten\u00e7\u00e3o ao UTF-8 BOM<\/h3>\n<p>BOM \u00e9 a sigla de \u201cbyte order mark\u201d e \u00e9, basicamente, um caractere invis\u00edvel que, por vezes, \u00e9 adicionado em arquivos por editores de texto antigos. Se isso acontecer com seu arquivo robots.txt, o Google talvez n\u00e3o o leia corretamente. Por isso, \u00e9 importante verificar poss\u00edveis erros em seu arquivo. Por exemplo, como pode ser visto abaixo, nosso arquivo tinha um caractere invis\u00edvel e o Google aponta que a sintaxe n\u00e3o foi compreendida. Isso essencialmente invalida a primeira linha de nosso arquivo robots.txt inteiro, o que n\u00e3o \u00e9 nada bom! Glenn Gabe escreveu um excelente artigo sobre como um <a href=\"https:\/\/www.gsqi.com\/marketing-blog\/utf-8-bom-robots-txt\/\" target=\"_blank\" rel=\"noopener noreferrer\">UTF-8 BOM poderia acabar com seu SEO<\/a>.<\/p>\n<figure style=\"width: 1563px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" title=\"UTF-8 BOM in your robots.txt file\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/utf-8-bom-robots-txt.png\" alt=\"UTF-8 BOM em seu arquivo robots.txt\" width=\"1563\" height=\"805\"><figcaption class=\"wp-caption-text\">UTF-8 BOM em seu arquivo robots.txt<\/figcaption><\/figure>\n<h3>Googlebot \u00c9 Baseado Principalmente nos EUA<\/h3>\n<p>Tamb\u00e9m \u00e9 importante n\u00e3o bloquear o Googlebot dos Estados Unidos, mesmo que voc\u00ea esteja tentando atingir uma regi\u00e3o que fique fora desse pa\u00eds. Por vezes, eles realizam um rastreamento local, mas o <strong>Googlebot \u00e9 baseado principalmente nos EUA<\/strong>.<\/p>\n<blockquote class=\"twitter-tweet\" data-width=\"500\" data-dnt=\"true\">\n<p lang=\"en\" dir=\"ltr\">Googlebot is mostly US-based, but we also sometimes do local crawling. <a href=\"https:\/\/t.co\/9KnmN4yXpe\">https:\/\/t.co\/9KnmN4yXpe<\/a><\/p>\n<p>&mdash; Google Search Central (@googlesearchc) <a href=\"https:\/\/twitter.com\/googlesearchc\/status\/930013394492633088?ref_src=twsrc%5Etfw\">November 13, 2017<\/a><\/p><\/blockquote>\n<p><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script><\/p>\n<h2><a id=\"examples\"><\/a>O Que Sites WordPress Populares Colocam em Seus Arquivos Robots.txt<\/h2>\n<p>Para fornecer um pouco de contexto real dos pontos listados acima, aqui est\u00e1 como alguns dos sites WordPress mais populares est\u00e3o usando seus arquivos robots.txt.<\/p>\n<h3>TechCrunch<\/h3>\n<figure style=\"width: 901px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-examples-1.png\" alt=\"Arquivo Robots.txt da TechCrunch\" width=\"901\" height=\"487\"><figcaption class=\"wp-caption-text\">Arquivo Robots.txt da TechCrunch<\/figcaption><\/figure>\n<p>Al\u00e9m de restringir o acesso a algumas p\u00e1ginas \u00fanicas, a TechCrunch impede que os rastreadores acessem:<\/p>\n<ul>\n<li>\/wp-admin\/<\/li>\n<li>\/wp-login.php<\/li>\n<\/ul>\n<p>Eles tamb\u00e9m definiram restri\u00e7\u00f5es especiais para dois bots:<\/p>\n<ul>\n<li>Swiftbot<\/li>\n<li>IRLbot<\/li>\n<\/ul>\n<p>Caso esteja interessado, o <a href=\"http:\/\/www.useragentstring.com\/pages\/useragentstring.php?name=IRLbot\" target=\"_blank\" rel=\"noopener noreferrer\">IRLbot \u00e9 um rastreador de um projeto de pesquisa da Texas A&#038;M University<\/a>. Isso \u00e9 algo curioso!<\/p>\n<h3>The Obama Foundation<\/h3>\n<figure style=\"width: 900px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-examples-2.png\" alt=\"Arquivo Robots.txt da Obama Foundation\" width=\"900\" height=\"273\"><figcaption class=\"wp-caption-text\">Arquivo Robots.txt da Obama Foundation<\/figcaption><\/figure>\n<p>The Obama Foundation n\u00e3o fez nenhuma adi\u00e7\u00e3o especial, optando por restringir o acesso exclusivamente ao \/wp-admin\/.<\/p>\n<h3>Angry Birds<\/h3>\n<figure style=\"width: 902px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-examples-3.png\" alt=\"Arquivo Robots.txt do Angry Birds\" width=\"902\" height=\"197\"><figcaption class=\"wp-caption-text\">Arquivo Robots.txt do Angry Birds<\/figcaption><\/figure>\n<p>Angry Birds tem a mesma configura\u00e7\u00e3o padr\u00e3o da The Obama Fundation. Nada de especial foi adicionado.<\/p>\n<h3>Drift<\/h3>\n<figure style=\"width: 900px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2017\/10\/what-is-robotstxt-examples-4.png\" alt=\"Arquivo Robots.txt da Drift\" width=\"900\" height=\"172\"><figcaption class=\"wp-caption-text\">Arquivo Robots.txt da Drift<\/figcaption><\/figure>\n<p>Por fim, a Drift opta por definir seus mapas de site (<em>sitemaps<\/em>) no arquivo Robots.txt, mas no restante determinou as mesmas restri\u00e7\u00f5es padr\u00e3o que The Obama Foundation e Angry Birds.<\/p>\n<h2>Use Robots.txt da Forma Certa<\/h2>\n<p>Ao concluirmos nosso guia sobre robots.txt, queremos lembr\u00e1-lo novamente que usar o comando <strong>Negar (<em>Disallow<\/em>)<\/strong> em seu arquivo robots.txt n\u00e3o \u00e9 a mesma coisa que usar a tag <strong>noindex<\/strong>. Robots.txt bloqueia rastreamentos, mas n\u00e3o necessariamente impede indexa\u00e7\u00f5es. Voc\u00ea pode usar regras espec\u00edficas para modelar como mecanismos de pesquisa e outros bots interagem com seu site, mas isso n\u00e3o ir\u00e1 controlar explicitamente se seu conte\u00fado ser\u00e1 indexado ou n\u00e3o.<\/p>\n<p>Para a maioria dos usu\u00e1rios casuais do WordPress, n\u00e3o h\u00e1 uma necessidade urgente de modificar o arquivo virtual padr\u00e3o robots.txt. Mas se voc\u00ea est\u00e1 enfrentando problemas com um bot espec\u00edfico ou se deseja alterar a forma como mecanismos de pesquisa interagem com um determinado plugin ou tema que est\u00e1 usando, talvez queira adicionar suas pr\u00f3prias regras.<\/p>\n<p>Esperamos que voc\u00ea tenha gostado deste guia e lembre-se de deixar um coment\u00e1rio se tiver outras perguntas sobre a utiliza\u00e7\u00e3o do seu arquivo robots.txt do WordPress.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>J\u00e1 ouviu falar sobre o termo robots.txt e se perguntou como ele se aplica ao seu website? A maioria dos sites possui um arquivo robots.txt, mas &#8230;<\/p>\n","protected":false},"author":38,"featured_media":22923,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_kinsta_gated_content":false,"_kinsta_gated_content_redirect":"","footnotes":""},"tags":[36,30],"topic":[],"class_list":["post-22921","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","tag-seo","tag-wordpress"],"yoast_head":"<!-- This site is optimized with the Yoast SEO Premium plugin v17.1.2 (Yoast SEO v25.8) - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Guia Robots.txt do WordPress \u2013 O Que \u00c9 e Como Usar<\/title>\n<meta name=\"description\" content=\"Quer saber o que \u00e9 um robots.txt do WordPress e como se aplica ao seu site? N\u00f3s temos todas as respostas para voc\u00ea! Aprenda tudo sobre robots.txt e WordPress.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/\" \/>\n<meta property=\"og:locale\" content=\"pt_PT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Guia Robots.txt do WordPress \u2013 O Que \u00c9 e Como Usar\" \/>\n<meta property=\"og:description\" content=\"Quer saber o que \u00e9 um robots.txt do WordPress e como se aplica ao seu site? N\u00f3s temos todas as respostas para voc\u00ea! Aprenda tudo sobre robots.txt e WordPress.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/\" \/>\n<meta property=\"og:site_name\" content=\"Kinsta\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/kinstapt\/\" \/>\n<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/fm.brianleejackson\" \/>\n<meta property=\"article:published_time\" content=\"2018-12-17T19:23:50+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2020-03-05T18:10:29+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/11\/kinsta-PT-OG.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1920\" \/>\n\t<meta property=\"og:image:height\" content=\"1080\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Brian Jackson\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:description\" content=\"Quer saber o que \u00e9 um robots.txt do WordPress e como se aplica ao seu site? N\u00f3s temos todas as respostas para voc\u00ea! Aprenda tudo sobre robots.txt e WordPress.\" \/>\n<meta name=\"twitter:image\" content=\"https:\/\/staging.kinsta.site\/wp-content\/uploads\/2017\/10\/wordpress-robots.txt-1.png\" \/>\n<meta name=\"twitter:creator\" content=\"@brianleejackson\" \/>\n<meta name=\"twitter:site\" content=\"@kinsta_pt\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Brian Jackson\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo estimado de leitura\" \/>\n\t<meta name=\"twitter:data2\" content=\"15 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#article\",\"isPartOf\":{\"@id\":\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/\"},\"author\":{\"name\":\"Brian Jackson\",\"@id\":\"https:\/\/staging.kinsta.site\/pt\/#\/schema\/person\/21637e123fca643139de1469fdc39d35\"},\"headline\":\"Guia Robots.txt do WordPress \u2013 O Que \u00c9 e Como Usar\",\"datePublished\":\"2018-12-17T19:23:50+00:00\",\"dateModified\":\"2020-03-05T18:10:29+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/\"},\"wordCount\":3026,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/staging.kinsta.site\/pt\/#organization\"},\"image\":{\"@id\":\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/12\/wordpress-robots.png\",\"keywords\":[\"seo\",\"WordPress\"],\"articleSection\":[\"Melhores Tutoriais WordPress\"],\"inLanguage\":\"pt-PT\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/\",\"url\":\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/\",\"name\":\"Guia Robots.txt do WordPress \u2013 O Que \u00c9 e Como Usar\",\"isPartOf\":{\"@id\":\"https:\/\/staging.kinsta.site\/pt\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/12\/wordpress-robots.png\",\"datePublished\":\"2018-12-17T19:23:50+00:00\",\"dateModified\":\"2020-03-05T18:10:29+00:00\",\"description\":\"Quer saber o que \u00e9 um robots.txt do WordPress e como se aplica ao seu site? N\u00f3s temos todas as respostas para voc\u00ea! Aprenda tudo sobre robots.txt e WordPress.\",\"breadcrumb\":{\"@id\":\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#breadcrumb\"},\"inLanguage\":\"pt-PT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-PT\",\"@id\":\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#primaryimage\",\"url\":\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/12\/wordpress-robots.png\",\"contentUrl\":\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/12\/wordpress-robots.png\",\"width\":1460,\"height\":730},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/staging.kinsta.site\/pt\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Guia Robots.txt do WordPress \u2013 O Que \u00c9 e Como Usar\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/staging.kinsta.site\/pt\/#website\",\"url\":\"https:\/\/staging.kinsta.site\/pt\/\",\"name\":\"Kinsta\",\"description\":\"Solu\u00e7\u00f5es de hospedagem Premium, r\u00e1pida e segura\",\"publisher\":{\"@id\":\"https:\/\/staging.kinsta.site\/pt\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/staging.kinsta.site\/pt\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"pt-PT\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/staging.kinsta.site\/pt\/#organization\",\"name\":\"Kinsta\",\"url\":\"https:\/\/staging.kinsta.site\/pt\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-PT\",\"@id\":\"https:\/\/staging.kinsta.site\/pt\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/05\/kinsta.png\",\"contentUrl\":\"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/05\/kinsta.png\",\"width\":580,\"height\":580,\"caption\":\"Kinsta\"},\"image\":{\"@id\":\"https:\/\/staging.kinsta.site\/pt\/#\/schema\/logo\/image\/\"},\"sameAs\":[\"https:\/\/www.facebook.com\/kinstapt\/\",\"https:\/\/x.com\/kinsta_pt\"]},{\"@type\":\"Person\",\"@id\":\"https:\/\/staging.kinsta.site\/pt\/#\/schema\/person\/21637e123fca643139de1469fdc39d35\",\"name\":\"Brian Jackson\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-PT\",\"@id\":\"https:\/\/staging.kinsta.site\/pt\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/f8755f5f77cf5d0320ed098a38c02c3780a68cb36b7554f3fb120b17622bdc02?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/f8755f5f77cf5d0320ed098a38c02c3780a68cb36b7554f3fb120b17622bdc02?s=96&d=mm&r=g\",\"caption\":\"Brian Jackson\"},\"description\":\"Brian has a huge passion for WordPress, has been using it for over a decade, and even develops a couple of premium plugins. Brian enjoys blogging, movies, and hiking. Connect with Brian on Twitter.\",\"sameAs\":[\"https:\/\/www.facebook.com\/fm.brianleejackson\",\"https:\/\/www.linkedin.com\/in\/brianleejackson\",\"https:\/\/x.com\/brianleejackson\"],\"url\":\"https:\/\/staging.kinsta.site\/pt\/blog\/author\/brianjackson\/\"}]}<\/script>\n<!-- \/ Yoast SEO Premium plugin. -->","yoast_head_json":{"title":"Guia Robots.txt do WordPress \u2013 O Que \u00c9 e Como Usar","description":"Quer saber o que \u00e9 um robots.txt do WordPress e como se aplica ao seu site? N\u00f3s temos todas as respostas para voc\u00ea! Aprenda tudo sobre robots.txt e WordPress.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/","og_locale":"pt_PT","og_type":"article","og_title":"Guia Robots.txt do WordPress \u2013 O Que \u00c9 e Como Usar","og_description":"Quer saber o que \u00e9 um robots.txt do WordPress e como se aplica ao seu site? N\u00f3s temos todas as respostas para voc\u00ea! Aprenda tudo sobre robots.txt e WordPress.","og_url":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/","og_site_name":"Kinsta","article_publisher":"https:\/\/www.facebook.com\/kinstapt\/","article_author":"https:\/\/www.facebook.com\/fm.brianleejackson","article_published_time":"2018-12-17T19:23:50+00:00","article_modified_time":"2020-03-05T18:10:29+00:00","og_image":[{"width":1920,"height":1080,"url":"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/11\/kinsta-PT-OG.jpg","type":"image\/jpeg"}],"author":"Brian Jackson","twitter_card":"summary_large_image","twitter_description":"Quer saber o que \u00e9 um robots.txt do WordPress e como se aplica ao seu site? N\u00f3s temos todas as respostas para voc\u00ea! Aprenda tudo sobre robots.txt e WordPress.","twitter_image":"https:\/\/staging.kinsta.site\/wp-content\/uploads\/2017\/10\/wordpress-robots.txt-1.png","twitter_creator":"@brianleejackson","twitter_site":"@kinsta_pt","twitter_misc":{"Escrito por":"Brian Jackson","Tempo estimado de leitura":"15 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#article","isPartOf":{"@id":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/"},"author":{"name":"Brian Jackson","@id":"https:\/\/staging.kinsta.site\/pt\/#\/schema\/person\/21637e123fca643139de1469fdc39d35"},"headline":"Guia Robots.txt do WordPress \u2013 O Que \u00c9 e Como Usar","datePublished":"2018-12-17T19:23:50+00:00","dateModified":"2020-03-05T18:10:29+00:00","mainEntityOfPage":{"@id":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/"},"wordCount":3026,"commentCount":0,"publisher":{"@id":"https:\/\/staging.kinsta.site\/pt\/#organization"},"image":{"@id":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/12\/wordpress-robots.png","keywords":["seo","WordPress"],"articleSection":["Melhores Tutoriais WordPress"],"inLanguage":"pt-PT","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/","url":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/","name":"Guia Robots.txt do WordPress \u2013 O Que \u00c9 e Como Usar","isPartOf":{"@id":"https:\/\/staging.kinsta.site\/pt\/#website"},"primaryImageOfPage":{"@id":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#primaryimage"},"image":{"@id":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#primaryimage"},"thumbnailUrl":"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/12\/wordpress-robots.png","datePublished":"2018-12-17T19:23:50+00:00","dateModified":"2020-03-05T18:10:29+00:00","description":"Quer saber o que \u00e9 um robots.txt do WordPress e como se aplica ao seu site? N\u00f3s temos todas as respostas para voc\u00ea! Aprenda tudo sobre robots.txt e WordPress.","breadcrumb":{"@id":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#breadcrumb"},"inLanguage":"pt-PT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/"]}]},{"@type":"ImageObject","inLanguage":"pt-PT","@id":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#primaryimage","url":"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/12\/wordpress-robots.png","contentUrl":"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/12\/wordpress-robots.png","width":1460,"height":730},{"@type":"BreadcrumbList","@id":"https:\/\/staging.kinsta.site\/pt\/blog\/wordpress-robots-txt\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/staging.kinsta.site\/pt\/"},{"@type":"ListItem","position":2,"name":"Guia Robots.txt do WordPress \u2013 O Que \u00c9 e Como Usar"}]},{"@type":"WebSite","@id":"https:\/\/staging.kinsta.site\/pt\/#website","url":"https:\/\/staging.kinsta.site\/pt\/","name":"Kinsta","description":"Solu\u00e7\u00f5es de hospedagem Premium, r\u00e1pida e segura","publisher":{"@id":"https:\/\/staging.kinsta.site\/pt\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/staging.kinsta.site\/pt\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"pt-PT"},{"@type":"Organization","@id":"https:\/\/staging.kinsta.site\/pt\/#organization","name":"Kinsta","url":"https:\/\/staging.kinsta.site\/pt\/","logo":{"@type":"ImageObject","inLanguage":"pt-PT","@id":"https:\/\/staging.kinsta.site\/pt\/#\/schema\/logo\/image\/","url":"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/05\/kinsta.png","contentUrl":"https:\/\/staging.kinsta.site\/pt\/wp-content\/uploads\/sites\/3\/2018\/05\/kinsta.png","width":580,"height":580,"caption":"Kinsta"},"image":{"@id":"https:\/\/staging.kinsta.site\/pt\/#\/schema\/logo\/image\/"},"sameAs":["https:\/\/www.facebook.com\/kinstapt\/","https:\/\/x.com\/kinsta_pt"]},{"@type":"Person","@id":"https:\/\/staging.kinsta.site\/pt\/#\/schema\/person\/21637e123fca643139de1469fdc39d35","name":"Brian Jackson","image":{"@type":"ImageObject","inLanguage":"pt-PT","@id":"https:\/\/staging.kinsta.site\/pt\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/f8755f5f77cf5d0320ed098a38c02c3780a68cb36b7554f3fb120b17622bdc02?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/f8755f5f77cf5d0320ed098a38c02c3780a68cb36b7554f3fb120b17622bdc02?s=96&d=mm&r=g","caption":"Brian Jackson"},"description":"Brian has a huge passion for WordPress, has been using it for over a decade, and even develops a couple of premium plugins. Brian enjoys blogging, movies, and hiking. Connect with Brian on Twitter.","sameAs":["https:\/\/www.facebook.com\/fm.brianleejackson","https:\/\/www.linkedin.com\/in\/brianleejackson","https:\/\/x.com\/brianleejackson"],"url":"https:\/\/staging.kinsta.site\/pt\/blog\/author\/brianjackson\/"}]}},"acf":[],"_links":{"self":[{"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/wp\/v2\/posts\/22921","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/wp\/v2\/users\/38"}],"replies":[{"embeddable":true,"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/wp\/v2\/comments?post=22921"}],"version-history":[{"count":11,"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/wp\/v2\/posts\/22921\/revisions"}],"predecessor-version":[{"id":35924,"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/wp\/v2\/posts\/22921\/revisions\/35924"}],"alternate":[{"embeddable":true,"hreflang":"en","title":"English","href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/kinsta\/v1\/posts\/22921\/translations\/en"},{"embeddable":true,"hreflang":"es","title":"Spanish","href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/kinsta\/v1\/posts\/22921\/translations\/es"},{"embeddable":true,"hreflang":"pt","title":"Portuguese","href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/kinsta\/v1\/posts\/22921\/translations\/pt"},{"embeddable":true,"hreflang":"fr","title":"French","href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/kinsta\/v1\/posts\/22921\/translations\/fr"},{"embeddable":true,"hreflang":"de","title":"German","href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/kinsta\/v1\/posts\/22921\/translations\/de"},{"embeddable":true,"hreflang":"nl","title":"Dutch","href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/kinsta\/v1\/posts\/22921\/translations\/nl"},{"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/kinsta\/v1\/posts\/22921\/tree"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/wp\/v2\/media\/22923"}],"wp:attachment":[{"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/wp\/v2\/media?parent=22921"}],"wp:term":[{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/wp\/v2\/tags?post=22921"},{"taxonomy":"topic","embeddable":true,"href":"https:\/\/staging.kinsta.site\/pt\/wp-json\/wp\/v2\/topic?post=22921"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}