Es gibt viel abzudecken, also lasst uns anfangen!<\/p>\n
<\/a>Was ist eine WordPress Robots.txt?<\/h2>\nBevor wir \u00fcber die WordPress robots.txt sprechen k\u00f6nnen, ist es wichtig zu definieren, was ein „Roboter“ in diesem Fall ist. Roboter sind jede Art von „Bot“, der Websites im Internet besucht. Das h\u00e4ufigste Beispiel sind Suchmaschinen-Crawler. Diese Bots „krabbeln“ durch das Web, um Suchmaschinen wie Google zu helfen, die Milliarden von Seiten im Internet zu indexieren und zu platzieren.<\/p>\n
Bots sind also im Allgemeinen eine gute Sache f\u00fcr das Internet…oder zumindest eine notwendige Sache. Aber das bedeutet nicht unbedingt, dass du oder andere Webmaster Bots ungehindert herumlaufen lassen wollen. Der Wunsch, zu kontrollieren, wie Webroboter mit Websites interagieren, f\u00fchrte Mitte der 90er Jahre zur Schaffung des Roboterschlie\u00dfungsstandards<\/strong>. Robots.txt ist die praktische Umsetzung dieses Standards – es erm\u00f6glicht es dir zu kontrollieren, wie teilnehmende Bots mit deiner Webseite interagieren<\/strong>. Du kannst Bots komplett blockieren, ihren Zugriff auf bestimmte Bereiche deiner Webseite einschr\u00e4nken und vieles mehr.<\/p>\nDieser „teilnehmende“ Teil ist jedoch wichtig. Robots.txt kann einen Bot nicht zwingen, seinen Anweisungen zu folgen. Und b\u00f6sartige Bots k\u00f6nnen und werden die Datei robots.txt ignorieren. Dar\u00fcber hinaus ignorieren selbst seri\u00f6se Unternehmen einige Befehle, die man in Robots.txt eingeben kann. Google ignoriert beispielsweise alle Regeln<\/a>, die du zu deiner robots.txt hinzuf\u00fcgst, um festzustellen, wie oft die Crawler die Webseite besuchen. Wenn du viele Probleme mit Bots hast, kann sich eine Sicherheitsl\u00f6sung wie Cloudflare<\/a> oder Sucuri<\/a> als n\u00fctzlich erweisen.<\/p>\n<\/a>Warum solltest du dich um deine Robots.txt-Datei k\u00fcmmern?<\/h3>\nF\u00fcr die meisten Webmaster lassen sich die Vorteile einer gut strukturierten robots.txt-Datei auf zwei Kategorien reduzieren:<\/p>\n
\n- Optimierung der Crawl-Ressourcen von Suchmaschinen, indem sie ihnen sagen, dass sie keine Zeit auf Seiten verschwenden sollen, die nicht indiziert werden sollen. Dies hilft sicherzustellen, dass sich Suchmaschinen darauf konzentrieren, die Seiten zu durchsuchen, die dir am wichtigsten sind.<\/li>\n
- Optimiere deine Nutzung, indem du Bots blockierst, die Ressourcen verschwenden.<\/li>\n<\/ul>\n
Robots.txt ist nicht spezifisch f\u00fcr die Kontrolle, welche Seiten in Suchmaschinen indiziert werden.<\/h3>\n
Robots.txt ist kein narrensicherer Weg, um zu kontrollieren, welche Seiten von Suchmaschinen indiziert werden. Wenn dein Hauptziel darin besteht, zu verhindern, dass bestimmte Seiten in die Suchmaschinenergebnisse aufgenommen werden, ist der richtige Ansatz die Verwendung eines Meta Noindex-Tags<\/a> oder einer anderen \u00e4hnlich direkten Methode.<\/p>\nDies liegt daran, dass Robots.txt Suchmaschinen nicht direkt sagt, dass sie Inhalte nicht indizieren sollen – es sagt ihnen nur, dass sie sie nicht crawlen sollen. W\u00e4hrend Google die markierten Bereiche nicht \u00fcber deine Webseite durchsucht, erkl\u00e4rt Google selb<\/a>st, dass, wenn eine externe Webseite auf eine Seite verweist, die du mit deiner Datei Robots.txt ausschlie\u00dfen wolltest, Google diese Seite trotzdem indizieren k\u00f6nnte.<\/p>\nJohn Mueller, ein Google Webmaster Analyst, hat auch best\u00e4tigt, dass, wenn eine Seite Links hat, die auf sie verweisen, auch wenn sie von robots.txt blockiert wird, trotzdem indiziert werden kann<\/a>. Unten ist, was er in einem Webmaster Central Treffpunkt zu sagen hatte:<\/p>\nEine Sache, die man hier vielleicht beachten sollte, ist, dass, wenn diese Seiten durch robots.txt blockiert werden, es theoretisch passieren kann, dass jemand zuf\u00e4llig auf eine dieser Seiten verweist. Und wenn sie das tun, dann k\u00f6nnte es passieren, dass wir diese URL ohne Inhalt indizieren<\/strong>, weil sie von robots.txt blockiert wird. Wir wissen also nicht, dass Sie diese Seiten nicht tats\u00e4chlich indiziert haben wollen.<\/p>\nWenn sie jedoch nicht von robots.txt blockiert werden, k\u00f6nnen Sie auf diesen Seiten ein Noindex-Meta-Tag einf\u00fcgen. Und wenn jemand zuf\u00e4llig mit ihnen verlinkt, und wir zuf\u00e4llig diesen Link durchsuchen und denken, dass es hier vielleicht etwas N\u00fctzliches gibt, dann w\u00fcrden wir wissen, dass diese Seiten nicht indiziert werden m\u00fcssen, und wir k\u00f6nnen sie einfach von der vollst\u00e4ndigen Indizierung ausschlie\u00dfen.<\/p>\n
Also, in dieser Hinsicht, wenn Sie etwas auf diesen Seiten haben, dass Sie nicht indiziert haben wollen, dann verbieten Sie es nicht, verwenden Sie stattdessen noindex<\/strong>.<\/p><\/blockquote>\n<\/a>So erstellst und bearbeitest du deine WordPress Robots.txt Datei<\/h2>\nStandardm\u00e4\u00dfig erstellt WordPress automatisch eine virtuelle robots.txt-Datei f\u00fcr deine Webseite. Selbst wenn du also keinen Finger r\u00fchrst, sollte deine Webseite bereits die Standarddatei robots.txt haben. Du kannst testen, ob dies der Fall ist, indem du „\/robots.txt“ an das Ende deines Domainnamens anh\u00e4ngst. Beispielsweise wird unter „https:\/\/staging.kinsta.site\/robots.txt“ die Datei robots.txt angezeigt, die wir hier bei Kinsta verwenden:<\/p>\n![\"Beispiel](\"https:\/\/staging.kinsta.site\/de\/wp-content\/uploads\/sites\/5\/2017\/10\/beispiel-robots-txt-datei.png\")
Beispiel einer Robots.txt-Datei<\/figcaption><\/figure>\nDa diese Datei jedoch virtuell ist, kann man sie nicht bearbeiten. Wenn du deine robots.txt-Datei bearbeiten m\u00f6chtest, musst du tats\u00e4chlich eine physische Datei auf deinem Server erstellen, die du bei Bedarf bearbeiten kannst. Hier sind drei einfache M\u00f6glichkeiten, dies zu tun\u2026<\/p>\n
Wie man eine Robots.txt Datei mit der neuesten SEO erstellt und bearbeitet<\/h3>\n
Wenn Du das beliebte Yoast SEO-Plugin verwendest, kannst du deine robots.txt-Datei direkt von der Yoast-Schnittstelle aus erstellen (und sp\u00e4ter bearbeiten). Bevor du jedoch darauf zugreifen kannst, musst du die erweiterten Funktionen von Yoast SEO aktivieren, indem du auf SEO \u2192 Dashboard \u2192 Features<\/strong> gehst und auf Advanced settings pages<\/strong> umschaltest:<\/p>\n![\"so](\"https:\/\/staging.kinsta.site\/de\/wp-content\/uploads\/sites\/5\/2017\/10\/so-aktivierst-du-erweiterte-yoast-funktionen.png\")
so aktivierst du erweiterte Yoast-Funktionen<\/figcaption><\/figure>\nSobald das aktiviert ist, kannst du zu SEO \u2192 Tools<\/strong> gehen und auf File editor<\/strong> klicken:<\/p>\n![\"So](\"https:\/\/staging.kinsta.site\/de\/wp-content\/uploads\/sites\/5\/2017\/10\/so-greifst-du-yoast-datei-editor.png\")
So greifst du auf den Yoast-Datei-Editor zu<\/figcaption><\/figure>\nAngenommen, man hat noch keine physische Robots.txt-Datei, gibt Yoast dir die M\u00f6glichkeit, die Datei robots.txt zu erstellen<\/strong>:<\/p>\n![\"wie](\"https:\/\/staging.kinsta.site\/de\/wp-content\/uploads\/sites\/5\/2017\/10\/wie-man-yoast-robots-txt-erstellt.png\")
wie man in Yoast Robots.txt erstellt<\/figcaption><\/figure>\nUnd wenn man auf diese Schaltfl\u00e4che klickt, kann man den Inhalt der Datei Robots.txt direkt von derselben Oberfl\u00e4che aus bearbeiten:<\/p>\n![\"wie](\"https:\/\/staging.kinsta.site\/de\/wp-content\/uploads\/sites\/5\/2017\/10\/wie-man-yoast-robots-txt-bearbeitet.png\")
wie man in Yoast Robots.txt bearbeitet<\/figcaption><\/figure>\nW\u00e4hrend du weiterliest, werden wir mehr dar\u00fcber erfahren, welche Arten von Anweisungen in deine WordPress robots.txt-Datei eingef\u00fcgt werden sollen.<\/p>\n
Wie man eine Robots.txt-Datei mit All-in-One-SEO erstellt und bearbeitet<\/h3>\n
Wenn du das fast so popul\u00e4re All-in-One SEO Pack-<\/strong>Plugin verwendest, kannst du auch deine WordPress robots.txt-Datei direkt \u00fcber die Benutzeroberfl\u00e4che des Plugins erstellen und bearbeiten. Alles, was du tun musst, ist, zu All in One SEO \u2192 Feature Manager<\/strong> zu gehen und die Robots.txt<\/strong> Funktion zu aktivieren<\/strong>:<\/p>\n![\"wie](\"https:\/\/staging.kinsta.site\/de\/wp-content\/uploads\/sites\/5\/2017\/10\/wie-man-robots-txt-all-in-one-seo-erstellt.png\")
wie man Robots.txt in All In One Seo erstellt<\/figcaption><\/figure>\nDann kannst du deine Robots.txt-Datei verwalten, indem du zu All in One SEO \u2192 Robots.txt gehst<\/strong>:<\/p>\n![\"wie](\"https:\/\/staging.kinsta.site\/de\/wp-content\/uploads\/sites\/5\/2017\/10\/wie-man-robots-txt-all-in-one-seo-bearbeitet.png\")
wie man Robots.txt in All in One Seo bearbeitet<\/figcaption><\/figure>\nSo erstellst und bearbeitest du eine Robots.txt-Datei per FTP<\/h3>\n
Wenn man kein SEO-Plugin verwendet, das die Funktionalit\u00e4t robots.txt bietet, kann man seine robots.txt-Datei trotzdem \u00fcber SFTP erstellen und verwalten. Verwende zun\u00e4chst einen beliebigen Texteditor, um eine leere Datei namens „robots.txt“ zu erstellen:<\/p>\n![\"wie](\"https:\/\/staging.kinsta.site\/de\/wp-content\/uploads\/sites\/5\/2017\/10\/wie-man-eigene-robots-txt-datei-erstellt.png\")
wie man eine eigene Robots.txt-Datei erstellt<\/figcaption><\/figure>\nVerbinde dich dann per SFTP mit deiner Website<\/a> und lade diese Datei in den Stamm<\/strong>ordner deiner Webseite hoch. Du kannst weitere \u00c4nderungen an deiner Datei robots.txt vornehmen, indem du sie per SFTP bearbeitest oder neue Versionen der Datei hochl\u00e4dst.<\/p>\n<\/a>Was du in deine Robots.txt-Datei einf\u00fcgen solltest<\/h2>\nOk, jetzt hast du eine physische robots.txt-Datei auf deinem Server, die du bei Bedarf bearbeiten kannst. Aber was machst du eigentlich mit dieser Datei? Nun, wie du im ersten Abschnitt gelernt hast, kannst du mit robots.txt steuern, wie Roboter mit deiner Webseite interagieren. Das machst du mit zwei Kernbefehlen:<\/p>\n
\n- User-Agent<\/strong> – so kannst du bestimmte Bots gezielt ansprechen. User Agents sind es, mit denen sich Bots identifizieren k\u00f6nnen. Mit ihnen kann man beispielsweise eine Regel erstellen, die f\u00fcr Bing gilt, nicht aber f\u00fcr Google.<\/li>\n
- Verbieten<\/strong> – so kann man Robotern sagen, dass sie nicht auf bestimmte Bereiche deiner Webseite zugreifen d\u00fcrfen.<\/li>\n<\/ul>\n
Es gibt auch den Befehl Zulassen<\/strong>, den du in Nischensituationen verwenden kannst. Standardm\u00e4\u00dfig ist alles auf deiner Webseite mit Zulassen<\/strong> markiert, so dass es nicht notwendig ist, den Befehl Zulassen<\/strong> in 99% der F\u00e4lle zu verwenden. Aber es ist n\u00fctzlich, wenn du den Zugriff auf einen Ordner und seine Unterordner Verbieten<\/strong> m\u00f6chtest, aber den Zugriff auf einen bestimmten Unterordner jedoch Zulassen m\u00f6chtest.<\/p>\nDu f\u00fcgst Regeln hinzu, indem du zuerst angibst, auf welchen User-Agent<\/strong> sich die Regel beziehen soll, und dann mit Verbieten<\/strong> und Zulassen<\/strong> auff\u00fchrst, welche Regeln gelten sollen. Es gibt auch einige andere Befehle wie Crawl-Delay<\/strong> und Sitemap<\/strong>, aber diese sind:<\/p>\n\n- von den meisten gro\u00dfen Crawlern ignoriert oder auf sehr unterschiedliche Weise interpretiert (im Falle einer Crawl-Verz\u00f6gerung)<\/li>\n
- redundant gemacht durch Tools wie Google Search Console (f\u00fcr Sitemaps)<\/li>\n<\/ul>\n
Lass uns einige konkrete Anwendungsf\u00e4lle durchgehen, um dir zu zeigen, wie das alles zusammenkommt.<\/p>\n
So verwendest du Robots.txt, um den Zugriff auf deine gesamte Webseite zu blockieren<\/h3>\n
Nehmen wir an, du m\u00f6chtest den gesamten<\/strong> Crawler-Zugang zu deiner Webseite blockieren. Dies ist auf einer Live-Site unwahrscheinlich, aber f\u00fcr eine Entwicklungs-Site ist es sehr n\u00fctzlich. Um das zu tun, w\u00fcrdest du diesen Code zu deiner WordPress robots.txt-Datei hinzuf\u00fcgen:<\/p>\nUser-agent: *\nDisallow: \/<\/code><\/pre>\nWas ist in diesem Code los?<\/p>\n
Der *Stern<\/strong> neben dem User-Agenten<\/strong> bedeutet „alle User-Agenten“. Das Sternchen ist ein Platzhalter, d.h. es gilt f\u00fcr jeden einzelnen User-Agenten. Der \/slash<\/strong> neben Disallow<\/strong> sagt, dass du den Zugriff auf alle<\/strong> Seiten, die „yourdomain.com\/“ enthalten, verbieten m\u00f6chtest (was jede einzelne Seite auf deiner Webseite ist).<\/p>\nSo verwendest du Robots.txt, um einen einzelnen Bot am Zugriff auf deine Webseite zu hindern<\/h3>\n
Lasst uns die Dinge \u00e4ndern. In diesem Beispiel werden wir so tun, als ob dir die Tatsache nicht gef\u00e4llt, dass Bing deine Seiten durchsucht. Du bist das ganze Team Google und willst nicht einmal, dass Bing sich deine Seite ansieht. Um allein<\/strong> Bing davon abzuhalten deine Seite zu durchsuchen, w\u00fcrdest du den Platzhalter *asterisk<\/strong> durch Bingbot<\/strong> ersetzen:<\/p>\nUser-agent: Bingbot\nDisallow: \/<\/code><\/pre>\nIm Wesentlichen besagt der obige Code, dass die Disallow<\/strong>-Regel nur<\/strong> auf Bots mit dem User-Agenten „Bingbot“<\/strong> angewendet werden soll. Nun, es ist unwahrscheinlich, dass man den Zugriff auf Bing blockieren m\u00f6chte – aber dieses Szenario ist n\u00fctzlich, wenn es einen bestimmten Bot gibt, den man nicht auf seine Webseite zugreifen lassen m\u00f6chte. Diese Seite hat eine gute Auflistung der meisten bekannten Benutzer-Agentennamen der Dienste.<\/p>\nSo verwendest du Robots.txt, um den Zugriff auf einen bestimmten Ordner oder eine bestimmte Datei zu blockieren<\/h3>\n
F\u00fcr dieses Beispiel nehmen wir an, dass du nur den Zugriff auf eine bestimmte Datei oder einen bestimmten Ordner (und alle Unterordner dieses Ordners) blockieren m\u00f6chtest. Um dies auf WordPress anzuwenden, nehmen wir an, dass du folgendes blockieren m\u00f6chtest:<\/p>\n
\n- den gesamten wp-admin-Ordner<\/li>\n
- wp-login.php<\/li>\n<\/ul>\n
Du kannst die folgenden Befehle verwenden:<\/p>\n
User-agent: *\nDisallow: \/wp-admin\/\nDisallow: \/wp-login.php<\/code><\/pre>\nSo verwendest du Robots.txt, um den Zugriff auf eine bestimmte Datei in einem nicht zugelassenen Ordner zu erlauben<\/h3>\n
Ok, sagen wir jetzt, dass du einen ganzen Ordner blockieren willst, aber du willst trotzdem den Zugriff auf eine bestimmte Datei in diesem Ordner erlauben. An dieser Stelle kommt der Befehl Allow<\/strong> zum Einsatz. Und es ist eigentlich sehr hilfreich f\u00fcr WordPress. Tats\u00e4chlich veranschaulicht die Datei WordPress virtual robots.txt dieses Beispiel perfekt:<\/p>\nUser-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php<\/code><\/pre>\nDieses Snippet blockiert den Zugriff auf den gesamten Ordner \/wp-admin\/<\/strong> mit Ausnahme<\/strong> der Datei \/wp-admin\/admin-ajax.php<\/strong>.<\/p>\nWie man Robots.txt verwendet, um Bots vom Crawling von WordPress Suchergebnissen zu stoppen<\/h3>\n
Ein WordPress-spezifischer Optimierungsvorschlag, den du vielleicht vornehmen m\u00f6chtest, ist es, Suchmaschinen-Crawler davon abzuhalten, deine Suchergebnisseiten zu durchsuchen. Standardm\u00e4\u00dfig verwendet WordPress den Abfrageparameter „?s=“. Um den Zugriff zu blockieren, musst du also nur die folgende Regel hinzuf\u00fcgen:<\/p>\n
User-agent: *\nDisallow: \/?s=\nDisallow: \/search\/<\/code><\/pre>\nDies kann eine effektive M\u00f6glichkeit sein, auch Soft-404-Fehler<\/a> zu stoppen, wenn man welche erh\u00e4lt.\u00a0Stellen Sie sicher, dass Sie unsere ausf\u00fchrliche Anleitung zur Beschleunigung der WordPress-Suche<\/a> lesen.<\/p>\nSo erstellst du unterschiedliche Regeln f\u00fcr verschiedene Bots in Robots.txt<\/h3>\n
Bislang haben sich alle Beispiele mit einer Regel nach der anderen besch\u00e4ftigt. Aber was ist, wenn du unterschiedliche Regeln auf verschiedene Bots anwenden willst? Man muss lediglich jedes Regelwerk unter der User-agent<\/strong> Deklaration f\u00fcr jeden Bot hinzuf\u00fcgen. Wenn du zum Beispiel eine Regel erstellen m\u00f6chtest, die f\u00fcr alle Bots<\/strong> gilt und eine andere Regel, die nur f\u00fcr Bingbot<\/strong> gilt, kannst du es so machen:<\/p>\nUser-agent: *\nDisallow: \/wp-admin\/\nUser-agent: Bingbot\nDisallow: \/<\/code><\/pre>\nIn diesem Beispiel werden alle Bots<\/strong> f\u00fcr den Zugriff auf \/wp-admin\/ gesperrt, w\u00e4hrend Bingbot<\/strong> f\u00fcr den Zugriff auf deine gesamte Webseite gesperrt wird.<\/p>\n<\/a>Testen deiner Robots.txt-Datei<\/h2>\nDu kannst deine WordPress robots.txt-Datei in der Google Search Console<\/a> testen, um sicherzustellen, dass sie korrekt eingerichtet ist. Klicke einfach auf deine Seite und unter „Crawl“ auf „robots.txt Tester“. Man kann dann jede beliebige URL, einschlie\u00dflich der Homepage, einreichen. Du solltest ein gr\u00fcnes Zugelassen<\/strong> sehen, wenn alles durchsuchbar ist (gecrawled werden kann). Du kannst auch URLs testen, die du blockiert hast, um sicherzustellen, dass sie tats\u00e4chlich blockiert und\/oder Verboten<\/strong> sind.<\/p>\n![\"Test](\"https:\/\/staging.kinsta.site\/de\/wp-content\/uploads\/sites\/5\/2017\/10\/test-robots-txt-datei.png\")
Test der Robots.txt-Datei<\/figcaption><\/figure>\nVorsicht vor der UTF-8 BOM<\/h3>\n
BOM steht f\u00fcr Byte-Order-Mark und ist im Grunde genommen ein unsichtbares Zeichen, das manchmal von alten Texteditoren und dergleichen zu Dateien hinzugef\u00fcgt wird. Wenn dies mit deiner robots.txt-Datei passiert, liest Google sie m\u00f6glicherweise nicht richtig. Aus diesem Grund ist es wichtig, deine Datei auf Fehler zu \u00fcberpr\u00fcfen. Zum Beispiel, wie unten gesehen, hatte unsere Datei einen unsichtbaren Charakter und Google beschwert sich dar\u00fcber, dass die Syntax nicht verstanden wird. Dadurch wird die erste Zeile unserer Datei robots.txt insgesamt ung\u00fcltig, was nicht gut ist! Glenn Gabe hat einen ausgezeichneten Artikel dar\u00fcber verfasst, wie eine UTF-8 Bom deine SEO t\u00f6ten k\u00f6nnte<\/a>.<\/p>\n![\"UTF-8](\"https:\/\/staging.kinsta.site\/de\/wp-content\/uploads\/sites\/5\/2017\/10\/utf-bom-deiner-robots-txt-datei.png\" "\\"UTF-8")
UTF-8 BOM in deiner robots.txt-Datei<\/figcaption><\/figure>\nGooglebot ist haupts\u00e4chlich in den USA ans\u00e4ssig<\/h3>\n
Es ist auch wichtig, den Googlebot nicht aus den Vereinigten Staaten zu blockieren, auch wenn du eine lokale Region au\u00dferhalb der Vereinigten Staaten anvisierst. Sie crawlen manchmal lokal, aber der Googlebot l\u00e4uft meist in den USA<\/strong>.<\/p>\n\nGooglebot is mostly US-based, but we also sometimes do local crawling. https:\/\/t.co\/9KnmN4yXpe<\/a><\/p>\n— Google Search Central (@googlesearchc) November 13, 2017<\/a><\/p><\/blockquote>\n
Dieser „teilnehmende“ Teil ist jedoch wichtig. Robots.txt kann einen Bot nicht zwingen, seinen Anweisungen zu folgen. Und b\u00f6sartige Bots k\u00f6nnen und werden die Datei robots.txt ignorieren. Dar\u00fcber hinaus ignorieren selbst seri\u00f6se Unternehmen einige Befehle, die man in Robots.txt eingeben kann. Google ignoriert beispielsweise alle Regeln<\/a>, die du zu deiner robots.txt hinzuf\u00fcgst, um festzustellen, wie oft die Crawler die Webseite besuchen. Wenn du viele Probleme mit Bots hast, kann sich eine Sicherheitsl\u00f6sung wie Cloudflare<\/a> oder Sucuri<\/a> als n\u00fctzlich erweisen.<\/p>\n F\u00fcr die meisten Webmaster lassen sich die Vorteile einer gut strukturierten robots.txt-Datei auf zwei Kategorien reduzieren:<\/p>\n Robots.txt ist kein narrensicherer Weg, um zu kontrollieren, welche Seiten von Suchmaschinen indiziert werden. Wenn dein Hauptziel darin besteht, zu verhindern, dass bestimmte Seiten in die Suchmaschinenergebnisse aufgenommen werden, ist der richtige Ansatz die Verwendung eines Meta Noindex-Tags<\/a> oder einer anderen \u00e4hnlich direkten Methode.<\/p>\n Dies liegt daran, dass Robots.txt Suchmaschinen nicht direkt sagt, dass sie Inhalte nicht indizieren sollen – es sagt ihnen nur, dass sie sie nicht crawlen sollen. W\u00e4hrend Google die markierten Bereiche nicht \u00fcber deine Webseite durchsucht, erkl\u00e4rt Google selb<\/a>st, dass, wenn eine externe Webseite auf eine Seite verweist, die du mit deiner Datei Robots.txt ausschlie\u00dfen wolltest, Google diese Seite trotzdem indizieren k\u00f6nnte.<\/p>\n John Mueller, ein Google Webmaster Analyst, hat auch best\u00e4tigt, dass, wenn eine Seite Links hat, die auf sie verweisen, auch wenn sie von robots.txt blockiert wird, trotzdem indiziert werden kann<\/a>. Unten ist, was er in einem Webmaster Central Treffpunkt zu sagen hatte:<\/p>\n Eine Sache, die man hier vielleicht beachten sollte, ist, dass, wenn diese Seiten durch robots.txt blockiert werden, es theoretisch passieren kann, dass jemand zuf\u00e4llig auf eine dieser Seiten verweist. Und wenn sie das tun, dann k\u00f6nnte es passieren, dass wir diese URL ohne Inhalt indizieren<\/strong>, weil sie von robots.txt blockiert wird. Wir wissen also nicht, dass Sie diese Seiten nicht tats\u00e4chlich indiziert haben wollen.<\/p>\n Wenn sie jedoch nicht von robots.txt blockiert werden, k\u00f6nnen Sie auf diesen Seiten ein Noindex-Meta-Tag einf\u00fcgen. Und wenn jemand zuf\u00e4llig mit ihnen verlinkt, und wir zuf\u00e4llig diesen Link durchsuchen und denken, dass es hier vielleicht etwas N\u00fctzliches gibt, dann w\u00fcrden wir wissen, dass diese Seiten nicht indiziert werden m\u00fcssen, und wir k\u00f6nnen sie einfach von der vollst\u00e4ndigen Indizierung ausschlie\u00dfen.<\/p>\n Also, in dieser Hinsicht, wenn Sie etwas auf diesen Seiten haben, dass Sie nicht indiziert haben wollen, dann verbieten Sie es nicht, verwenden Sie stattdessen noindex<\/strong>.<\/p><\/blockquote>\n Standardm\u00e4\u00dfig erstellt WordPress automatisch eine virtuelle robots.txt-Datei f\u00fcr deine Webseite. Selbst wenn du also keinen Finger r\u00fchrst, sollte deine Webseite bereits die Standarddatei robots.txt haben. Du kannst testen, ob dies der Fall ist, indem du „\/robots.txt“ an das Ende deines Domainnamens anh\u00e4ngst. Beispielsweise wird unter „https:\/\/staging.kinsta.site\/robots.txt“ die Datei robots.txt angezeigt, die wir hier bei Kinsta verwenden:<\/p>\n Da diese Datei jedoch virtuell ist, kann man sie nicht bearbeiten. Wenn du deine robots.txt-Datei bearbeiten m\u00f6chtest, musst du tats\u00e4chlich eine physische Datei auf deinem Server erstellen, die du bei Bedarf bearbeiten kannst. Hier sind drei einfache M\u00f6glichkeiten, dies zu tun\u2026<\/p>\n Wenn Du das beliebte Yoast SEO-Plugin verwendest, kannst du deine robots.txt-Datei direkt von der Yoast-Schnittstelle aus erstellen (und sp\u00e4ter bearbeiten). Bevor du jedoch darauf zugreifen kannst, musst du die erweiterten Funktionen von Yoast SEO aktivieren, indem du auf SEO \u2192 Dashboard \u2192 Features<\/strong> gehst und auf Advanced settings pages<\/strong> umschaltest:<\/p>\n Sobald das aktiviert ist, kannst du zu SEO \u2192 Tools<\/strong> gehen und auf File editor<\/strong> klicken:<\/p>\n Angenommen, man hat noch keine physische Robots.txt-Datei, gibt Yoast dir die M\u00f6glichkeit, die Datei robots.txt zu erstellen<\/strong>:<\/p>\n Und wenn man auf diese Schaltfl\u00e4che klickt, kann man den Inhalt der Datei Robots.txt direkt von derselben Oberfl\u00e4che aus bearbeiten:<\/p>\n W\u00e4hrend du weiterliest, werden wir mehr dar\u00fcber erfahren, welche Arten von Anweisungen in deine WordPress robots.txt-Datei eingef\u00fcgt werden sollen.<\/p>\n Wenn du das fast so popul\u00e4re All-in-One SEO Pack-<\/strong>Plugin verwendest, kannst du auch deine WordPress robots.txt-Datei direkt \u00fcber die Benutzeroberfl\u00e4che des Plugins erstellen und bearbeiten. Alles, was du tun musst, ist, zu All in One SEO \u2192 Feature Manager<\/strong> zu gehen und die Robots.txt<\/strong> Funktion zu aktivieren<\/strong>:<\/p>\n Dann kannst du deine Robots.txt-Datei verwalten, indem du zu All in One SEO \u2192 Robots.txt gehst<\/strong>:<\/p>\n Wenn man kein SEO-Plugin verwendet, das die Funktionalit\u00e4t robots.txt bietet, kann man seine robots.txt-Datei trotzdem \u00fcber SFTP erstellen und verwalten. Verwende zun\u00e4chst einen beliebigen Texteditor, um eine leere Datei namens „robots.txt“ zu erstellen:<\/p>\n Verbinde dich dann per SFTP mit deiner Website<\/a> und lade diese Datei in den Stamm<\/strong>ordner deiner Webseite hoch. Du kannst weitere \u00c4nderungen an deiner Datei robots.txt vornehmen, indem du sie per SFTP bearbeitest oder neue Versionen der Datei hochl\u00e4dst.<\/p>\n Ok, jetzt hast du eine physische robots.txt-Datei auf deinem Server, die du bei Bedarf bearbeiten kannst. Aber was machst du eigentlich mit dieser Datei? Nun, wie du im ersten Abschnitt gelernt hast, kannst du mit robots.txt steuern, wie Roboter mit deiner Webseite interagieren. Das machst du mit zwei Kernbefehlen:<\/p>\n Es gibt auch den Befehl Zulassen<\/strong>, den du in Nischensituationen verwenden kannst. Standardm\u00e4\u00dfig ist alles auf deiner Webseite mit Zulassen<\/strong> markiert, so dass es nicht notwendig ist, den Befehl Zulassen<\/strong> in 99% der F\u00e4lle zu verwenden. Aber es ist n\u00fctzlich, wenn du den Zugriff auf einen Ordner und seine Unterordner Verbieten<\/strong> m\u00f6chtest, aber den Zugriff auf einen bestimmten Unterordner jedoch Zulassen m\u00f6chtest.<\/p>\n Du f\u00fcgst Regeln hinzu, indem du zuerst angibst, auf welchen User-Agent<\/strong> sich die Regel beziehen soll, und dann mit Verbieten<\/strong> und Zulassen<\/strong> auff\u00fchrst, welche Regeln gelten sollen. Es gibt auch einige andere Befehle wie Crawl-Delay<\/strong> und Sitemap<\/strong>, aber diese sind:<\/p>\n Lass uns einige konkrete Anwendungsf\u00e4lle durchgehen, um dir zu zeigen, wie das alles zusammenkommt.<\/p>\n Nehmen wir an, du m\u00f6chtest den gesamten<\/strong> Crawler-Zugang zu deiner Webseite blockieren. Dies ist auf einer Live-Site unwahrscheinlich, aber f\u00fcr eine Entwicklungs-Site ist es sehr n\u00fctzlich. Um das zu tun, w\u00fcrdest du diesen Code zu deiner WordPress robots.txt-Datei hinzuf\u00fcgen:<\/p>\n Was ist in diesem Code los?<\/p>\n Der *Stern<\/strong> neben dem User-Agenten<\/strong> bedeutet „alle User-Agenten“. Das Sternchen ist ein Platzhalter, d.h. es gilt f\u00fcr jeden einzelnen User-Agenten. Der \/slash<\/strong> neben Disallow<\/strong> sagt, dass du den Zugriff auf alle<\/strong> Seiten, die „yourdomain.com\/“ enthalten, verbieten m\u00f6chtest (was jede einzelne Seite auf deiner Webseite ist).<\/p>\n Lasst uns die Dinge \u00e4ndern. In diesem Beispiel werden wir so tun, als ob dir die Tatsache nicht gef\u00e4llt, dass Bing deine Seiten durchsucht. Du bist das ganze Team Google und willst nicht einmal, dass Bing sich deine Seite ansieht. Um allein<\/strong> Bing davon abzuhalten deine Seite zu durchsuchen, w\u00fcrdest du den Platzhalter *asterisk<\/strong> durch Bingbot<\/strong> ersetzen:<\/p>\n Im Wesentlichen besagt der obige Code, dass die Disallow<\/strong>-Regel nur<\/strong> auf Bots mit dem User-Agenten „Bingbot“<\/strong> angewendet werden soll. Nun, es ist unwahrscheinlich, dass man den Zugriff auf Bing blockieren m\u00f6chte – aber dieses Szenario ist n\u00fctzlich, wenn es einen bestimmten Bot gibt, den man nicht auf seine Webseite zugreifen lassen m\u00f6chte. Diese Seite hat eine gute Auflistung der meisten bekannten Benutzer-Agentennamen der Dienste.<\/p>\n F\u00fcr dieses Beispiel nehmen wir an, dass du nur den Zugriff auf eine bestimmte Datei oder einen bestimmten Ordner (und alle Unterordner dieses Ordners) blockieren m\u00f6chtest. Um dies auf WordPress anzuwenden, nehmen wir an, dass du folgendes blockieren m\u00f6chtest:<\/p>\n Du kannst die folgenden Befehle verwenden:<\/p>\n Ok, sagen wir jetzt, dass du einen ganzen Ordner blockieren willst, aber du willst trotzdem den Zugriff auf eine bestimmte Datei in diesem Ordner erlauben. An dieser Stelle kommt der Befehl Allow<\/strong> zum Einsatz. Und es ist eigentlich sehr hilfreich f\u00fcr WordPress. Tats\u00e4chlich veranschaulicht die Datei WordPress virtual robots.txt dieses Beispiel perfekt:<\/p>\n Dieses Snippet blockiert den Zugriff auf den gesamten Ordner \/wp-admin\/<\/strong> mit Ausnahme<\/strong> der Datei \/wp-admin\/admin-ajax.php<\/strong>.<\/p>\n Ein WordPress-spezifischer Optimierungsvorschlag, den du vielleicht vornehmen m\u00f6chtest, ist es, Suchmaschinen-Crawler davon abzuhalten, deine Suchergebnisseiten zu durchsuchen. Standardm\u00e4\u00dfig verwendet WordPress den Abfrageparameter „?s=“. Um den Zugriff zu blockieren, musst du also nur die folgende Regel hinzuf\u00fcgen:<\/p>\n Dies kann eine effektive M\u00f6glichkeit sein, auch Soft-404-Fehler<\/a> zu stoppen, wenn man welche erh\u00e4lt.\u00a0Stellen Sie sicher, dass Sie unsere ausf\u00fchrliche Anleitung zur Beschleunigung der WordPress-Suche<\/a> lesen.<\/p>\n Bislang haben sich alle Beispiele mit einer Regel nach der anderen besch\u00e4ftigt. Aber was ist, wenn du unterschiedliche Regeln auf verschiedene Bots anwenden willst? Man muss lediglich jedes Regelwerk unter der User-agent<\/strong> Deklaration f\u00fcr jeden Bot hinzuf\u00fcgen. Wenn du zum Beispiel eine Regel erstellen m\u00f6chtest, die f\u00fcr alle Bots<\/strong> gilt und eine andere Regel, die nur f\u00fcr Bingbot<\/strong> gilt, kannst du es so machen:<\/p>\n In diesem Beispiel werden alle Bots<\/strong> f\u00fcr den Zugriff auf \/wp-admin\/ gesperrt, w\u00e4hrend Bingbot<\/strong> f\u00fcr den Zugriff auf deine gesamte Webseite gesperrt wird.<\/p>\n Du kannst deine WordPress robots.txt-Datei in der Google Search Console<\/a> testen, um sicherzustellen, dass sie korrekt eingerichtet ist. Klicke einfach auf deine Seite und unter „Crawl“ auf „robots.txt Tester“. Man kann dann jede beliebige URL, einschlie\u00dflich der Homepage, einreichen. Du solltest ein gr\u00fcnes Zugelassen<\/strong> sehen, wenn alles durchsuchbar ist (gecrawled werden kann). Du kannst auch URLs testen, die du blockiert hast, um sicherzustellen, dass sie tats\u00e4chlich blockiert und\/oder Verboten<\/strong> sind.<\/p>\n BOM steht f\u00fcr Byte-Order-Mark und ist im Grunde genommen ein unsichtbares Zeichen, das manchmal von alten Texteditoren und dergleichen zu Dateien hinzugef\u00fcgt wird. Wenn dies mit deiner robots.txt-Datei passiert, liest Google sie m\u00f6glicherweise nicht richtig. Aus diesem Grund ist es wichtig, deine Datei auf Fehler zu \u00fcberpr\u00fcfen. Zum Beispiel, wie unten gesehen, hatte unsere Datei einen unsichtbaren Charakter und Google beschwert sich dar\u00fcber, dass die Syntax nicht verstanden wird. Dadurch wird die erste Zeile unserer Datei robots.txt insgesamt ung\u00fcltig, was nicht gut ist! Glenn Gabe hat einen ausgezeichneten Artikel dar\u00fcber verfasst, wie eine UTF-8 Bom deine SEO t\u00f6ten k\u00f6nnte<\/a>.<\/p>\n Es ist auch wichtig, den Googlebot nicht aus den Vereinigten Staaten zu blockieren, auch wenn du eine lokale Region au\u00dferhalb der Vereinigten Staaten anvisierst. Sie crawlen manchmal lokal, aber der Googlebot l\u00e4uft meist in den USA<\/strong>.<\/p>\n Googlebot is mostly US-based, but we also sometimes do local crawling. https:\/\/t.co\/9KnmN4yXpe<\/a><\/p>\n — Google Search Central (@googlesearchc) November 13, 2017<\/a><\/p><\/blockquote>\n<\/a>Warum solltest du dich um deine Robots.txt-Datei k\u00fcmmern?<\/h3>\n
\n
Robots.txt ist nicht spezifisch f\u00fcr die Kontrolle, welche Seiten in Suchmaschinen indiziert werden.<\/h3>\n
<\/a>So erstellst und bearbeitest du deine WordPress Robots.txt Datei<\/h2>\n
Wie man eine Robots.txt Datei mit der neuesten SEO erstellt und bearbeitet<\/h3>\n
Wie man eine Robots.txt-Datei mit All-in-One-SEO erstellt und bearbeitet<\/h3>\n
So erstellst und bearbeitest du eine Robots.txt-Datei per FTP<\/h3>\n
<\/a>Was du in deine Robots.txt-Datei einf\u00fcgen solltest<\/h2>\n
\n
\n
So verwendest du Robots.txt, um den Zugriff auf deine gesamte Webseite zu blockieren<\/h3>\n
User-agent: *\nDisallow: \/<\/code><\/pre>\nSo verwendest du Robots.txt, um einen einzelnen Bot am Zugriff auf deine Webseite zu hindern<\/h3>\n
User-agent: Bingbot\nDisallow: \/<\/code><\/pre>\nSo verwendest du Robots.txt, um den Zugriff auf einen bestimmten Ordner oder eine bestimmte Datei zu blockieren<\/h3>\n
\n
User-agent: *\nDisallow: \/wp-admin\/\nDisallow: \/wp-login.php<\/code><\/pre>\nSo verwendest du Robots.txt, um den Zugriff auf eine bestimmte Datei in einem nicht zugelassenen Ordner zu erlauben<\/h3>\n
User-agent: *\nDisallow: \/wp-admin\/\nAllow: \/wp-admin\/admin-ajax.php<\/code><\/pre>\nWie man Robots.txt verwendet, um Bots vom Crawling von WordPress Suchergebnissen zu stoppen<\/h3>\n
User-agent: *\nDisallow: \/?s=\nDisallow: \/search\/<\/code><\/pre>\nSo erstellst du unterschiedliche Regeln f\u00fcr verschiedene Bots in Robots.txt<\/h3>\n
User-agent: *\nDisallow: \/wp-admin\/\nUser-agent: Bingbot\nDisallow: \/<\/code><\/pre>\n<\/a>Testen deiner Robots.txt-Datei<\/h2>\n
Vorsicht vor der UTF-8 BOM<\/h3>\n
Googlebot ist haupts\u00e4chlich in den USA ans\u00e4ssig<\/h3>\n
\n