Die meisten erfahrenen Blogger wissen sicherlich, was robots.txt ist und warum Sie diese Datei benötigen. Aber nur wenige Autoren beeilen sich sofort, eine robots.txt-Datei zu erstellen, nachdem sie einen Blog auf WordPress installiert haben.
Robots.txt ist eine Textdatei, die in das Stammverzeichnis Ihrer Website hochgeladen wird und Anweisungen für Crawler enthält. Der Hauptzweck seiner Verwendung besteht darin, die Indexierung einzelner Seiten und Abschnitte der Website zu verhindern. Mit robots.txt können Sie jedoch auch den richtigen Domain-Mirror angeben, den Pfad zur Sitemap vorschreiben und dergleichen.
Die meisten modernen Suchmaschinen haben gelernt, gut durch das beliebte CMS zu navigieren und versuchen in der Regel nicht, Inhalte zu indizieren, die nicht dafür gedacht sind. Google indiziert beispielsweise Ihren WordPress-Blog-Admin-Bereich nicht, auch wenn Sie ihn nicht direkt in robots.txt angeben. In einigen Fällen kann die Verwendung direkter Verbote jedoch dennoch sinnvoll sein. Und wir reden in erster Linie über das Verbot von Duplicate Content.
Einige Webmaster verbieten die Indexierung von Kategorie- und Tag-Seiten, da deren Inhalt teilweise den Inhalt der Hauptseite dupliziert. Die meisten beschränken sich jedoch darauf, Trackback- und Feed-Seiten zu verbieten, die Artikelinhalte vollständig duplizieren und überhaupt nicht für Suchmaschinen gedacht sind. Eine solche Vorsichtsmaßnahme wird nicht nur die Ergebnisse der Site "sauberer" machen, sondern Sie auch vor möglichen Suchfiltern bewahren, insbesondere nach der Einführung des neuen Google Panda-Algorithmus.
Hier sind die empfohlenen Anweisungen für eine robots.txt-Datei (sie funktioniert für fast jeden WordPress-Blog):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Bitte beachten Sie, dass in der robots.txt die administrativen Ordner wp-admin und wp-includes für die Indexierung komplett geschlossen sind. Der Ordner wp-content ist nur teilweise geschlossen, da er das Uploads-Verzeichnis enthält, das alle Bilder aus Ihrem Blog enthält, die indiziert werden sollen.
Sie müssen lediglich die Anweisungen aus dem obigen Code kopieren (beachten Sie, dass jede Anweisung in eine neue Zeile geschrieben werden muss), sie in einer Textdatei namens robots.txt speichern und in das Stammverzeichnis Ihrer Site hochladen.
Sie können jederzeit über die Google Webmaster-Tools und die Yandex Webmaster-Schnittstellen überprüfen, ob robots.txt korrekt funktioniert.
