SEOcial by mj

Die Robots.txt ist nicht wirklich schwer zu erstellen. Grundsätzlich möchte man ja das Google jede Seite bzw. jedes Verzeichnis spidert und so sieht die Robots.txt häufig gleich aus:

User-Agent: *
Allow: /

Sollte es doch vorkommen das man ein Verzeichnis vor den Spidern ausschliessen will so sieht das ganze so aus:

User-Agent: *
Disallow: /Verzeichnis
Allow: /

Google hat kürzlich in den Google Webmastertools den Robots.txt Generator veröffentlicht der es noch leichter macht als es schon war.

Der Generator erlaubt es grundsätzlich alle Spider für jedes Verzeichnis zu erlauben oder zu sperren. Als Default ist eingestellt das der Google Spider alles spidern darf was ihm unter die Finger kommt.
Weiterhin ist es möglich einzelne Bots für bestimmte Vedrzeichnisse oder Dateien auszuschliessen. Die Robots.txt wird dann einfach per klick erstellt, kann in eine Datei kopiert werden und dann auf den Server hochgeladen werden.

Ein wie ich finde kleines Feature das es leicht macht die Robots.txt zu erstellen, auch wenn es vorher schon geklappt hat. Für Webmaster die sich damit nicht 100%ig auskennen ist es sicher ein gutes Feature. Wenn die Robots.txt falsch ist kann man immer noch alles auf Google schieben.