Es gibt Bereiche einer Webseite, die man zeitweise oder grundsätzlich aus Googles Suchergebnissen entfernen möchte. Dies ist zum Beispiel für private oder gar datenschutzrechtlich relevante Informationen und noch nicht fertig gestellte Seiten der Fall. Es gibt verschiedene Möglichkeiten Google mitzuteilen diese Bereiche nicht in den Suchergebnissen anzuzeigen.

Die robots.txt-Datei wird im Root-Verzeichnis der Webseite abgelegt und teilt den Googlebots und den Robots anderer Suchmaschinen mit, welche Bereiche nicht gecrawlt werden dürfen (mehr hierzu von Google und Wikipedia). Mithilfe der Webmaster-Tools lässt sich die robots.txt-Datei unkompliziert erstellen. Zudem besteht die Möglichkeit zu testen, ob sie richtig funktioniert. Hierzu können URLs eingegeben werden und auf ihre Erreichbarkeit überprüft werden.

Besteht kein Zugriff auf das Root-Verzeichnis des Webservers, so lässt sich auch direkt in der HTML-Datei mithilfe des „noindex“- Meta Tags festlegen welche Seiten nicht indexiert werden sollen (mehr hierzu von Google und robotstxt.org). Google wird die ausgeschlossenen Bereiche der Webseite nicht mehr in den Suchergebnissen anzeigen. Es besteht aber die Gefahr, dass sie durch Links von anderen Webseiten trotzdem im Index auftauchen. Zudem liefern andere Suchmaschinen wie Yahoo! und Bing bei diesem Vorgehen trotzdem die Links (ohne Snippet) in ihren Suchergebnissen.

Die Möglichkeit eine Seite zu erstellen, aber nirgendwo zu verlinken, ist der unzuverlässigste Weg diese vor Google zu verstecken. Auch der Weg über die robots.txt und die Meta Tags bietet durch einige Ausnahmefälle keinen hundertprozentigen Schutz vor einer Indexierung durch Google.

Der zuverlässigste Weg, Google den Zugriff auf Seiten zu verwehren, ist diese mit einem Passwort zu schützen. Außerdem bieten die Google Webmaster-Tools das sogenannte „URL Removal Tool“. Mithilfe dieses Tools lassen sich auch Bereiche, die Google bereits gecrawlt hat, nachträglich aus dem Index entfernen.

Einen Überblick über die verschiedenen Alternativen, um Teile einer Webseite vor dem Zugriff durch Suchmaschinen-Robots zu schützen, gibt Matt Cutts in einem englischsprachigen Video.

Lesen Sie mehr zu den Google Webmaster-Tools in unserem Blog:

Google Webmaster-Tools (Teil 1): Was ist das und wozu brauche ich diese Tools?

Google Webmaster Tools (Teil 3): Google und Sitelinks