Ich nage gerade an dem Problem, dass ich auf einer Kunden-Website irgendwie per robots.txt-Datei verhindern soll, dass Google den Session-Parameter in der URL der Websiten spidert. Auf der Website ist dieser Parameter längst Geschichte, aber von irgendwoher bekommt der google-Bot noch die alten Links und indiziert die gleiche Seite mehrfach, weil eben unterschiedliche Session-IDs in den Links stehen. Das ist überflüssig und auch nicht so gut für das Ranking der Seite. Und das wiederum gefällt dem Kunden nicht.

Während der Recherche im Web, was es da so alles an Möglichkeiten gibt, bin ich auch auf die robots.txt Datei von google.com selbst gestossen und beim Anblick derselben musste ich gerade herzhaft lachen:

Die robots.txt Datei von google.com, Halloween-Edition?

Die robots.txt Datei von google.com, Halloween-Edition?

Ich habe keine Ahnung, ob das nur wegen des Halloween-Wochenendes drin ist, oder ob die bei google generell den Codekasper gefrühstückt haben - aber lustig ist es allemal, findet zumindestens der Nerd in mir.

Nachtrag

Mist, ich sehe gerade dass René wieder mal schneller war. Der Sack. Aber eigentlich klar, weil Nerd + Zombie Content... :-)
Lustig auch die korrekte Feststellung dort in den Kommentaren, dass die Suche nach "/brains" bei google ins Leere führt... Die Seite – www.google.com/brains – existiert nicht. Hähäh.