Ich nage gerade an dem Problem, dass ich auf einer Kunden-Website irgendwie per robots.txt-Datei verhindern soll, dass Google den Session-Parameter in der URL der Websiten spidert. Auf der Website ist dieser Parameter längst Geschichte, aber von irgendwoher bekommt der google-Bot noch die alten Links und indiziert die gleiche Seite mehrfach, weil eben unterschiedliche Session-IDs in den Links stehen. Das ist überflüssig und auch nicht so gut für das Ranking der Seite. Und das wiederum gefällt dem Kunden nicht.

Während der Recherche im Web, was es da so alles an Möglichkeiten gibt, bin ich auch auf die robots.txt Datei ...