Weiß jemand ob Inhalte von zugangsgeschützten Verzeichnisses per Standard von Google indiziert werden, der muss was in die robots.txt rein?

Laut meinen Wissensstand verhindert Dein Webserver ein Durchsuchen der Verzeichnisse, da die Suchmaschine nicht User / Passwort nennt.

Wenn ein Suchmaschinenspider in deine passwortgeschützten Bereiche kommen könnte, wäre der Schutz recht nutzlos. Schließlich gibt es auch frei verfügbare Private Spider, mit denen man fremde Seiten durchsuchen lassen kann.

Thanx !

Schließlich gibt es auch frei verfügbare Private Spider, mit denen man fremde Seiten durchsuchen lassen kann.

nur um mal einen zu nennen:

für den firefox gibt es eine erweiterung kostenlos zum download. nennt sich spiderzilla. ist ganz praktisch dann und wann.