Seite 1 von 1

Google ignoriert robots.txt?

Verfasst: 16. Jun 2008 16:51
von schwedenhoerbi
Wie kann das angehen:

http://www.google.de/search?hl=de&q=sit ... uche&meta=" target="_blank

Im Hauptverzeichnis steht eine robots.txt mit folgendem Inhalt:

# Ganze Site für alle Robots sperren
User-agent: *
Disallow: /

Oder gilt das nicht für Unterseiten?

Gruß
Sven

Re: Google ignoriert robots.txt?

Verfasst: 16. Jun 2008 17:41
von collection23
http://www.google.de/support/webmasters ... topic=8459

Deine robots.txt ist demnach richtig, ich würde aber sicherheitshalber noch den Googlebot direkt ansprechen:

User-agent: Googlebot
Disallow: /

User-agent: *
Disallow: /

_________________
Irgendwann könnt Ihr Designer-Geldbörsen von Zoom bei mir kaufen

Re: Google ignoriert robots.txt?

Verfasst: 16. Jun 2008 17:49
von gegangen
Ich würde das rausmachen. Das disallow halte ich für gefährlich. Scheinbar schaut Google dann nach dem Motto "das darf ich sowieso nicht" gar nicht mehr hin.
Bei meinem Blog hatte ich disallow drin. Bis der von Google wieder indiziert wurde, hat es 3 Monate gedauert.

Lieber einen Verzeichnisschutz drauflegen oder dort eine Startseite mit Inhalten als Googlefutter drauf und die Entwicklung auf eine Subdomain legen.

Re: Google ignoriert robots.txt?

Verfasst: 17. Jun 2008 01:13
von schwedenhoerbi
Ich hatte die robots.txt erst ca. drei Tage nach "Eröffnung" des Testshops angelegt. Ich habe den Eindruck dass Google diese Seiten sehr schnell entdeckt hat und die Indizierung aus diesen drei Tagen stammt. Darauf hin deutet auch, dass alle Seiten mit "domain.de" indiziert sind.
Wenn Google diese Seiten nun gar nicht mehr besucht ist das auch nicht schlimm, denn produktiv online gehen werde ich unter einer anderen URL.

Gruß
Sven

Re: Google ignoriert robots.txt?

Verfasst: 17. Jun 2008 01:47
von gegangen
Google hat Seiten aus diesem Forum in wenigen Stunden im Index.
Da reicht ein Link auf Deinen Shop und Google krallt sich den.

Ich hatte bei meiner Baustelle nach wenigen Tagen einen Verkauf. Wieso ein Kunde auf einem Schrottplatz kauft, verstehe ich nicht. Der gekaufte Artikel war aber im Google-Index.