Google ignoriert robots.txt?

Programmierung, Templatedesign & Codeschnipsel
Gesperrt
Benutzeravatar
schwedenhoerbi
Beiträge: 1653
Registriert: 5. Okt 2007 20:47
Land: Deutschland
Wohnort: Hamburg
Kontaktdaten:

Google ignoriert robots.txt?

Beitrag von schwedenhoerbi » 16. Jun 2008 16:51

Wie kann das angehen:

http://www.google.de/search?hl=de&q=sit ... uche&meta=

Im Hauptverzeichnis steht eine robots.txt mit folgendem Inhalt:

# Ganze Site für alle Robots sperren
User-agent: *
Disallow: /

Oder gilt das nicht für Unterseiten?

Gruß
Sven



Benutzeravatar
collection23
Beiträge: 2095
Registriert: 5. Okt 2007 20:55
Land: Deutschland
Firmenname: collection23
Kontaktdaten:

Re: Google ignoriert robots.txt?

Beitrag von collection23 » 16. Jun 2008 17:41

http://www.google.de/support/webmasters/bin/topic.py?topic=8459

Deine robots.txt ist demnach richtig, ich würde aber sicherheitshalber noch den Googlebot direkt ansprechen:

User-agent: Googlebot
Disallow: /

User-agent: *
Disallow: /

_________________
Irgendwann könnt Ihr Designer-Geldbörsen von Zoom bei mir kaufen

gegangen

Re: Google ignoriert robots.txt?

Beitrag von gegangen » 16. Jun 2008 17:49

Ich würde das rausmachen. Das disallow halte ich für gefährlich. Scheinbar schaut Google dann nach dem Motto "das darf ich sowieso nicht" gar nicht mehr hin.
Bei meinem Blog hatte ich disallow drin. Bis der von Google wieder indiziert wurde, hat es 3 Monate gedauert.

Lieber einen Verzeichnisschutz drauflegen oder dort eine Startseite mit Inhalten als Googlefutter drauf und die Entwicklung auf eine Subdomain legen.

Benutzeravatar
schwedenhoerbi
Beiträge: 1653
Registriert: 5. Okt 2007 20:47
Land: Deutschland
Wohnort: Hamburg
Kontaktdaten:

Re: Google ignoriert robots.txt?

Beitrag von schwedenhoerbi » 17. Jun 2008 01:13

Ich hatte die robots.txt erst ca. drei Tage nach "Eröffnung" des Testshops angelegt. Ich habe den Eindruck dass Google diese Seiten sehr schnell entdeckt hat und die Indizierung aus diesen drei Tagen stammt. Darauf hin deutet auch, dass alle Seiten mit "domain.de" indiziert sind.
Wenn Google diese Seiten nun gar nicht mehr besucht ist das auch nicht schlimm, denn produktiv online gehen werde ich unter einer anderen URL.

Gruß
Sven

gegangen

Re: Google ignoriert robots.txt?

Beitrag von gegangen » 17. Jun 2008 01:47

Google hat Seiten aus diesem Forum in wenigen Stunden im Index.
Da reicht ein Link auf Deinen Shop und Google krallt sich den.

Ich hatte bei meiner Baustelle nach wenigen Tagen einen Verkauf. Wieso ein Kunde auf einem Schrottplatz kauft, verstehe ich nicht. Der gekaufte Artikel war aber im Google-Index.

Gesperrt

Zurück zu „HTML, PHP, CSS, & Co.“