Seit ca. einer Woche greift ein Bot aus Boardman in den USA auf meine Seite zu.
Er öffnet immer nur eine Seite und ist dann gleich wieder wieder weg, um sofort mit einer anderen IP eine weitere Seite zu öffnen.
Habe gelesen, dass dies ein gutes Mittel der Konkurrenz ist, um Seiten bei Google abzuwerten! Wenn Besucher nur eine Seite besuchen, dann ist die Seite (laut Google Richtlinien) uninteressant. Google wertet die Seite ab.
Wie kann man den Bot stoppen oder blockieren?
Wie blocke ich einen Bot aus Boardman/USA
Re: Wie blocke ich einen Bot aus Boardman/USA
So ganz einfach geht es leider nicht. Du kannst bestommte Dinge in der robots.txt und in der .htaccess Datei festlegen.
Das Ding ist aber, das bad bots diese Einstellungen ignorieren oder umgehen, da sie nicht nur die IP, sondern auch den user agent maskieren und sich somit als normaler Browser ausgeben können.
Wenn du aber einen bestimmten user agent immer wieder siehst, kannst du den direkt blocken und auf eine 403 Fehlerseite leiten.
Hostest du mit appache oder nginx, oder gar iis unter Windows? Da sind die Methoden zum Blocken nämlich jeweils leicht unterschiedlich. Am besten du erfragst das bei deiem Hostingprovider, ob er dir helfen kann
Das Ding ist aber, das bad bots diese Einstellungen ignorieren oder umgehen, da sie nicht nur die IP, sondern auch den user agent maskieren und sich somit als normaler Browser ausgeben können.
Wenn du aber einen bestimmten user agent immer wieder siehst, kannst du den direkt blocken und auf eine 403 Fehlerseite leiten.
Hostest du mit appache oder nginx, oder gar iis unter Windows? Da sind die Methoden zum Blocken nämlich jeweils leicht unterschiedlich. Am besten du erfragst das bei deiem Hostingprovider, ob er dir helfen kann
-
- Beiträge: 2605
- Registriert: 9. Jun 2013 08:42
- Land: Deutschland
- Kontaktdaten:
Re: Wie blocke ich einen Bot aus Boardman/USA
Such mal ein bisschen bei Google. Ich konnte nur auf die Schnelle schauen, man sagt dort, der Bot käme von Amazon. Kann ich aber natürlich nicht prüfen: http://techwhet.jduy.com/2014/09/google ... r-out.html
Das beantwortet jetzt Deine Frage nicht, aber wirft vielleicht die neue Frage auf, ob Du ihn blocken willst.
Das beantwortet jetzt Deine Frage nicht, aber wirft vielleicht die neue Frage auf, ob Du ihn blocken willst.
Die Arbeit läuft Dir nicht davon, wenn Du Deinem Kind den Regenbogen zeigst. Aber der Regenbogen wartet nicht, bis Du mit der Arbeit fertig bist. Chinesisches Sprichwort
Kinderbücher nach Alter | Malvorlagen für Kinder und Erwachsene | Zitate über Kinder
Kinderbücher nach Alter | Malvorlagen für Kinder und Erwachsene | Zitate über Kinder
Re: Wie blocke ich einen Bot aus Boardman/USA
Dass da kein natürliches Surfverhalten dahinter steckt, weiß auch Google und ignoriert solche Aufrufe für das Ranking. Wenn es dich stört und du einen eigenen Server hast, dann sperre den IP-Bereich in der Firewall. Wenn du nur Shared-Hosting hast, dann sperre den IP-Bereich in der htaccess.
Das wird auch nicht Amazon selbst sein, sondern jemand nutzt einfach die Mietserver von Amazon um Angebote zu crawlen, z.B. eine Preisvergleichsseite oder ein Repricer.
Das wird auch nicht Amazon selbst sein, sondern jemand nutzt einfach die Mietserver von Amazon um Angebote zu crawlen, z.B. eine Preisvergleichsseite oder ein Repricer.
-
- Beiträge: 99
- Registriert: 11. Jul 2016 14:01
Re: Wie blocke ich einen Bot aus Boardman/USA
Ripe hat ein Dokument, wo (fast) alle IPs aufgelistet sind, wem sie gehören und in welchem Land sie registriert wurden:
https://ftp.ripe.net/ripe/stats/members ... oclist.txt
Daraus kann man sich interessante Ausschlusslisten bauen.
https://ftp.ripe.net/ripe/stats/members ... oclist.txt
Daraus kann man sich interessante Ausschlusslisten bauen.
Re: Wie blocke ich einen Bot aus Boardman/USA
danke für Eure Antworten!
@ qds
Ich werde mich wohl an meinen Hoster wenden - der Server läuft auf nginx
Den User kann ich nicht blocken, da er ja immer neue IP Adressen hat und nur der Ort von wo aus er uns besucht ist immer der gleiche.
@ buysellonline
Diese Seite hatte ich auch schon entdeckt.
@xmerchant
Wenn Google dieses Surfverhalten (und den Bot der dahintersteckt) erkennen kann, dann ist es ja auch nicht vonnöten den IP-Bereich zu sperren.
ich schaue es mir noch dieses Wochenende an und werde mit meinem Hoster sprechen.
@heinzfriedrich
die IP 54.245.178.145 ist nicht gelistet.
@ qds
Ich werde mich wohl an meinen Hoster wenden - der Server läuft auf nginx
Den User kann ich nicht blocken, da er ja immer neue IP Adressen hat und nur der Ort von wo aus er uns besucht ist immer der gleiche.
@ buysellonline
Diese Seite hatte ich auch schon entdeckt.
@xmerchant
Wenn Google dieses Surfverhalten (und den Bot der dahintersteckt) erkennen kann, dann ist es ja auch nicht vonnöten den IP-Bereich zu sperren.
ich schaue es mir noch dieses Wochenende an und werde mit meinem Hoster sprechen.
@heinzfriedrich
die IP 54.245.178.145 ist nicht gelistet.
Re: Wie blocke ich einen Bot aus Boardman/USA
Mit diesen IPs aus den USA wurde gestern Abend innerhalb einer halben Stunde der Shop besucht:
34.209.27.239
54.245.178.145
34.220.116.194
54.191.147.48
54.187.15.79
54.245.176.152
34.217.35.222
54.213.114.104
34.220.7.243
54.202.19.146
34.215.222.116
34.220.136.77
54.68.112.112
54.218.50.29
34.208.12.1
34.220.80.20
52.37.59.12
52.10.147.45
18.236.233.10
34.209.27.239
54.245.178.145
34.220.116.194
54.191.147.48
54.187.15.79
54.245.176.152
34.217.35.222
54.213.114.104
34.220.7.243
54.202.19.146
34.215.222.116
34.220.136.77
54.68.112.112
54.218.50.29
34.208.12.1
34.220.80.20
52.37.59.12
52.10.147.45
18.236.233.10
-
- Beiträge: 99
- Registriert: 11. Jul 2016 14:01
Re: Wie blocke ich einen Bot aus Boardman/USA
Die IP 54.245.178.145 gehört zu:
NetRange: 54.240.0.0 - 54.255.255.255
CIDR: 54.240.0.0/12
NetName: AMAZON-2011L
NetHandle: NET-54-240-0-0-1
Parent: NET54 (NET-54-0-0-0-0)
NetType: Direct Allocation
OriginAS: AS16509
Organization: Amazon Technologies Inc. (AT-88-Z)
RegDate: 2011-12-09
Updated: 2012-04-02
Ref: https://whois.arin.net/rest/net/NET-54-240-0-0-1
NetRange: 54.240.0.0 - 54.255.255.255
CIDR: 54.240.0.0/12
NetName: AMAZON-2011L
NetHandle: NET-54-240-0-0-1
Parent: NET54 (NET-54-0-0-0-0)
NetType: Direct Allocation
OriginAS: AS16509
Organization: Amazon Technologies Inc. (AT-88-Z)
RegDate: 2011-12-09
Updated: 2012-04-02
Ref: https://whois.arin.net/rest/net/NET-54-240-0-0-1
Re: Wie blocke ich einen Bot aus Boardman/USA
Ich finde es auch interessant, dass auf dem Screenshot als Browser Safari angezeigt wird (wenn meine Augen mich nicht täuschen), das OS aber Linux ist.
Also entweder verwendet da einer wine oder Emulatoren, da Safari nicht nativ unter Linux läuft, oder einen user agent changer. Beides wäre doch recht komisch... Oder dein Analytics ist verwirrt, weil es den bot nicht kennt (ist aber eher unwahrscheinlich...)
So viele Besuch innerhalb einer Stunde sind auch nicht normal, da hast du volkommen recht.
P.S.: User Agent ist etwas anderes als user
Also entweder verwendet da einer wine oder Emulatoren, da Safari nicht nativ unter Linux läuft, oder einen user agent changer. Beides wäre doch recht komisch... Oder dein Analytics ist verwirrt, weil es den bot nicht kennt (ist aber eher unwahrscheinlich...)
So viele Besuch innerhalb einer Stunde sind auch nicht normal, da hast du volkommen recht.
P.S.: User Agent ist etwas anderes als user
Re: Wie blocke ich einen Bot aus Boardman/USA
Der Spuk ist nun seit Sonntag vorbei! Der Bot hat scheinbar die Lust an uns verloren und ich hoffe, dass es so bleibt
-
- Information
-
Wer ist online?
Mitglieder in diesem Forum: 0 Mitglieder und 19 Gäste