Wie blocke ich einen Bot aus Boardman/USA

Vermeidung von Viren & Spam, Datenschutz, technische Absicherung
Antworten
costumes
Beiträge: 905
Registriert: 1. Jan 2013 13:48
Land: Deutschland
Wohnort: Berlin

Wie blocke ich einen Bot aus Boardman/USA

Seit ca. einer Woche greift ein Bot aus Boardman in den USA auf meine Seite zu.
Er öffnet immer nur eine Seite und ist dann gleich wieder wieder weg, um sofort mit einer anderen IP eine weitere Seite zu öffnen.
Habe gelesen, dass dies ein gutes Mittel der Konkurrenz ist, um Seiten bei Google abzuwerten! Wenn Besucher nur eine Seite besuchen, dann ist die Seite (laut Google Richtlinien) uninteressant. Google wertet die Seite ab.

Wie kann man den Bot stoppen oder blockieren?


3 Monate gratis Händlerbund
qds1
Beiträge: 553
Registriert: 30. Jun 2016 18:51

Re: Wie blocke ich einen Bot aus Boardman/USA

So ganz einfach geht es leider nicht. Du kannst bestommte Dinge in der robots.txt und in der .htaccess Datei festlegen.
Das Ding ist aber, das bad bots diese Einstellungen ignorieren oder umgehen, da sie nicht nur die IP, sondern auch den user agent maskieren und sich somit als normaler Browser ausgeben können.

Wenn du aber einen bestimmten user agent immer wieder siehst, kannst du den direkt blocken und auf eine 403 Fehlerseite leiten.

Hostest du mit appache oder nginx, oder gar iis unter Windows? Da sind die Methoden zum Blocken nämlich jeweils leicht unterschiedlich. Am besten du erfragst das bei deiem Hostingprovider, ob er dir helfen kann
buysellonline
Beiträge: 2605
Registriert: 9. Jun 2013 08:42
Land: Deutschland
Kontaktdaten:

Re: Wie blocke ich einen Bot aus Boardman/USA

Such mal ein bisschen bei Google. Ich konnte nur auf die Schnelle schauen, man sagt dort, der Bot käme von Amazon. Kann ich aber natürlich nicht prüfen: http://techwhet.jduy.com/2014/09/google ... r-out.html

Das beantwortet jetzt Deine Frage nicht, aber wirft vielleicht die neue Frage auf, ob Du ihn blocken willst.
Die Arbeit läuft Dir nicht davon, wenn Du Deinem Kind den Regenbogen zeigst. Aber der Regenbogen wartet nicht, bis Du mit der Arbeit fertig bist. Chinesisches Sprichwort

Kinderbücher nach Alter | Malvorlagen für Kinder und Erwachsene | Zitate über Kinder
xMerchant
Beiträge: 3472
Registriert: 24. Mär 2010 19:57
Land: Deutschland

Re: Wie blocke ich einen Bot aus Boardman/USA

Dass da kein natürliches Surfverhalten dahinter steckt, weiß auch Google und ignoriert solche Aufrufe für das Ranking. Wenn es dich stört und du einen eigenen Server hast, dann sperre den IP-Bereich in der Firewall. Wenn du nur Shared-Hosting hast, dann sperre den IP-Bereich in der htaccess.

Das wird auch nicht Amazon selbst sein, sondern jemand nutzt einfach die Mietserver von Amazon um Angebote zu crawlen, z.B. eine Preisvergleichsseite oder ein Repricer.
heinzfriedrich
Beiträge: 99
Registriert: 11. Jul 2016 14:01

Re: Wie blocke ich einen Bot aus Boardman/USA

Ripe hat ein Dokument, wo (fast) alle IPs aufgelistet sind, wem sie gehören und in welchem Land sie registriert wurden:

https://ftp.ripe.net/ripe/stats/members ... oclist.txt

Daraus kann man sich interessante Ausschlusslisten bauen.
costumes
Beiträge: 905
Registriert: 1. Jan 2013 13:48
Land: Deutschland
Wohnort: Berlin

Re: Wie blocke ich einen Bot aus Boardman/USA

danke für Eure Antworten!

@ qds
Ich werde mich wohl an meinen Hoster wenden - der Server läuft auf nginx
Den User kann ich nicht blocken, da er ja immer neue IP Adressen hat und nur der Ort von wo aus er uns besucht ist immer der gleiche.

@ buysellonline
Diese Seite hatte ich auch schon entdeckt.

@xmerchant
Wenn Google dieses Surfverhalten (und den Bot der dahintersteckt) erkennen kann, dann ist es ja auch nicht vonnöten den IP-Bereich zu sperren.
ich schaue es mir noch dieses Wochenende an und werde mit meinem Hoster sprechen.

@heinzfriedrich
die IP 54.245.178.145 ist nicht gelistet.
costumes
Beiträge: 905
Registriert: 1. Jan 2013 13:48
Land: Deutschland
Wohnort: Berlin

Re: Wie blocke ich einen Bot aus Boardman/USA

Mit diesen IPs aus den USA wurde gestern Abend innerhalb einer halben Stunde der Shop besucht:
34.209.27.239
54.245.178.145
34.220.116.194
54.191.147.48
54.187.15.79
54.245.176.152
34.217.35.222
54.213.114.104
34.220.7.243
54.202.19.146
34.215.222.116
34.220.136.77
54.68.112.112
54.218.50.29
34.208.12.1
34.220.80.20
52.37.59.12
52.10.147.45
18.236.233.10

Bild
heinzfriedrich
Beiträge: 99
Registriert: 11. Jul 2016 14:01

Re: Wie blocke ich einen Bot aus Boardman/USA

Die IP 54.245.178.145 gehört zu:

NetRange: 54.240.0.0 - 54.255.255.255
CIDR: 54.240.0.0/12
NetName: AMAZON-2011L
NetHandle: NET-54-240-0-0-1
Parent: NET54 (NET-54-0-0-0-0)
NetType: Direct Allocation
OriginAS: AS16509
Organization: Amazon Technologies Inc. (AT-88-Z)
RegDate: 2011-12-09
Updated: 2012-04-02
Ref: https://whois.arin.net/rest/net/NET-54-240-0-0-1
qds1
Beiträge: 553
Registriert: 30. Jun 2016 18:51

Re: Wie blocke ich einen Bot aus Boardman/USA

Ich finde es auch interessant, dass auf dem Screenshot als Browser Safari angezeigt wird (wenn meine Augen mich nicht täuschen), das OS aber Linux ist.

Also entweder verwendet da einer wine oder Emulatoren, da Safari nicht nativ unter Linux läuft, oder einen user agent changer. Beides wäre doch recht komisch... Oder dein Analytics ist verwirrt, weil es den bot nicht kennt (ist aber eher unwahrscheinlich...)

So viele Besuch innerhalb einer Stunde sind auch nicht normal, da hast du volkommen recht.

P.S.: User Agent ist etwas anderes als user :wink:
costumes
Beiträge: 905
Registriert: 1. Jan 2013 13:48
Land: Deutschland
Wohnort: Berlin

Re: Wie blocke ich einen Bot aus Boardman/USA

das ist ein Screenshot von Matomo (Piwik)
costumes
Beiträge: 905
Registriert: 1. Jan 2013 13:48
Land: Deutschland
Wohnort: Berlin

Re: Wie blocke ich einen Bot aus Boardman/USA

Der Spuk ist nun seit Sonntag vorbei! Der Bot hat scheinbar die Lust an uns verloren und ich hoffe, dass es so bleibt :)
Antworten

Zurück zu „Internet-Sicherheit“

  • Information