Pinterest Crawler zwingt Server in die Knie

Vermeidung von Viren & Spam, Datenschutz, technische Absicherung
Antworten
bauti
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 1876
Registriert: 21. Dez 2014 15:48

Pinterest Crawler zwingt Server in die Knie

Wir hatten Samstag und Sonntag Probleme mit unserem Modified Shop. Die Ladezeiten waren extrem langsam, der Shop war kaum nutzbar.

Es hat leider etwas gedauert bis wir hilfreiche Unterstützung von Hosteurope erhalten haben.

Es gab anscheinend extrem viele Aufrufe:

Am Sonntag waren folgende IP´s sehr auffällig:
69185 54.236.1.13
84838 54.236.1.11
Diese 150.000 Aufrufe innerhalb von 24 Stunden waren Bots.

Hosteurope meinte dies könnte auf eine DDOS Attacke hindeuten. Die IP´s gehören aber anscheinend zum Pinterest-Crawler. Weswegen wir jetzt nicht glauben dass dies eine Attacke war sondern Pinterest uns da einfach maßlos überfordert hat. Wenn das wirklich so war ist das natürlich eine Frechheit von Pinterest.

Wir haben die IP´s dann durch folgende Anleitung von HE gesperrt. Da lief der Shop aber schon wieder halbwegs normal:
Unerwünschte Bots und DDOS Angriffe können ausgesperrt werden.

Es wäre beispielsweise möglich, die IP-Adresse mit folgendem Wert auszusperren .

Erstellen Sie dafür einfach eine .htaccess-Datei mit dem folgenden Inhalt:

<RequireAll>
Require all granted Require not ip 000.000.000.000 (IP des zu sperrenden) </RequireAll>

- Die Access-logs dazu finden Sie im KIS unter

Produktverwaltung - WebServer - Bautenbacher - Statistiken & Logfiles - Laufende ACCESS-Logfiles ansehen

- Laufendes Logfile anzeigen
Was ist eure Meinung? Kann dies wirklich die Ursache des Problems gewesen sein?

Pinterest nutzen wir aktiv. Wir erstellen von jedem Produktfoto manuell einen Pin. Falls dies jetzt nicht mehr funktioniert weil wir den Bot aussperren ist das natürlich auch schade. Vielleicht gibt es noch eine bessere Lösung als die Pinterest Bots komplett auszusperren.

Eine weitere Vermutung von Hosteurop war bezüglich 8746 Selbstaufrufen die es in den 24 Stunden gab
Hier haben wir den gleichen Fall, viel wichtiger sind hier aber die Aufrufe von der IPxxxxxxxx - Das sind Selbstaufrufe des Servers das können sein z.b. Cronjobs, backups oder updates des Backends.

Führt man zu viele Cronjobs auf einmal durch, kann auch das zum Ausfall des Server führen.
Die Cronjobs sind Aufrufe, die auch MySQL-Prozesse in der MYSQl Datenbank verursachen können.
Wir haben schon einige selbst programmierte oder umprogrammierte Export Skripts laufen. Die haben wir dann am Sonntag teilweise auch abgeschaltet. Ist natürlcih auch möglich dass da irgendwas ein Problem verursacht hat, ich stell mir vor dass ein Export in Dauerschleife festgehängt ist...

Wir tippen aber eher auf die Pinterest Bots...


3 Monate gratis Händlerbund
kreien
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 3617
Registriert: 5. Jul 2015 13:06
Land: Deutschland

Re: Pinterest Crawler zwingt Server in die Knie

Zum einen lässt sich das Ganze über eine robots.txt steuern, aber in die diesme Fall wäre es viel wichtiger mit Pinterest über das Problem zu sprechen und eine Lösung zu finden, schau mal hier: https://help.pinterest.com/de/business/ ... st-crawler.

Ich denke aber, dass euer Hoster selbst ein Teil des Probolems ist, das geht schon beim Kundenservice los.
bauti
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 1876
Registriert: 21. Dez 2014 15:48

Re: Pinterest Crawler zwingt Server in die Knie

Danke für deine Antwort und den Link.

Ich werde Pinterest schreiben...

Beim Kundenservice von HE hast du sicher recht. Mein Dienstleister welcher nötige Änderungen am Shop durchführt und sich um alles technische kümmert hat alle seine Kunden bei HE deshalb will er da nicht weg. Ich bin der anspruchsvollste Kunde meines Dienstleisters. Richtige Onlineshops die auch gut Umsatz machen, betreut er ansonsten nicht. Das ist sicher nicht ideal, aber es ist so gewachsen und er ist extrem zuverlässig und ich kann Ihn zu jeder Tag und Nachtzeit anrufen.

Wir werden noch auf ein besseres Paket bei HE wechseln. Das bringt zwar nichts beim Kundenservice aber mehr Serverleistung schadet sicher in solchen Fällen auch nicht..

HE hat auch noch folgende Sicherheitspakete erwähnt: https://www.hosteurope.de/sucuri-websit ... e-scanner/
Macht das Sinn?
Nachdem CDN (für 19,99 pro Monat im mittleren Paket enthalten) die Last auf mehrere Server Weltweit verteilt, könnte es bei zugriffen durch Bots aus den USA eigentlich auch Abhilfe schaffen. Oder bringt dies nichts da nur die wichtigsten Seiten gecached werden und wir eigentlich hauptsächlich Besucher aus dem deutschsprachigen Raum haben?
Benutzeravatar
arnego2
Beiträge: 477
Registriert: 6. Apr 2021 13:19
Land: Deutschland
Firmenname: Arnego2 LtD
Branche: Web & SEM
Kontaktdaten:

Re: Pinterest Crawler zwingt Server in die Knie

Sinn macht es von Hosteuropa wegzukommen.
Contabo VPS (8GB RAM 200GB Platz) €60 pro Jahr ist oft noch günstiger als die Komplett Pakete vieler Hoster.
bauti
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 1876
Registriert: 21. Dez 2014 15:48

Re: Pinterest Crawler zwingt Server in die Knie

Nachtrag zu der ganzen Sache:

es war sicher der Pinterestbot welcher die Schwierigkeiten verursachte. Ich habe einige male mit Pinterest hin und her geschrieben. Man kann in der Robot.txt einen Delay festlegen damit der Pinterestbot nach jedem Aufruf eine Pause macht. Normalerweise akzeptiert Pinterest nur Werte bis 1, also nach jedem Aufruf mindestens eine Sekunde Pause. Alles darüber wird wie 1 behandelt
Pinterest hat das bei uns aber auf 10 Sekunden geändert und mir dies per Mail bestätigt.

Der Eintrag in der robots.txt schaut so aus:
user-agent: Pinterestbot
Crawl-delay: 10
Die Sperre in der .htaccess haben wir wieder ausgenommen:
<RequireAll>
Require all granted
Require not ip 54.236.1.11
Require not ip 54.236.1.13
</RequireAll>
Und nun das Unglaubliche:
Pinterest ist das anscheinend alles egal, denn Heute gab es wieder das selbe Problem und der Server unseres Shops war wieder vom Pinterest Bot mit mehreren Aufrufen pro Sekunde überfordert.

Also haben wir die .htaccess wieder eingebaut...

edit: Eigentlich müsste ich Pinterest wegen dem entstandenen Schaden verklagen...
Flodders
Beiträge: 4
Registriert: 7. Okt 2021 19:57
Land: Deutschland
Firmenname: Anonym

Re: Pinterest Crawler zwingt Server in die Knie

Hallo,

wir hatten heute auch Besuch von den Pinterest Crawler Bot´s.

Die Bot´s brachten sogar unser recht leistungsstarken Web Server (24 Core, 128GB RAM, NVMe, Nginx + Redis Cache + Cloudflare + Objekt Storage) zum Stottern, bis hin zu Timeout beim schnellen Überprüfen der Logs ist uns gleich die IP aufgefallen und die Aufrufe in Millisekunden Takt von unterschiedlichem Shop URLs also Tausende Urls in kurzer Zeit. Sofort die IPs gesperrt, gegooglet und diesen Beitrag dazu gefunden, den Crawl-Delay eingestellt und nun scheint alles schön zu sein, zum Glück waren das bei uns 10-15Min gefühlte down Zeit.

Ich vermuten mal das liegt an der Pinterest Einstellung "Anreicherung von Metadata" die man beim Datenfeed Einpflegen noch Aktivieren kann, das Pinterest da mit Ihrer Monster Crawler Server vorbeikommt und Probieren am besten alles mit einmal zu kriegen ist echt ein Ding. Was nicht sein muss, wo ich sage welcher Entwickler hat da nicht nach gedacht.

Beschwerde E-Mail ist schon raus ob es jemand da Juckt keine Ahnung. Vermutlich nicht...




Legastheniker am Werk, hoffe, es ist nicht so schlimm.
Flodders
Beiträge: 4
Registriert: 7. Okt 2021 19:57
Land: Deutschland
Firmenname: Anonym

Re: Pinterest Crawler zwingt Server in die Knie

bauti hat geschrieben: 21. Sep 2021 12:13
Nachdem CDN (für 19,99 pro Monat im mittleren Paket enthalten) die Last auf mehrere Server Weltweit verteilt, könnte es bei zugriffen durch Bots aus den USA eigentlich auch Abhilfe schaffen. Oder bringt dies nichts da nur die wichtigsten Seiten gecached werden und wir eigentlich hauptsächlich Besucher aus dem deutschsprachigen Raum haben?
Ein CDN (content delivery network) speichert ja nur die statischen Inhalte wie Bilder, Java Scripte, HTML datein…usw. also alles Statische je nach Netzwerk es gibt auch reine Bilder CDN´s es hilft nicht, siehe meine Konfiguration im Post davor, bei uns war der Flaschenhals die Datenbank, auch wenn man alles teilweise im Cache hat (deswegen haben wir ja so viel RAM), werden Anfragen an die Datenbank gestellt.

Die eigentliche last also die Script Ausführung und die Datenbanken abfragen auf mehreren Servern zu verteilen würde nur mit ein Load Balancer gehen, aber das wäre für mich persönlich etwas Overkill.

Pinterest muss einfach auf das Verhalten Ihres Crawlers eingehen. Also schreibt eine Beschwerde, wenn ihr das merkt. Die sollen Geld bringen und nicht Verbrennen ;)

@arnego2

Mit ein Contabo VPS kann dir das auch passieren. Bin kein Fan von Billig Hosting und der Ratschlag na ja .. Man Leute Ihr wollt Geld verdienen dann holt euch kein 60€ im Jahr VPS Server. Das machen Kinder um Ihre klein Minecraft Gameserver zubetreiben.

Es kommt und fällt mit dem Supporter den man erwischt. In diesen Fall war der Supporter und die Aussage halt falsch und vermutlich vom Upselling Druck noch gesteuert.
Benutzeravatar
dlnkrg1511
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 190
Registriert: 22. Dez 2020 11:57
Land: Deutschland
Firmenname: Krieger Labs
Branche: Webentwicklung & E-Commerce Service
Kontaktdaten:

Re: Pinterest Crawler zwingt Server in die Knie

Flodders hat geschrieben: 8. Okt 2021 01:35
bauti hat geschrieben: 21. Sep 2021 12:13
Nachdem CDN (für 19,99 pro Monat im mittleren Paket enthalten) die Last auf mehrere Server Weltweit verteilt, könnte es bei zugriffen durch Bots aus den USA eigentlich auch Abhilfe schaffen. Oder bringt dies nichts da nur die wichtigsten Seiten gecached werden und wir eigentlich hauptsächlich Besucher aus dem deutschsprachigen Raum haben?
Ein CDN (content delivery network) speichert ja nur die statischen Inhalte wie Bilder, Java Scripte, HTML datein…usw. also alles Statische je nach Netzwerk es gibt auch reine Bilder CDN´s es hilft nicht, siehe meine Konfiguration im Post davor, bei uns war der Flaschenhals die Datenbank, auch wenn man alles teilweise im Cache hat (deswegen haben wir ja so viel RAM), werden Anfragen an die Datenbank gestellt.

Die eigentliche last also die Script Ausführung und die Datenbanken abfragen auf mehreren Servern zu verteilen würde nur mit ein Load Balancer gehen, aber das wäre für mich persönlich etwas Overkill.

Pinterest muss einfach auf das Verhalten Ihres Crawlers eingehen. Also schreibt eine Beschwerde, wenn ihr das merkt. Die sollen Geld bringen und nicht Verbrennen ;)

@arnego2

Mit ein Contabo VPS kann dir das auch passieren. Bin kein Fan von Billig Hosting und der Ratschlag na ja .. Man Leute Ihr wollt Geld verdienen dann holt euch kein 60€ im Jahr VPS Server. Das machen Kinder um Ihre klein Minecraft Gameserver zubetreiben.

Es kommt und fällt mit dem Supporter den man erwischt. In diesen Fall war der Supporter und die Aussage halt falsch und vermutlich vom Upselling Druck noch gesteuert.


Ich habe noch nie Probleme mit VPS gehabt. Es gibt viele Anbieter die auch unter 60 € sehr guten Support bieten und leistungsstarke Hardware. Man muss nur wissen, wo man suchen muss.
kreien
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 3617
Registriert: 5. Jul 2015 13:06
Land: Deutschland

Re: Pinterest Crawler zwingt Server in die Knie

Dass bereits ein Standard-Crawler einen Server in die Knie zwingt, ist ungewöhnlich und sollte als Warnsignal verstanden werden. Pinterest sorgt für gewöhnlich ja nicht täglich international für ernste Probleme. Ich würde den aktuellen Hoster als Teil des Problems sehen und mich diesbezüglich neu orientieren.

Das könnte auch zukünftig in anderer Hinsicht ein schlimmes Problem werden, nämlich dahingehend, dass Google seit dem letzten Core-Update den Ladezeiten des Servers erhebliche Bedeutung bei der Nutzerfreundlichkeit und damit schlussendlich dem Ranking zukommen lässt, vgl. https://developers.google.com/search/do ... experience.
Flodders
Beiträge: 4
Registriert: 7. Okt 2021 19:57
Land: Deutschland
Firmenname: Anonym

Re: Pinterest Crawler zwingt Server in die Knie

Also ich glaube, wenn bei euch der Crawler so kommt, wie es bei uns das der Fall war, würde es dir oder euch auch passieren, es kommt hier nicht auf den Hoster an.

Die Ladezeiten vom Shop sind Super und Google freut sich auch die Grünen Punkte beim pagespeed Inside anzuzeigen. Also mit dem Ranking hat es nicht zu tun. Der Pinterest Server ist einfach zu aggressiv eingestellt, wie schon geschrieben wurden, die URLs in Millisekunden Bereich aufgerufen, das macht nicht mal der Google Crawler und wir reden hier von Tausende von URLs unter einer Minute. Das haben wir noch nicht mal mit Fernsehwerbung hinbekommen. Klar kann man das anscheint mit den Delay in der Robots.txt verhindern, nur macht sich da erst die Gedanken, wenn es so weit ist :-)
Benutzeravatar
arnego2
Beiträge: 477
Registriert: 6. Apr 2021 13:19
Land: Deutschland
Firmenname: Arnego2 LtD
Branche: Web & SEM
Kontaktdaten:

Re: Pinterest Crawler zwingt Server in die Knie

Flodders hat geschrieben: 8. Okt 2021 01:35
@arnego2

Mit ein Contabo VPS kann dir das auch passieren. Bin kein Fan von Billig Hosting und der Ratschlag na ja .. Man Leute Ihr wollt Geld verdienen dann holt euch kein 60€ im Jahr VPS Server. Das machen Kinder um Ihre klein Minecraft Gameserver zubetreiben.
Der Support ist oft teurer als die hardware.

Kleine Seiten die Filme hosten sind bei Contabo gut bedient. IMHO besser als bei Hosteuropa. Auch Shops laufen auf dem 8gb Ram VPS gut, auch hier besser als auf Alfahosting's Shared Hosting.

Günstige Server müssen nicht gleich schlecht sein. Geld und Preis sind für mich kein Qualitätsmerkmal. Für dich ja?
Wer einen Shop hat der schon ordentlich umsetzt sollte eher an Dedicated Server denken.
kreien hat geschrieben: 8. Okt 2021 12:47

Das könnte auch zukünftig in anderer Hinsicht ein schlimmes Problem werden, nämlich dahingehend, dass Google seit dem letzten Core-Update den Ladezeiten des Servers erhebliche Bedeutung bei der Nutzerfreundlichkeit und damit schlussendlich dem Ranking zukommen lässt, vgl. https://developers.google.com/search/do ... experience.
Ich würde Google nicht so viel Vertrauenszuschuss geben. Die SERPs sagen was anderes aus.
bauti
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 1876
Registriert: 21. Dez 2014 15:48

Re: Pinterest Crawler zwingt Server in die Knie

Flodders hat geschrieben: 8. Okt 2021 01:35 Ein CDN (content delivery network) speichert ja nur die statischen Inhalte wie Bilder, Java Scripte, HTML datein…usw. also alles Statische je nach Netzwerk es gibt auch reine Bilder CDN´s es hilft nicht, siehe meine Konfiguration im Post davor, bei uns war der Flaschenhals die Datenbank, auch wenn man alles teilweise im Cache hat (deswegen haben wir ja so viel RAM), werden Anfragen an die Datenbank gestellt.
Ich bin auch zu dem Schluss gekommen das es in dem Fall das CDN nichts hilft, auch wenn der Support etwas anderes sagte. Ich habe das Paket trotzdem genommen, vor allem weil ein extra Support dabei ist. Das Problem hätte bei uns ja auch innerhalb von 15min gelöst werden können, wenn der Supportler etwas Ahnung gehabt hätte. In Zukunft kann ich ein so gelagertes Problem zwar auch selbst lösen, aber es gibt ja auch zahlreiche andere mögliche Probleme...

Wir laden übrigens keinen Datenfeed oder ähnliches zu Pinterest hoch. Bei uns werden manuell neue Proukte per Browseradon gepinnt. Macht eine Verkäuferin bei Stehzeiten.
.. Hast du einen Link zu infos bezüglich Pintetest Datenfeed? Würde mich interessieren, falls ich mich dazu entschließe Pinterest trotzdem weiter zu nutzen.

Was mich wundert dass der Delay bei dir funktioniert und bei mir ignoriert wurde...

Wir haben bei Pagespeed von Google übrigens auch bis zu 99 Punkte beim Desktop, mobil etwas schlechter.
Flodders
Beiträge: 4
Registriert: 7. Okt 2021 19:57
Land: Deutschland
Firmenname: Anonym

Re: Pinterest Crawler zwingt Server in die Knie

bauti hat geschrieben: 8. Okt 2021 21:36 .. Hast du einen Link zu infos bezüglich Pintetest Datenfeed? Würde mich interessieren, falls ich mich dazu entschließe Pinterest trotzdem weiter zu nutzen.
Klar: https://help.pinterest.com/de/business/ ... h-catalogs

Vom Aufbau her eigentlich wie der Google Merchant Datenfeed. Also nichts Wildes.
Benutzeravatar
Xantiva
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 4047
Registriert: 22. Okt 2010 17:52
Land: Deutschland
Firmenname: Xantiva.de
Branche: Entwickler, aber auch selber Seller!
Kontaktdaten:

Re: Pinterest Crawler zwingt Server in die Knie

Was hilft es, ein VPS zu empfehlen, wenn man nicht weiß, was bisher genutzt wird. Bei einem einfachen, unmanaged VPS wird der Betreiber root Admin. Wer dann nicht weiß, dass er den Server erst mal absichern und die Datenbank, Webserver, etc. passend konfigurieren muss, ist mit so einem Paket auch nicht schneller geschweige denn sicher unterwegs.

Wer den Bot per htaccess aussperren soll, hat vermutlich nur ein shared Webhosting. Beim VPS würde man die IPs auch nicht erst per Webserver, sondern direkt per Firewall blockieren.
bauti
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 1876
Registriert: 21. Dez 2014 15:48

Re: Pinterest Crawler zwingt Server in die Knie

Kleines Update: Inzwischen habe ich auch das sucuri Sicherheitspaket. Hauptsächlich wegen dem Support. Der schlechte Support bzw. nicht ausreichendes Wissen von mir und meinem Dienstleister war ja der Grund für warum die Ausfallzeit so lange war.

Bei dem paket ist auch eine Firewall dabei. Ich könnte den Bot jetzt auch darüber aussperren. Bringt das Vorteile gegenüber htaccess?

Eigentlich möchte ich Pinterest ja nicht komplett aussperren sondern nur begrenzen. Ist so etwas über die Firewall nicht möglich? Der delay über die robott.txt bzw durch zusage von Pinterest funktioniert ja leider nicht..

Das CDN was auch dabei ist hat übrigens beim Google Pagespeed nochmals was gebracht. Am Desktop habe ich jetzt z.B. bei der Startseite sogar 100 Punkte. Mobile und andere Seiten sind auch nochmals besser.
Benutzeravatar
Xantiva
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 4047
Registriert: 22. Okt 2010 17:52
Land: Deutschland
Firmenname: Xantiva.de
Branche: Entwickler, aber auch selber Seller!
Kontaktdaten:

Re: Pinterest Crawler zwingt Server in die Knie

bauti hat geschrieben: 9. Okt 2021 15:15Bei dem paket ist auch eine Firewall dabei. Ich könnte den Bot jetzt auch darüber aussperren. Bringt das Vorteile gegenüber htaccess?
Ich sag' mal so: Du sperrst jetzt bereits am Gartentor und nicht erst an der Schranktür, nach dem der Aufruf bereits durchs Zimmer bzw. den Flur musste ;)
bauti
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 1876
Registriert: 21. Dez 2014 15:48

Re: Pinterest Crawler zwingt Server in die Knie

Bevor jetzt aufgrund von meinem Post jemand auch das surci Paket bei HE bucht: Es brachte zwar beim Pagespeed eine Verbesserung, aber leider hat es beim Warenkorb und beim logging Problemchen verursacht, und heute war sogar kurzfristig der Shop wieder nicht funktionstüchtig. Schuld war wohl das CDN oder die Firewall, oder beides, hängt ja zusammen...

Der Support war wieder nicht hilfreich, es gab zwar vorschläge für die Problemchen, aber warum zwischenzeitlich Seiten nicht abrufbar waren konnte nicht geklärt werden. Wir haben die TTL vom DNS Eintrag noch auf 10min eingestellt gehabt deshalb konnten wir die Firewall und damit das CDN schnell wieder abdrehen.
Also anstelle dass ich damit langfristig downzeit verhindern konnte, wurde dadurch kurzfristig downzeit ausgelöst...
Benutzeravatar
Xantiva
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 4047
Registriert: 22. Okt 2010 17:52
Land: Deutschland
Firmenname: Xantiva.de
Branche: Entwickler, aber auch selber Seller!
Kontaktdaten:

Re: Pinterest Crawler zwingt Server in die Knie

Hm, so etwas testet man aber vielleicht auch nicht das erste Mal direkt am Live-Shop, sondern eher mit einem Test-Shop, oder?
bauti
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 1876
Registriert: 21. Dez 2014 15:48

Re: Pinterest Crawler zwingt Server in die Knie

Da hast du sicherlich Recht...
Siverprours
Beiträge: 11
Registriert: 31. Aug 2021 08:01
Land: Deutschland
Firmenname: Aldes

Re: Pinterest Crawler zwingt Server in die Knie

Hi. Ich hatte ein ähnliches Problem und musste auch zu Pinterest. Es ist schade, dass sie Fragen nicht schnell beantworten, daher musste ich den Zugriff einschränken, um die Site mit zu crawlen

User-Agent: Pinterestbot
verbieten: / Verzeichnis1 /
erlauben: / Verzeichnis1 / Unterverzeichnis1 /
Antworten

Zurück zu „Internet-Sicherheit“

  • Information