BLOCKEN: semalt.com best-seo-offer.com best-seo-solution.com

Programmierung, Templatedesign & Codeschnipsel
Benutzeravatar
Woody-HH
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 2622
Registriert: 29. Mär 2010 19:14
Land: Deutschland

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

Bevor Du Dir wieder die Erholung ruinierst:
Ich nutze seit Jahren ein Tool namens Spider-Trap: In die Seiten (Templates) wird ein - für normale User unsichtbarer - Link eingebaut, der das Programm triggert. Das Ding trägt die IP des Callers in die htaccess ein, einstellbar für wie lange. Menschen können durch Eingabe eines Captchas weitersurfen. Ausserdem gibt es eine Black- und eine Whitelist. Leider wird das Ding seit vielen Jahren nicht mehr weiterentwickelt - funktioniert aber noch zu meiner (laienhaften) Zufriedenheit.
Mir scheint, das Ding liegt recht nahe an Deiner Idee - oder täusche ich mich?


3 Monate gratis Händlerbund
Andre (KM)
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 6614
Registriert: 9. Mär 2009 22:46
Land: Deutschland

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

degraf hat geschrieben:Am besten direkt an den Anfang, oder?
Dann müssen die restlichen Filter gar nicht erst abgearbeitet werden.
Der Frage schließe ich mich an rauchen
Benutzeravatar
HHGAG
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 2337
Registriert: 21. Aug 2008 00:16
Land: Deutschland
Firmenname: H.H.G. AG (A.S.)
Kontaktdaten:

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

Andre (KM) hat geschrieben:
degraf hat geschrieben:Am besten direkt an den Anfang, oder?
Dann müssen die restlichen Filter gar nicht erst abgearbeitet werden.
Der Frage schließe ich mich an rauchen
ja
Ralf
Beiträge: 25617
Registriert: 5. Okt 2007 21:11

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

In einer Liste, die sequentiell abgearbeitet wird und nach einem Treffer keine weitere Verarbeitung erfolgt, sollten die Einträge mit der höchsten Trefferwahrscheinlichkeit am Anfang stehen.
"Das Leben wird nicht an der Anzahl unserer Atemzüge gemessen, sondern an den Momenten, die uns den Atem rauben." George Carlin
Andre (KM)
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 6614
Registriert: 9. Mär 2009 22:46
Land: Deutschland

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

btw: hatte jetzt über 1 Woche starke Probleme mit meiner Ladegeschwindigkeit, mich jetzt nach dem Serverumzug auch noch mal an meinen Hoster gewendet...dieser hat mich auf meine recht große .htaccess aufmerksam gemacht, diese habe ich nun auf das notwendigste koomprimiert (inkl. Referer-Spam) und zack....Ladegeschwindigkeit wieder 1a :daumenhoch:
buysellonline
Beiträge: 2605
Registriert: 9. Jun 2013 08:42
Land: Deutschland
Kontaktdaten:

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

Andre (KM) hat geschrieben:btw: hatte jetzt über 1 Woche starke Probleme mit meiner Ladegeschwindigkeit, mich jetzt nach dem Serverumzug auch noch mal an meinen Hoster gewendet...dieser hat mich auf meine recht große .htaccess aufmerksam gemacht, diese habe ich nun auf das notwendigste koomprimiert (inkl. Referer-Spam) und zack....Ladegeschwindigkeit wieder 1a :daumenhoch:
Was heisst denn in diesem Zusammenhang "recht groß"?
Die Arbeit läuft Dir nicht davon, wenn Du Deinem Kind den Regenbogen zeigst. Aber der Regenbogen wartet nicht, bis Du mit der Arbeit fertig bist. Chinesisches Sprichwort

Kinderbücher nach Alter | Malvorlagen für Kinder und Erwachsene | Zitate über Kinder
Benutzeravatar
schokoladentiger69
Beiträge: 2438
Registriert: 21. Nov 2009 13:56
Land: Deutschland

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

Und noch ne Frage zu diesen unerwünschten Zugriffen - die ich auch seit kurzem immer mal hab: Abgesehen von der "Spionage", ab wann wird das denn problematisch was Überlastung des Servers angeht. Gibts da nen Richtwert?

Und nur damit ich es richtig verstehe: Da steuert jemand bewusst den Bot auf meine Seite oder der kommt zufällig da vorbei? Sorry falls die Frage jetzt doof ist, aber ich hab (leider) keine Ahnung von so was (bösem bösem) :-)
Benutzeravatar
||CoDer||
Beiträge: 1740
Registriert: 1. Jun 2010 19:41
Land: Deutschland
Firmenname: doo!media
Branche: Konzept, Entwicklung, Template/Design, SEO, Sicherheit, Vermarktung & mehr
Kontaktdaten:

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

schokoladentiger69 hat geschrieben:Und noch ne Frage zu diesen unerwünschten Zugriffen - die ich auch seit kurzem immer mal hab: Abgesehen von der "Spionage", ab wann wird das denn problematisch was Überlastung des Servers angeht. Gibts da nen Richtwert?
Richtwert gibt es nicht direkt. Es ist immer abhängig davon, wie der Server konfiguriert ist, wieviel Rechenleistung deinem Hosting-Account zugeteilt wurde usw... Das ist vergleichbar mit der Frage: "Läuft Software oder Spiel XYZ flüssig auf meinem Rechner?" Es kommt immer auf den Rechner an. Es gibt Anbieter die ihren Kunden starke Server hinstellen und nicht so viele Kunden auf einen einzigen Server legen. Bei denen hält der Einzelne auch hartnäckige Crawler aus, die im Sekundentakt 10+ Aufrufe fahren. Es gibt aber auch "Billighoster" die 400+ Kunden auf einen Mini-Server klatschen. Dort gehst du schon bei 5+ Aufrufen pro Sekunde in die Knie. Ich hatte schon Leute die mich wegen "Angriffen" um Hilfe gebeten haben. Dort stellte sich heraus, dass der Google-Bot schon ausgereicht hat, um die Website offline gehen zu lassen. Hehehe...
schokoladentiger69 hat geschrieben: Und nur damit ich es richtig verstehe: Da steuert jemand bewusst den Bot auf meine Seite oder der kommt zufällig da vorbei? Sorry falls die Frage jetzt doof ist, aber ich hab (leider) keine Ahnung von so was (bösem bösem) :-)
Der Bot/Crawler kommt in dem Fall nicht einfach so. Es ist eine Webanwendung die von einem Anbieter bereitgestellt wird. Man kann dort eine beliebige Domain eingeben, den Bot dort alles durchforsten lassen und anschließend einen Bericht aufrufen, um Informationen in Bezug auf "SEO" zu erhalten. Es sind aber auch unzählige Spammer unterwegs, die Bots automatisch durchs Netz laufen lassen, um Adressen abzugreifen oder Schwachstellen für Spam-Gateways zu suchen. Semalt kommt aber - wie erwähnt - nicht einfach so, sondern nur durch aktiven Anstoß.
doo!media
- Service, Template/Design & SEO
- Offizieller Gambio Partner (Design, Sicherheit & Mehr)
- Sicherheitsüberprüfungen für Internetportale
Angebot anfordern | Persönliche Referenzen
Benutzeravatar
schokoladentiger69
Beiträge: 2438
Registriert: 21. Nov 2009 13:56
Land: Deutschland

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

||CoDer|| hat geschrieben: Der Bot/Crawler kommt in dem Fall nicht einfach so. Es ist eine Webanwendung die von einem Anbieter bereitgestellt wird. Man kann dort eine beliebige Domain eingeben, den Bot dort alles durchforsten lassen und anschließend einen Bericht aufrufen, um Informationen in Bezug auf "SEO" zu erhalten. Es sind aber auch unzählige Spammer unterwegs, die Bots automatisch durchs Netz laufen lassen, um Adressen abzugreifen oder Schwachstellen für Spam-Gateways zu suchen. Semalt kommt aber - wie erwähnt - nicht einfach so, sondern nur durch aktiven Anstoß.
Aber müsste man dann nicht sehen, welche Seiten durchgeforstet werden? Bei mir wird immer nur auf die Startseite zugegriffen...oder macht sich der Bot danach unsichtbar?
Sachen gibts...hab direkt mal Deine Anregung hier *dankedafür* an den Programmierer weiter gegeben...
Benutzeravatar
||CoDer||
Beiträge: 1740
Registriert: 1. Jun 2010 19:41
Land: Deutschland
Firmenname: doo!media
Branche: Konzept, Entwicklung, Template/Design, SEO, Sicherheit, Vermarktung & mehr
Kontaktdaten:

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

So... Hatte am Wochenende zwischendurch ein wenig Zeit:

Bild

Download kommt dann in Kürze. Werde dazu aber einen neuen Thread eröffnen, da das Ganze ja dann nicht nur mit Semalt zu tun haben wird. Man kann im Prinzip jegliche Bots, IP-Adressen und User-Agents aussperren. Das Ganze lässt sich dann auch noch fein für mehrere Portale, Server usw. nutzen, um möglichst viel Zeit und Arbeit zu sparen.

Mehr dazu dann wenn der DL verfügbar ist. Zeitgleich werde ich auch ein Video dazu hochladen und die Software ein wenig erklären.

Cheers! rauchen
doo!media
- Service, Template/Design & SEO
- Offizieller Gambio Partner (Design, Sicherheit & Mehr)
- Sicherheitsüberprüfungen für Internetportale
Angebot anfordern | Persönliche Referenzen
Benutzeravatar
HHGAG
PLUS-Mitglied
PLUS-Mitglied
Beiträge: 2337
Registriert: 21. Aug 2008 00:16
Land: Deutschland
Firmenname: H.H.G. AG (A.S.)
Kontaktdaten:

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

Hier ist ein Grundstock an Bots die Du mit aufnehmen kannst:

Code: Alles auswählen

    RewriteCond %{HTTP_USER_AGENT} ^asterias [OR]
    RewriteCond %{HTTP_USER_AGENT} ^BackDoorBot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^BackWeb [OR]
    RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Bandit [OR]
    RewriteCond %{HTTP_USER_AGENT} ^BatchFTP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
    RewriteCond %{HTTP_USER_AGENT} ^BlowFish [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
    RewriteCond %{HTTP_USER_AGENT} ^BotALot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Buddy [OR]
    RewriteCond %{HTTP_USER_AGENT} ^BuiltBotTough [OR]
    RewriteCond %{HTTP_USER_AGENT} ^CheeseBot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Collector [OR]
    RewriteCond %{HTTP_USER_AGENT} ^contype [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Copier [OR]
    RewriteCond %{HTTP_USER_AGENT} ^CopyRightCheck [OR]
    RewriteCond %{HTTP_USER_AGENT} ^cosmos [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Crescent [OR]
    RewriteCond %{HTTP_USER_AGENT} ^CrowdStrike\ ShellShock\ Scanner\/ [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Download\Wonder [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Downloader [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Drip [OR]
    RewriteCond %{HTTP_USER_AGENT} ^DTS\ Agent [OR]
    RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
    RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Foobot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
    RewriteCond %{HTTP_USER_AGENT} ^GetSmart [OR]
    RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
    RewriteCond %{HTTP_USER_AGENT} ^gotit [OR]
    RewriteCond %{HTTP_USER_AGENT} ^GornKer [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Grabber [OR]
    RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
    RewriteCond %{HTTP_USER_AGENT} Havij [OR]
    RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
    RewriteCond %{HTTP_USER_AGENT} ^humanlinks [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ia_archiver [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ichiro [OR]
    RewriteCond %{HTTP_USER_AGENT} ^iCCrawler [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Indy\ Library [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^InsurancoBot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^InfoNaviRobot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Iria [OR]
    RewriteCond %{HTTP_USER_AGENT} ^JennyBot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
    RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Kenjin\.Spider [OR]
    RewriteCond %{HTTP_USER_AGENT} ^lftp [OR]
    RewriteCond %{HTTP_USER_AGENT} ^LinkextractorPro [OR]
    RewriteCond %{HTTP_USER_AGENT} ^LinkScan\/8\.1a\.Unix [OR]
    RewriteCond %{HTTP_USER_AGENT} ^LinkWalker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^likse [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Magnet [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Mag-Net [OR]
    RewriteCond %{HTTP_USER_AGENT} ^mail [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} MJ12bot [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Memo [OR]
    RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Mirror [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^oegp [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Openfind [OR]
    RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
    RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
    RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Pockey [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Pump [OR]
    RewriteCond %{HTTP_USER_AGENT} ^python-requests [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Python-urllib [OR]
    RewriteCond %{HTTP_USER_AGENT} ^QueryN.Metasearch [OR]
    RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Reaper [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Recorder [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
    RewriteCond %{HTTP_USER_AGENT} ^RMA [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Siphon [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Snake [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SpaceBison [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Stripper [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Sucker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Whacker [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
    RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
    RewriteCond %{HTTP_USER_AGENT} ^ZipppBot [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Crazy\ Browser [OR]
    RewriteCond %{HTTP_USER_AGENT} ^libwww-perl [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Java/ [OR]
    RewriteCond %{HTTP_USER_AGENT} ^NV32ts [OR]
    RewriteCond %{HTTP_USER_AGENT} w0000t* [OR]
    RewriteCond %{HTTP_USER_AGENT} ^mama|plaNETWORK [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} Bot\ Search|casper|crew|kangen [NC,OR]
    RewriteCond %{HTTP_USER_AGENT} ^perl\ post$ [OR]
    RewriteCond %{HTTP_USER_AGENT} ^Mozilla/4\.76\ \[ru]\ \(X11;\ U;\ SunOS\?\ 5\.7\ sun4u\)$ [OR]
    RewriteCond %{REQUEST_URI} w00tw00t* [OR]
    RewriteCond %{HTTP_REFERER} ebesucher.de [OR]
    RewriteCond %{HTTP_REFERER} loselino.de
    RewriteRule ^ - [F,NC]
Benutzeravatar
||CoDer||
Beiträge: 1740
Registriert: 1. Jun 2010 19:41
Land: Deutschland
Firmenname: doo!media
Branche: Konzept, Entwicklung, Template/Design, SEO, Sicherheit, Vermarktung & mehr
Kontaktdaten:

Re: BLOCKEN: semalt.com best-seo-offer.com best-seo-solution

Die Software gibt es nun zum Download: http://www.sellerforum.de/allgemeine-pr ... 42316.html
doo!media
- Service, Template/Design & SEO
- Offizieller Gambio Partner (Design, Sicherheit & Mehr)
- Sicherheitsüberprüfungen für Internetportale
Angebot anfordern | Persönliche Referenzen
Antworten

Zurück zu „HTML, PHP, CSS, & Co.“

  • Information