Referral Spam von Hulfingtonpost.com blockieren

Als ich gestern die Verweiszugriffe in meinem Google Analytics Account anschaute, staunte ich nicht schlecht. Ich dachte „Wow Besucher von der Huffington Post“, wie kommen DIE denn bitte auf meinen Blog? Doch beim genaueren Hinschauen erkannte ich, dass es sich hier um den Link hulfingtonpost.com handelt (da ist ein L anstatt eines F‘s).

Es sind wieder die Spammer aus Russland, die schon einige Zeit meinen Blog mit ihren Bots scannen und täglich besuchen. Mittlerweile kommt gefühlt alle paar Tage ein neuer Bot hinzu, den ich bisher noch nicht kannte und somit auch noch nicht gesperrt hatte.

Ausschluss anderer Crawler und Bots

Falls du noch weitere merkwürdige Besucher unter Verweise hast, schau dir meinen anderen Blogpost an. Dort findest du eine Erklärung wie du diese entfernst, sowie einer Auflistung aller aktuellen Bots die meine Seite besuchten. Zusätzlich findest du ein Beispiel, wie du diese Besucher in Google Analytics auf eine Art Blacklist setzten kannst.

Es ist sicherlich hilfreich, wenn du dir deine Referralbesucher mal anschaust und gegebenenfalls merkwürdige blockierst.

hulfingtonpost.com per .htaccess blockieren

Aber nun die Erklärung wie du die lästigen Besucher von dieser Fake Domain aussperrst. Es gibt hier verschiedene Möglichkeiten. Da ist mir heute Morgen der croudcloud Blog etwas zuvorgekommen. Er hat einen sehr ausführlichen Eintrag über das Blocken dieses Bots geschrieben, denn ich dir nicht vorenthalten möchte.

Bisher blocke ich all diese Besucher über meine .htaccess Datei, daher habe ich folgende Zeile zu den bisherigen Einträgen hinzugefügt:

RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.hulfingtonpost.*$ [NC,OR]

 

Falls dies dein erster Eintrag ist, dann nehme dieses Beispiel:

RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.hulfingtonpost.*$ [NC]
RewriteRule .* - [F]

 

Falls du mehrere Einträge hast, kannst du diese mit [NC,OR] einfach ergänzen zum Beispiel so:

RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.hulfingtonpost.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.blackhatworth.*$ [NC]
RewriteRule .* - [F]

 

Danach solltest du keine Besucher mehr über hulfingtonpost.com erhalten. 🙂

Update 17.1.2015 / 8:40

Nicht wundern! Wie es scheint, greift das Blocken in der .htaccess nicht sofort. Sondern es dauert ein paar Stunden bis die Bots wirklich gesperrt werden. Keine Ahnung, ob die .htaccess Datei gecached wird oder was der Grund sein könnte. Ich hatte gestern noch nach dem Hinzufügen meines Codes noch weitere Besucher von der hulftingtonpost. Aber seit Mitternacht scheinen sie geblockt zu sein. 🙂

Update 18.1.2015 / 17:00

Nun organische Spambesucher?

Sie sind nun wirklich geblockt, aber dafür kommen nun über organische Suche Besucher aus Russland.

In meinem Google Analytics Screenshot, habe ich nach allen Sitzungen aus Russland gefiltert und dabei differenziert zwischen Verweiszugriffen und Besuchern über die organische Suche. Der blaue Graph zeigt die gesamten Besucher in dem Zeitraum. Der grüne zeigt alle Besucher die über „Verweise“ meine Seite besuchten. Der orange Graph zeigt die Besucher, die über die organische Suche kommen. Wirklich interessant ist, dass sich das von dem einen auf den anderen Tag änderte. Ich bin mir sicher, dass der Grund der zuvor geblockte Bot ist.

Das Keyword über das die Besucher auf meine Seite kommen lautete: „Google officially -recommends iLoveVitaly.com search shell„.

Der genaue Standort ist Samara in Russland.

Hast du vielleicht eine Idee, wie ich diese Besucher aus Russland blocken könnte?

Die Jungs von Cradlec Cloud haben zu diesem Thema einen Artikel geschrieben. Leider habe ich diesen erst später gesehen, daher konnte ich es nicht mehr testen. Falls du noch dieses Problem hast, könnte dir dieser Artikel helfen.

Update 19.1.2015 / 19:00

Variation in der Suchanfrage

Heute kamen die russischen Besucher nicht mehr über „Google officially -recommends iLoveVitaly.com search shell„, sondern über „Resellerclub SCAM„. Ich hoffe, sie ändern nun nicht alle paar Tage ihr Suchwort.

Update 20.1.2015 / 19:30

Besucher mit Universal Google Analytics herausfiltern

Eine mögliche Lösung wäre das Filtern der Besucher über die Suchanfrage, den Verweis oder die IP mittels Google Analytics. Ich persönliche finde diese Lösungen nicht so gut, da man seine Berichte nur schön korrigiert und diese Bots trotzdem weiter die Seite besuchen und niemand so genau sagen kann, was der Zweck ihres Besuches ist. Die Liste der möglichen Gründe ist lang, um Traffic zu generieren, Kommentarspam oder das Auffinden von Sicherheitslücken ist alles möglich.

Seit es Universal Google Analytics gibt, gibt es zwei neue Filtermöglichkeiten. Du kannst nun Verweise und Suchbegriffe herausfiltern, sodass diese nicht mehr im Analytics auftauchen.

Du findest die Einstellungsmöglichkeit in dem Bereich „Verwalten“ in der Hauptnavigation:

Verwalten -> Tracking Informationen -> Verweis-Ausschlussliste

oder:

Verwalten -> Tracking Informationen -> Suchbegriff-Ausschlussliste

Das Filtern über die IP findest du unter Verwalten -> Alle Filter

Bisher keine zufriedenstellende Lösung

Ich hatte die Idee, dass ich alle protokollierten Zugriffe in meiner Serverlog durchgehe und dann anhand der IP den Verursacher finde und diesen dann blocken könnte. Aber ich habe leider keine 100% passenden Besucher gefunden.

Ich hatte einen interessanten Besucher in dem untersuchten Zeitraum, der auf meiner Startseite navigierte, jedoch sah ich keine IP-Adresse, denn er nutzte ipv6. Leider habe ich keine Ahnung, wie ich bei ipv6 die Herkunft überprüfen kann. Hat jemand von euch eine Idee?

Update 26.1.2015 / 19:30

cenoval.ru und seitdem ist der Spuk vorbei…

Letzte Woche Mittwoch hörten plötzlich die russischen Suchanfragen auf und dafür erschien wieder ein neuer Referral der meinen Blog besuchte. Mittlerweile bin ich Weltmeister im Verweise blocken 😀 – also fügte ich wie gewohnt die neue Url cenoval.ru zu den anderen hinzu.

RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.cenoval.*$ [NC,OR]

 

Erfreulicherweise habe ich seitdem keine Besucher mehr mit einem russischen Herkunftlands. Genial!

Hier nochmal der zeitliche Verlauf des Januars in Google Analytics:

Hilfreiches WordPress-Plugin

Ich bin gestern über ein hilfreiches WordPress-Plugin gestoßen, welches angeblich den Verweisspam blocken soll. Ich habe es nicht ausprobiert. Jedoch sind die Bewertungen sehr viel versprechend, aber noch relativ wenige. Wenn du keinen Zugriff auf die .htaccess Datei hast oder du nicht genau weißt was zu tun ist, könnte dies eine interessante Lösung für dich sein. Hier der Link: https://wordpress.org/plugins/spamreferrerblock/

Update 7.2.2015 / 12:00

Nach einer einwöchigen Pause und ohne russische Besucher, erhalte ich nun wieder welche. 🙁 Der neue Spamverweis heißt nun bestwebsitesawards.com und ich berichte nun in einem neuen Artikel darüber.