semalt.com und buttons-for-website.com – Besucher und Crawler blockieren

Seid einiger Zeit ist mir aufgefallen, dass ich öfters Besucher über verschiedenste Webseiten bekomme, dabei haben alle dieselben Gemeinsamkeiten – eine Absprungrate von 100% und eine Besuchsdauer von 0:00:00. Das sind schon sehr merkwürdige Besucher.

Ich stellte mir die Frage woher die Besucher kommen und wer hat anscheinend meine Internetseite verlinkt. Bei der Suche nach der Domain semalt.com stolperte ich über diesen hervorragenden Artikel von Philipp Carin. Er hat wunderbar recherchiert und verschiedene Lösungansätze für einzelne Tracking Tools (Google Analytics und Piwik) zusammengefasst, außerdem hat er eine Lösung um die Besucher komplett von euer Seite auszuschließen.

Hier findet ihr seinen Artikel: https://philiseo.de/semalt-crawler-blockieren/

Anscheinend handelt es sich hier um Crawler oder Bots die von Google Analytics oder Piwik als normaler Besucher gewertet werden. Was die genaue Absicht dieser Crawler ist, weiß ich nicht und konnte es nicht herausfinden. Es gibt jedoch verschiedenste Vermutungen.

Als kleine Hilfe habe ich ein Google Analytics Tutorial von Rob Truslove eingebunden, der zeigt ,wie solche Seiten nicht mehr im Google Analytics aufgeführt werden.

Wer besucht mich? semalt.com & buttons-for-website.com

Ich bekomme mysterische Besucher über folgende 4 Verweise:

1. buttons-for-website.com
2. semalt.com (viele Variationen semalt.semalt.com, 4.semalt.com, usw)
3. forum.topic26089205.darodar.com
4. make-money-online.7makemoneyonline.com

Ich bin nun nach dem Artikel von Philipp dazu übergegangen diese 4 Bots/Crawler/Besucher in meiner .htaccess Datei komplett auszuschließen.

Hier ein kurzes Beispiel, die Liste auf dem Blog Philiseo ist noch wesentlich länger, ich habe nur die Webseiten benutzt von denen mein Blog akut betroffen ist, einer von den Verweisen waren noch nicht in der Liste, deshalb habe ich diese einfach in meiner Liste ergänzt. Ich werde nun in Zukunft die Augen aufhalten und neue Besucher dieser Art wieder ausschließen.

Diese Befehle musst du in deine .htaccess Datei schreiben. Sie befindet sich meistens im Root-Verzeichnis der Webseite. Hier findest du eine Erklärung, was eine htaccess Datei ist. (Wikipedia)

RewriteEngine On
RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com/ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.7makemoneyonline.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.darodar.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.semalt.*$ [NC,OR]
RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.blackhatworth.*$ [NC]
RewriteRule ^(.*)$ – [F,L]

 

Kommentarspam eine Folgeerscheinung dieser Bots

Interessanterweise bilde ich mir ein, dass ich in diesem Zeitraum massive Probleme mit Kommentarspam hatte. Ich benutze schon ein Captcha um mich vor Spam zu schützen, jedoch konnten diese Rechenaufgaben gelöst werden. Erst nachdem ich die Aufgaben auf Zahlen + Zahlenwörter umstellte hörte ein Großteil der automatischen Kommentare auf.

Ich werde hier mal einige auflisten, vielleicht könnt ihr von ähnlichen Ereignissen berichten.

(Einige interessante Updates findet ihr weiter unten)

Replica Hermes Handbags Cheap
filarmonica.ro/Images/img/f831548b81024a1095f104e…
osjbfpgc@gmail.com
107.150.36.162
Eingereicht am 25.12.2014 um 13:44
hermes replica bags More Signup Bonuses

Kein Spam | Delete Permanently

Fake Hermes Birkin Handbags Outlet
sallandsewegenbouw.com/images/img/384c2a5df47c43d…
osjbfpgc@gmail.com
107.150.36.162
Eingereicht am 26.12.2014 um 3:08
discount hermes birkin 35 replica Discover More

Kein Spam | Delete Permanently

Sheamwatbetua
doudounebransonmoncler.fr
utzevphf437@hotmail.com
58.23.19.218
Eingereicht am 21.12.2014 um 5:25
michael kors handbags outlet
michael kors outlet online
burberry outlet online

[ Noch weitere unzählige Links entfernt]

ugg boots
ugg outlet
ugg boots outlet
michael kors outlet online
coach outlet online
burberry scarf

Kein Spam | Delete Permanently

Sheamwatbetrg
moncleroutletonlineshop.fr
utzevphf437@hotmail.com
58.23.232.110
Eingereicht am 08.12.2014 um 7:51
茂禄驴Where tends to be that moncler doudoune sharply minicomputer? Grief and all of justification from the start and this includes among the many going to be the momen. Why should short article constable sweater sincerely?  […] Cheek from day to day a single thing this weekend in the evening. Dawn ended up being 768 back and forth from today on Migrant back – up another method airliner ashore. An 2568 moncler outlet basis were operative all the way up and discover at the present time.

Kein Spam | Delete Permanently

Sogar mal einer auf Deutsch 😀

evening dresses womanwithin
womanwithin.cc
fwdjvuilz@gmail.com
223.199.79.229
Eingereicht am 07.12.2014 um 16:49
Wow, so viel Lob. Das ist ja der Wahnsinn. Vielen Dank!

Kein Spam | Delete Permanently

best buy cyber monday deals 2014
intellservis.ru/wp-content/plugins/shopping/ZokZZ…
dwqzqmqewpn@gmail.com
216.244.81.35
Eingereicht am 01.12.2014 um 16:37
I like the valuable info you provide in your articles. I’ll bookmark your weblog and check again here frequently. I am quite sure I’ll learn many new stuff right here! Good luck for the next!

Kein Spam | Delete Permanently

tbdress formal dresses
tbdress.cc/formal-dresses_c89.html
dpzkad@gmail.com
174.139.190.189
Eingereicht am 20.11.2014 um 23:49
I simply wished to say thanks all over again. I’m not certain what I might have used in the absence of these tricks documented by you regarding that subject matter. It seemed to be the terrifying condition in my view, but witnessing your specialized fashion you processed it took me to cry with fulfillment. I am happier for your work and then wish you realize what an amazing job you’re accomplishing instructing the rest via a blog. I’m certain you haven’t encountered any of us.

Kein Spam | Delete Permanently

 

Update 10.1.2015

Einfluss auf die Suchmaschinenoptimierung?

Matt Cutts hat es nicht bestätigt aber auch nicht dementiert, dass die Absprungrate und Besuchsdauer ein Rankingfaktor sein könnten. Das muss aber nichts bedeuten. Theoretisch ist es möglich durch die Return to Serp Rate Daten zu erheben und diese in das Ranking einfließen zulassen. Gegebenenfalls könnte sogar Daten aus Google Analytics herangezogen werden, auch wenn dies bestritten wird.

Fakt ist, semalt & Co tragen dazu bei, dass deine Absprungrate steigt und deine Besuchsdauer sinkt!

Sicherlich kommen diese Besucher nicht über die Serps sondern als Referral, daher lässt es sich nicht abschätzen in wieweit nun diese Besucher das Ranking beeinflussen.

Ich werde meinen Blog weiter beobachten und schauen ob es Veränderungen gibt und dann über diese berichten.

Blockiert! Dann ein neuer Referral – blackhatworth.com

Nachdem ich keine unerwünschten Besuche der oben genannten Besuche mehr erhielt, erscheinen nun plötzlich neue Besucher. Einer von ihnen ist blackhatworth.com. Interessanterweise verweilt dieser Bot bis zu 10 Minuten auf meiner Startseite und führt dabei keine Aktionen aus.

Ersatzbots?

Ich stelle mir die Frage, ob die Urheber bemerkten, dass ihre Bots geblockt werden und nun weitere noch nicht so bekannte ins Rennen schicken oder es einfach nur ein Zufall ist.

Anscheinend ist etwas hartnäckiger und mit den Filtermethoden von oben bekomme ich ihn nicht blockiert. Ich versuche auf verschiedensten Wegen diesen Bot zu stoppen.

Wie es scheint, kann ich den Bot von blackhatworth.com mit folgender .htaccess Zeile herausfiltern.
Diese Zeile kannst du einfach zwischen die Beispiele von oben kopieren.

RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.blackhatworth.*$ [NC,OR]

Verfolgen die Bots Verlinkungen?

Ich habe zusätzlich das Gefühl, dass die Bots verlinkten Internetseiten folgen, ich habe einige Seiten miteinander verlinkt und hatte dann auf diesen Seiten immer die gleichen Bots.

Kein Kommentarspam mehr

Nachdem ich die ersten Bots semalt.com, buttons-for-website.com, darodar.com und 7makemoneyonline.com blockiert hatte. Hörten auch schlagartig die unnützen Kommentare auf.
Noch ein weiterer Grund diese Bots zu blocken. Kannst du ähnliches beobachten?

Update 18.1.2015

Neuer Spam aus Russland – hulfingtonpost.com

Vorgestern entdecke ich neuen Bot aus Russland. Auf den ersten Blick ähnelt die Domain einer bekannten Zeitung und man würde sie zunächst gar nicht als Spam einordnen. Jedoch sieht man wenn man genau hinsieht, dass der Domainname an einer Stelle vom Original abweicht. Ich habe hier einen neuen Artikel über die hulfingtonpost.com verfasst. Generell könnt ihr diese Seite aber wie bei den anderen genannten Beispielen aussperren.

RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?.hulfingtonpost.*$ [NC,OR]

Update 26.1.2015

Um nicht zwei Blog Artikel parallel zupflegen, kannst du hier lesen was noch passierte. Dort findest du auch zusätzliche Informationen wie du unerwünschte Besucher in Universal Google Analytics filtern kannst. Außerdem gibt es auch einen Hinweis auf ein WordPress-Plugin, welches es dir ermöglicht den Referralspam zu blocken.