Semalt Crawler & Co für JTL Shop ausschließen

Themen: Sonstiges , JTL Themen
Semalt Crawler & Co für JTL Shop ausschließen

Wenn JTL Shop Betreiber Ihre Zugriffe prüfen (z.B. in den JTL Shop Besucherstatistiken oder Google Analytics), so taucht immer häufiger eine Besucherquelle namens semalt.semalt.com o.ä. auf.


semalt crawler

semalt bei analytics

Der semalt Crawler kommt offenbar aus der Ukraine und der Sinnn hinter diesem Crawler erschließt sich kaum. Evlt. soll er Website Betreiber dazu bringen neugierig auf die Seite zu surfen.

Das Ärgerliche daran ist, dass er Traffic auf dem Server erzeugt und auch Bewegungsdaten bei Google Analytics und Co.. Somit verfälscht er ggf. auch die Nutzerstatistiken und beeinflusst Entscheidungen, die sich ggf. auf die Nutzerstatisiken beziehen.

Per robots.txt kann man den Crawler leider nicht dazu bewegen fernzubleiben, er ignoriert die Disallow Anweisung dort einfach.

Wie kann man den Crawler aussperren?

Am besten per .htaccess.

Dazu fügen Sie folgenden Code in Ihre .htaccess Datei ein:

#bestimmte Crawler ausschließen
   RewriteCond %{HTTP_REFERER} ^http://.*semalt.com/ [NC]
   RewriteRule ^(.*)$ – [F,L]

Damit könnten Sie theoretisch auch noch andere Crawler ausschließen.

Bei Google Analytics gäbe es noch die Möglichkeit den Crawler aus den Statistiken auszufiltern, das ist aber mit der o.g. Lösung nicht mehr nötig.