Quick and not so dirty – Heute sperren wir mit Hilfe der .htaccess den Semalt.com-Referer aus.
Wer in seinen Logs und Auswertungs-Tools den Referer semalt.com (auch in prominenter) Position findet, sollte diesen aussperren, denn er verfälscht die Analysen. Dieser Crawler ist im besten Falle nur ein Dorn im Auge und etwas nervig – und allein das reicht für mich schon aus, ihn auszusperren. Das geht ganz einfach mit Hilfe der .htaccess-Datei. Dazu fügt Ihr einfach folgendes in Eure .htaccess-Datei ein:
RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC]
RewriteRule (.*) http://www.semalt.com [R=403,L]
Damit senden wir den guten Crawler einfach direkt zurück nach Hause – das sollte es auch schon gewesen sein. Viel Erfolg!