Tja, eigentlich wollte ich ab morgen wieder neue Beiträge in meinem Blog schreiben. Doch haben mich die Chinesen aus Bejing dazu animiert, dies schon heute zu tun. Crawler sind ja nicht wirklich etwas störendes für eine Webseite. Intelligente Crawler schon gar nicht.

Was da aber aus Beijing (CHINANET Beijing province network) losgelassen wurde, sollte wohl blockiert werden. Da baut sich doch ein Crawler laufend neue URL's auf und realisiert die 404 Fehler nicht, die er dabei verursacht.

Eine Sperre auf 403 löst genauso keine Reaktion aus. Ich empfehle jedenfalls sämtlich Aufrufe von 220.181.0.0 - 220.181.255.255 zu blockieren. Ausnahme, man will ein chinesisches Chaos in seinem Logfile.

Jetzt werde ich mich aber definitiv erst morgen wieder melden und dann mit erfrischenden SEO Beiträgen aufwarten.

Der Bot nennt sich übrigens QihooBot 1.o......

Wurde Ihnen auch schon der Content von der Webseite wegkopiert? Falls ja, kam der Bad Bot aus Taiwan, aus China? Es gibt laufend neue Pseudo Bots, welche nichts anderes als irregülär Content von Webseiten klauen. Heute bin ich wiedermal per Zufall auf einen entsprechenden Bot gestossen, welcher sich überhaupt nicht um ein robots.txt oder ähnliches kümmert.

Bots ohne Bot-Indentifikationsseite sind mir suspekt.

• Name des suspekten Bots: hl_ftien_spider_v1.1
• IP-Addresse: 60.28.249.24

Ich persönlich empfehle den Zugriff durch diesen Bot auf Ihrer Webseite per sofort zu blockieren. Ansonsten kann es durchaus sein, dass Daten Ihrer Webseite einfach wegkopiert werden.

Informationen zu diesem Pseudo Bot finden wir übrigens auf dem Web nur limitiert und keine, die ihn beliebter machen würden.

Wenn wir schon von Bad Bots sprechen, wer sind die Bad Bots und welche User-Agents sollte man blockieren?

Uns bekannt und suspekt sind folgende User-Agents. Wir haben diese bei diversen Websites über die .htaccess RewriteCond ausgeschlossen.

Die Bad Bot Liste

• *myengines*
• libwww*
• *perl*
• *OmniExpl*
• *ObjectSearch*
• *Jakarta*
• *Webster*
• *mafia*
• Missi*
• e-Society*
• *BackWeb*
• *PlantyNet*
• *NexTools*
• *Monkey*
• *FreeDict*
• *Anonym*
• *ZipppBot*
• ExtractorPro
• Webster*
• DISCo\Pump*
• Drip*
• Download*
• *Download*
• Download\Ninja*
• EirGrabber*
• GetRight*
• Gets*
• Go-Ahead-Got-it*
• Grafula*
• IBrowse*
• InterGET*
• Internet\Ninja*
• MIDown\Tool*
• Mister\PiX*
• PageGrabber*
• Papa\Foto*
• Pockey*
• ReGet*
• SpaceBison*
• SuperHTTP*
• WebCopier*
• WebFetch*
• WebReaper*
• WebSauger*
• WebStripper*
• WebWhacker*
• WebZIP*
• Web\Image\Collector*
• Web\Sucker*
• eCatch*
• tAkeOut*
• *WebZIP"
• *Stripper*
• *Copier*
• *Snagger*
• *Reaper*
• *Grabber*
• *Sucker*
• *Downloader*
• *Siphon*
• *Collector*
• *Widow*
• *Snake*
• *gotit*
• *Vacuum*
• *Pump*
• *HMView*
• *HTTrack*
• *JOC*
• *likse*
• *leech*
• *Mirror*
• *Recorder*
• *GrabNet*
• *Bandit*
• *Ants*
• *Buddy*
• *Whacker*
• *Backstreet*
• *Caitoo*
• *GetWeb*
• *Greed*
• *Vampire*
• *Eater*
• *Snarf*
• *Devil*
• *WebVCR*
• *WWWCopy*
• *Aculinx*
• *DownloadIT*
• *Weazel*
• *Commander*
• *Webexe*
• *Down2Web*
• *Burner*
• *Snatcher*
• *FileHound*
• *BlackWidow*
• *WebSauger*
• *CherryPicker*
• *EmailCollector*
• *EmailSiphon*
• *EmailWolf*
• *ExtractorPro*
• *[WW]eb[Bb]andit*
• WebEMailExtrac*

Immer wieder werde ich gefragt, wie man bösartige Besucher, email Grabber und Bad Bots von seiner Webseite fernhalten kann.

Benutzt man zum Beispiel einen Apache Webserver, kann man ganz einfach die Steuerungsdatei .htacces dazu verwenden.

Es gibt dabei 2 Möglichkeiten, die ich empfehlen kann, um Bad Bots und zum Beispiel die Konkurrenz von der Website fernhalten kann.

1. Head Post Funktion

In der Head Post Sparte des .htaccess Files können Sie sogenannte denial's setzen.

Beispiel:

<limit GET HEAD POST>
order allow, deny
deny from onlinehome-server.info
deny from 64.15.139.34
deny from live-servers.net
allow from all
</limit>

Bei dieser Variante kann man den Ausschluss auf Grund von Server Hostnames oder IP-Addressen vornehmen.

2. Rewrite Condition

Schöner und nach Bot Namen lässt sich das ganze mit einer Rewrite Condition lösen.

Beispiel:

RewriteEngine On
RewriteCond %{REMOTE_HOST} ^.*dyn.optonline.net [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*myengines.*$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Webster.*$
RewriteRule ^.* - [F]

Beide Varianten schränken unerwünschte Seitenbesuche extrem ein und haben sich über die letzten 3 Jahre bewährt.