Hilfe! Der "böse" Googlebot crawled meine Seite zu intensiv und zu oft. Damit muss ich "meinem" Housing- oder Hostingprovider zu viel Bandbreite bezahlen. Mein Budget wird gesprengt! Hallo, solche Probleme darf es doch gar nicht geben?
Vanessa Fox, Google Engineer, erklärt, wie sich entsprechendes Problem lösen lässt. Man nimmt entweder direkt mit Google Kontakt auf oder aber setzt die Google Webmaster Tools (Sitemaps) ein. Der Sitemap XML-Feed lässt Priorisierung und Frequenz des Crawlprozesses des Googlebot's zu.
Für mich persönlich gibt es dieses Problem nicht. Bandbreite darf nie ein Argument sein, wenn Suchmaschinenmarketing eingesetzt wird. Warum soll ich zudem verhindern, dass Googlebot meine Seite zu oft liest, weil er sich ganz einfach in "meine" Inhalte verliebt hat?