Google-Bot verursacht hohe Kosten

Hallo,

bei einem Webhosting Paket mit begrenztem Datenvolumen ist für einen kurzem Zeitraum ein extrem hoher Datenverkehr aufgetreten, nachdem Suchroboter der Suchmaschine Google.com unverhältnismäßig oft Anfragen an die Website der betroffenen Person gestellt hat.

In einem Zeitraum von 7 Tagen entstand durch mehr als 1.000.000 Anfragen ein Datenverkehr, wie sonst in 6 Monaten.

Die deutliche Überschreitung des Volumenlimits wird dem privaten Kunden jetzt in Rechnung gestellt (ca. 60 EUR).

Der Kunde tritt mit dem Kundenservice in Kontakt, der eine Kulanzregelung prinzipiell ausschließt, weil die Website „öffentlich“ sei. Eine Schutzmaßnahme zur Begrenzung des Datenverkehrs gibt es nicht und soll auch nicht eingerichtet werden. Der Kundenservice gibt zu, dass es jeden Kunden treffen könnte und dass keiner der Kunden vor derartigen Attacken geschützt werden kann.

Nach einigem Hin und Her am Telefon gibt der Kunde auf und fragt sich jetzt:
Gibt es keine Grenzen? Sind solche Verträge wasserdicht, bei denen die Kunden voll „reingelegt“ werden können und keine Möglichkeit haben, sich abzusichern?

Denkbar wäre auch, dass dieser Such-Bot über einen langen Zeitraum diese Anfragen getätigt hätte (die Besucherzahlen bleiben davon unberüht und konstant - eine Überwachung auf diesem Wege fällt also aus) und jetzt Kosten von 250 EUR oder mehr entstanden wären… und die Rede ist hier von einem Provider für private Websites!

Danke für Meinungen, Hilfe und andere Vorschläge :smile:

Stefan

bei dem problem kann ich nicht helfen, aber du kannst den googlebot verbannen (siehe google.com):

in die datei

http://www.deineseite.com/robots.txt

schreibt man

User-agent: *
Disallow: /

gruß
datafox

Hi,

User-agent: *
Disallow: /

was besagt das genau?

Muss man den Stern „*“ bzw. den „/“ durch irgendwas noch ersetzen?

Danke.
Chris

Muss man den Stern „*“ bzw. den „/“ durch irgendwas noch
ersetzen?

hi!

ehm… lies mal lieber dort nach! ich weiß es nicht. aber ich vermute, daß der stern „alle“ bedeutet (alle bots) und „/“ das wurzelverzeichnis sein soll (der komplette server).

gruß
datafox

Hallo Datafox,

bei dem problem kann ich nicht helfen, aber du kannst den
googlebot verbannen (siehe google.com):

in die datei

http://www.deineseite.com/robots.txt

schreibt man

User-agent: *
Disallow: /

Verhindert das wirklich den Traffic? Der Googlebot muss doch erstmal auf die Site zugreifen, um die Datei und deren Eintrag zu finden. Damit ist der Zugriff schon getan. Oder merkt der Bot sich das dann und lässt die Seite ab diesem Zeitpunkt zufrieden?

Grüße
Sebastian

Verhindert das wirklich den Traffic? Der Googlebot muss doch
erstmal auf die Site zugreifen, um die Datei und deren Eintrag
zu finden.

aaalso wenn ich mir den traffic von googlebot so ansehe, dann tut er doch weit mehr als nur eine datei abfragen! manchmal ist der googlebot in den top10 der user. ich denke schon, daß diese datei merkbar hilft.

gruß
datafox