hallo zusammen,
ich denke, es passt hier hin. ich bräuchte etwas interpretationshilfe- folgenden eintrag fand ich in meinem log-file:
64.68.82.55 - - [16/Feb/2004:08:30:33 +0100] „GET /robots.txt HTTP/1.0“ 403 280 „-“ „Googlebot/2.1 (+http://www.googlebot.com/bot.html))“ 64.68.82.55 - - [16/Feb/2004:08:30:33 +0100] „GET / HTTP/1.0“ 304 - „-“ „Googlebot/2.1 (+http://www.googlebot.com/bot.html))“
ich bin mir nicht ganz sicher, ob ich das richtig sehe-
er hat versucht, robots.txt zu lesen, das schlug fehl und dann ist er wieder verschwunden?
in dem fall hätte ich eine verständnisfrage: macht der googlebot das grundsätzlich so (verschwinden, wenn er keine robots.txt findet)?
ich habe nämlich gar keine angelegt- weil ich zu bekanntmachungszwecken meine seiten für bots erstmal komplett offen halten will (entsprechende meta-tags sind definiert).
wäre dankbar für etwas hintergrund.
greetings
bernd