ROBOTS.TXT - Was'n'das?

Hallo,

irgendwie habe ich gehört, dass Suchmaschinen einen Roboter haben, der das Internet nach Neuem durchforstet.
Für diese Roboter - so habe ich gehört - gibt es nun eine Datei, die robots.txt heißt. (Stelle ich mir wie ein Fähnchen vor, das von meiner Homepage geschwungen wird, begleitet durch den Ausruf: „Verweile doch, hier ist es schön!“)

In meinen Statistiken kommt dieser Name nun ab und zu mal vor, als ob so ein Roboter das gesucht hätte.
Brauch ich das? Und was muss da drin stehen?
Weiß da etwa jemand was drüber und hat es mir noch nicht verraten?

Salzmann
http://www.meersalz.de

Hi,

eine gut Anleitung und erklärung findest du unter:
http://www.suchfibel.de/6gefundn/6frame6.htm

Ansonsten mal ne Suchmaschine anwerfen :wink:
Viel Spass
sven

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

Hi,

eine gut Anleitung und erklärung findest
du unter:
http://www.suchfibel.de/6gefundn/6frame6.htm

Ansonsten mal ne Suchmaschine anwerfen :wink:
Viel Spass
sven

Danke für die schnelle Antwort.
Wenn ich das richtig verstanden habe, nutzt die robots.txt nur, wenn ich etwas zu verbergen habe? Ich kann damit nicht etwa die Suchmaschinen irgendwie positiv beeinflussen?
Und es schadet auch nicht, wenn ich keine robots.txt habe, von wegen Ranglistenplatz o.ä.?

Danke Dir,

Salzmann

Hi,
wie schon dort angesprochen, ist die robots.txt auch ganz nützlich, um cgi-verzeichnisse zu sperren oder Email-Grapper fernzuhalten.
Ansonsten beeinflusst du deine Stellung in der Suchmaschine durch die Meta-Tags, aussagekräftige Seitentitel („Willkommen auf meiner Homepage“ sucks) und einer nicht zu grafiklastigen Seite, auf der du den Inhalt deiner Hompage darlegst. Eine weitere Möglichkeit ist viel Geld :wink:)
Gruss
Sven

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]