irgendwie habe ich gehört, dass Suchmaschinen einen Roboter haben, der das Internet nach Neuem durchforstet.
Für diese Roboter - so habe ich gehört - gibt es nun eine Datei, die robots.txt heißt. (Stelle ich mir wie ein Fähnchen vor, das von meiner Homepage geschwungen wird, begleitet durch den Ausruf: „Verweile doch, hier ist es schön!“)
In meinen Statistiken kommt dieser Name nun ab und zu mal vor, als ob so ein Roboter das gesucht hätte.
Brauch ich das? Und was muss da drin stehen?
Weiß da etwa jemand was drüber und hat es mir noch nicht verraten?
Ansonsten mal ne Suchmaschine anwerfen
Viel Spass
sven
Danke für die schnelle Antwort.
Wenn ich das richtig verstanden habe, nutzt die robots.txt nur, wenn ich etwas zu verbergen habe? Ich kann damit nicht etwa die Suchmaschinen irgendwie positiv beeinflussen?
Und es schadet auch nicht, wenn ich keine robots.txt habe, von wegen Ranglistenplatz o.ä.?
Hi,
wie schon dort angesprochen, ist die robots.txt auch ganz nützlich, um cgi-verzeichnisse zu sperren oder Email-Grapper fernzuhalten.
Ansonsten beeinflusst du deine Stellung in der Suchmaschine durch die Meta-Tags, aussagekräftige Seitentitel („Willkommen auf meiner Homepage“ sucks) und einer nicht zu grafiklastigen Seite, auf der du den Inhalt deiner Hompage darlegst. Eine weitere Möglichkeit ist viel Geld )
Gruss
Sven
[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]