Hallo,
kann mir jemand sagen wie das mit den robot-Dateien genau funktioniert?
Ich habe mal gelesen, daß man auch einfach eine leere Datei erstellen kann…
Danke schön
Volker
kann mir jemand sagen wie das mit den
robot-Dateien genau funktioniert?
Ich habe mal gelesen, daß man auch
einfach eine leere Datei erstellen
kann…
Hallo,
die robots.txt Datei sollte im Hauptverzeichnis einer Domain stehen. In diese Datei schreibt man rein, welche Robots (Suchmaschinen-Roboter) die Seite durchkämmen dürfen und welche nicht. Ausserdem definiert man welche Verzeichnisse der Robot NICHT durchsuchen darf.
In welcher Syntax Du die Suchmaschinen dazu bringen kannst Seiten speziell zu durchsuchen teilen die entsprechenden Help-Dateien der einzelnen Suchmaschinen mit.
Unter http://internet-partner.de/robots.txt kannst Du Dir anschauen wie eine robots.txt aussehen könnte, die alles erlaubt ausser zwei Unterverzeichnisse.
Das verbieten gewisser Unterverzeichnisse ist insbesondere dann interessant, wenn z.B. Infos über Passwörter usw. in bestimmten geschützten Unterverzeichnissen enthalten sind. Die Robots können allerdings auch dort nicht suchen wo sowieso schon Serverseitig eine Bremse gezogen ist, z.B. meist das cgi-bin Verzeichnis.
Gruß aus Hamburg
Knud Schiffmann
http://internet-partner.de
hallo knud,
ich stimme deinem posting voll zu, nur zwei kleinigkeiten möchte ich noch dazugeben:
- ich kann keine suchmaschine anhand robots.txt zwingen, dort nicht nachzusehen, es ist sozusagen nur ein schreiben, dass er dort nicht schauen „sollte“, es gibt suchmaschinen die interessiert das überhaupt nicht…und nehmen trotzdem alle verzeichnisse ins index auf.
- robots.txt muss immer klein geschrieben werden, wird es Robots.txt oder ROBOTS.TXT geschrieben, kann eine Suchmaschine die Datei auch net finden
ansonsten
schönen Freitag :o)))
LisaCroft
Hi,
- ich kann keine suchmaschine anhand
robots.txt zwingen, dort nicht
nachzusehen, es ist sozusagen nur ein
schreiben, dass er dort nicht schauen
„sollte“, es gibt suchmaschinen die
interessiert das überhaupt nicht…und
nehmen trotzdem alle verzeichnisse ins
index auf.
stimmt. Ein Robot verhält sich nicht anders als ein Benutzer, nur daß einige so „nett“ sind, nachzusehen, wo „privat“ an der Tür steht.
- robots.txt muss immer klein geschrieben
werden, wird es Robots.txt oder
ROBOTS.TXT geschrieben, kann eine
Suchmaschine die Datei auch net finden
Stimmt nicht 
Das hängt nämlich vom verwendeten Betriebssystem und seiner Konfiguration ab. Auf NT-Servern dürfte es völlig egal sein, und Apache kann man auf jedem OS so konfigurieren, daß er alle robots.txt-ähnlichen Anfragen mit der Datei „Robots.txt“, „ROBOTS.TXT“ oder „Die große Nono-Liste“ beantwortet.
Für das „normale“ System hast Du natürlich absolut recht, die Schreibweise ist wichtig.
Cheatah
Hallo Lisa,
kannst Du mir evtl. sagen, ob eine leere robots.txt (0 byte) gleichbedeutend ist mit „alle Robots zulassen, alle Verzeichnisse indizieren“?
Jörg
[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]
Hi,
kannst Du mir evtl. sagen, ob eine leere robots.txt (0 byte)
gleichbedeutend ist mit „alle Robots zulassen, alle
Verzeichnisse indizieren“?
in der robots.txt steht, von welchen Verzeichnissen sich welche Robots bitte fernhalten sollen, also eine Blacklist. Leere Blacklist => freies Tun und Handeln.
Cheatah
Okay, danke! oT
…