Hallo,
was muss oder sollte in die Datei robots.txt?
Bei Puretec wurde mir diese Datei als Fehlerseite angezeigt, weil ich sie gar nicht hatte.
Dann habe ich im Internet eine Stelle gefunden wonach man den folgenden Minimaleintrag vornehmen sollte:
Zugriff auf alle Dateien erlauben
User-agent: *
Disallow:
Das habe ich getan und bekomme sie von Puretec immer noch als Fehlerseite angezeigt.
Stimmt mit den Einträgen etwas nicht?
Vielen Dank für Eure Hilfe!
Moin
was muss oder sollte in die Datei robots.txt?
Das was suchmachinen nicht abfragen sollten.
http://www.robotstxt.org/wc/norobots.html
http://www.google.lu/intl/de/faq.html#norobots
Wenn du nix zu verstehen hast kannst du die Datei ganz weglassen.
cu
Hallo
Wenn du nix zu verstehen verstecken hast kannst du die Datei
ganz weglassen.
Hab nur mal korrigiert =:wink:
Is ja bald Wochenende!
Ciao! Bjoern
Hier kurze Einleitung zu Robots.txt.
Beispiel einer robots.txt
Datei ROBOTS.TXT wird von Spidern oder Robots auf dem Account gesucht wenn Sie Ihre Webseiten bei einem MetaCrawler/Spider eingetragen haben, so wird die robots.txt automatisch von diesem Suchmaschinen-Robot beim Besuch Ihrer Webseiten durchsucht! Ist sie nicht zu finden dann werden ggf. all Ihre Verzeichnisse ausgelesen und indiziert und gelistet.
Spider oder Robots durchsuchen das Internet bzw. angemeldete Accounts in regelmдssigen Abstдnden, um zu prьfen ob die Accounts noch existieren oder sich etwas geдndert hat bei Ihrem Webangebot, um u.a. die Aktualitдt der Suchmaschinen-Datenbanken aufrecht zu erhalten.
Eine Einladung zum Besuch des Robots erfolgt meist durch Meta-Tag-Angaben im Header Ihrer Webseite, wie:
Zeilen in dieser robots.txt die mit einer „#“ versehen sind, werden vom Robot nicht abgearbeitet bzw. ignoriert!
Hier kцnnen Sie mit dem „Disallow:“ weitere Verzeichnisse direkt schьtzen
die nicht vom Suchmaschinen-Robots gelistet werden sollen oder indiziert als Eintrag in # der Suchmaschine
z.b. Disallow: /mein-nicht-angezeigtes-verzeichnis/
Hier kцnnten noch folgende Einschrдnkungen gemacht werden!
User-agent: Scooter
Disallow: /
Mit freundlichen Grüßen aus Saarbrücken, Vitaly Friedman,
http://www.alvit.de/vf/en/
[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]