Hallo Leute,
was macht eigenlich die Datei ROBOTS.TXT
Beispiel:
User-agent: *
Disallow: /cgi-bin/
Hallo Robert,
in der „robots.txt“ stehen Dateien, die Suchroboter der Suchmaschinen ignorieren sollen und damit nicht in ihr Verzeichnis aufnehmen sollen.
In Deinem Beispiel halt alle Dateien im cgi-Verzeichnis. (Was ja auch verständlich ist)
Sehr nützlich ist die robots.txt auch für Leute, die Ihre Homepage mit einer java-passwort-abfrage ausstatten, da sonst die Suchmaschinen eventuell die „achso-geheimen“ Dateien mit in ihr Verzeichnis aufnehmen und direkt darauf verweisen unter Umständen.
Ciao,
Mike
[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]
Hallo Leute,
was macht eigenlich die Datei ROBOTS.TXT
Beispiel:
User-agent: *
Disallow: /cgi-bin/
Danke für Eure Hilfe!!
Robert