Hallo liebe Wissenden…,
Ich bin noch Anfänger was html und Co. angeht, und bin vorgestern nach der Suche für Suchmaschienenein- und -austragungs-Möglichkeiten beim googeln auf die Möglichkeit von robots.txt gekommen.
Nun habe ich ein paar Fragen hierzu!
Zu Frage 1:
Das Ziel soll sein, daß ausschließlich die Datei „Index.html“ gescannt und ausgelesen werden soll, alle anderen Dateien und Verzeichnisse samt Unterordner aber eben nicht…
Soweit mir bekannt ist,kann ich das wie folgt steuern:
User-agent: *
Allow: /index.html
Disallow: /goosacker/
Disallow: /favico.ico
Disallow: /beispiel.pdf
…
Da ich nun einige Verzeichnisse & Dateien mehr in meinem Haupt-Root habe, stellt sich mir die Frage, ob ich das wie folgt lösen kann?
User-agent: *
Allow: /index.html
Disallow: /
Zu Frage 2:
Wenn ich per FTP auf meinen Webspace zugreife, habe ich im Haupt-Root
u.a. den Ordner „/htdocs“.
Wenn ich in meinem Browser meine URL eingebe (z.B. "www.alexhh.de")greiftgreift) dieser auf die Datei „/htdocs/index.html“ zu, so als ob „htdocs“ der Haupt-Root wäre.
Wo genau muß in diesem Fall die „robots.txt“ plaziert werden? im Haupt-Root oder im Haupt-Root/htdocs/ ?
Zu Frage 3:
Ich konnte zwar keine weiteren finden, aber gibt es noch mehr Befehle für die robot.txt (hatte für Allow: auch >24h gebraucht)?
Wenn ja, was bewirken diese?
Vielen Dank im vorraus
Alex