Ich habe mir, wie ihr weiter unten beim Thema ‚error 404‘ sehen könnt, eine Fehlersite, die mir die Fehlerhafte/nicht-vorhandene-Seiten URL mailt, programmiert.
Seitdem bekomme ich ständig mails von wegen: favicon.ico und robots.txt nicht gefunden!
Die Dateien gibt es übrigens nicht, ein Fehler beim Aufruf ist somit korrekt.
Aber wer ruft die Dateien auf??
‚Favicon.ico‘ denke ich mal, wird vom Browser Opera standertgemäs geöffnet, wenn kein Favicon deklariert ist.
Aber warum robots.txt
wer ruft standartgemäs ‚http://www.domain.de/robots.txt‘ auf???
Ein Browser? Ein Spider einer Suchmaschiene (Wenn ja, sollte man die Datei erstellen/ etwas reinschreiben?)???
Würde gerne den nutzen dieser Datei(n) erfahren, bevor ich sie von der Fehlermeldung ausschließe.