Robots.txt

Hi,

ich bin gerade dabei meiner hp zu basteln. ich habe ein script laufen was mich benachrichtigt solbald ein error 404 auftritt.
ich bekomme nun regelmaessig post, wo drinn steht das das file ROBOTS.TXT nicht gefunden wird. Kann mir mal bitte jemand die bedeutung bzw. den aufbau dieses Files erklären?

Für eure Hilfe ein grosses Danke im voraus :smile:

Ciao Alex

Hallo,

ich bin gerade dabei meiner hp zu basteln. ich habe ein
script laufen was mich benachrichtigt solbald ein error 404
auftritt.
ich bekomme nun regelmaessig post, wo drinn steht das das file
ROBOTS.TXT nicht gefunden wird. Kann mir mal bitte jemand die
bedeutung bzw. den aufbau dieses Files erklären?

die datei robots.txt wird von manchen Suchmaschinen gesucht - Du kannst da reinschreiben, wie und welche dateien die Maschinen indizieren sollen und welche nicht.

naeheres gibts zB hier:
http://www.drweb.de/suchmaschinen/robots.shtml

Greetinx
Christian

http://www.html-workshop.de