Frage zu 'robots'

Hallo zusammen,
ich habe im Brett „Server-Software“ weiter oben eine Frage eingestellt, die vermutlich eher in DIESES Brett gehört hätte.
Es geht um das Thema „robots“ in der Programmierung meiner Website.
Wenn Ihr so nett wärt, dort mal nachzuschauenn, wäre ich Euch dankbar.
Burkhard

hi
versuchs mal damit:
erstelle eine robots.txt
die meiner seite hat etwa folgenden inhalt:

# verhindern dass alle frames von suchmaschine gefunden werden
# einstellungen für meinedomain.ch
# dies hier sind nur kommentare, die nichts bewirken
User-agent: Googlebot
Disallow: /
Allow: /index.html
Allow: /news.html
Allow: /main.html

User-agent: \*
Disallow: /
Allow: /index.html
Allow: /maini.html
Allow: /newsi.html

dies heisst, das alle bots inklusive google bot, grundsätzlich keine meiner seiten indexieren dürfen, ausser index.html news.html und main.html
weitere optionen kannst du hier nach lesen:
http://de.wikipedia.org/wiki/Robots_Exclusion_Standard
liebe grüsse und viel erfolg
niemand