Hallo, W-W-Wissende!
Welchen Sinn oder Unsinn macht das Auflisten von Suchbegriffen in der robots.txt und wie liste ich diese (falls es denn Sinn machen sollte) korrekt darin auf?
Bedankt!
Der GERDZILLA.
Hallo GerdZilla!
Welchen Sinn oder Unsinn macht das Auflisten von Suchbegriffen
in der robots.txt und wie liste ich diese (falls es denn Sinn
machen sollte) korrekt darin auf?
Gar keinen, denn dazu ist die robots.txt nicht da.
Sie dient der Steuerung sog. Spider (Robots, Suchmaschinen), zumindest sollte sie das.
Suchmaschinen, die sich an die (auf freiwilliger Basis vereinbarten) Konventionen halten, beachten die Anweisungen, die in der robots.txt stehen. (Bei Spammern ist das selbstverständlich fraglich, da sie ja eMail-Adressen suchen…)
robots.txt ist universal; so wird die Angabe „noindex,nofollow“ im Meta-Tag „meta name=robots content=…“ auf einzelnen HTML-Seiten hinfällig für gesperrte Bereiche (Ordner).
# /robots.txt file
# for example
#
# Googlebot darf auf alle Ordner zugreifen
User-Agent: Googlebot
Disallow:
#
# aber Images werden vom Ordner "/" (gesamte Domain) gesperrt
User-Agent: Googlebot-Image
Disallow: /
#
# Keine einzige Suchmaschine darf in die Ordner '/tmp' und '/logs'
User-agent: \*
Disallow: /tmp
Disallow: /logs
Alles über… http://www.robotstxt.org
CU DannyFox64