bin grad am optimieren meiner website. jetzt heisst es von mehreren seiten, robots.txt + XML sitemaps fehlen.
brauche ich die? zu was? wie erstelle ich die?
irgendwo habe ich gelesen, das ich die robots nur brauche, wenn den crawlern einige unterseiten verbieten möchte zu indizieren.
zu XML habe ich das hier gelesen, aber überhaupt nicht verstanden:
https://support.google.com/webmasters/bin/answer.py?..