Hi,
ich weiss nicht, ob ich hier im richtigen Brett bin.
Also, ich möchte mit der robots.txt, welche ja in der Hauptroute ist, anweisen, dass aktuell nur eine einzige Seite (es ist eine html Seite) nicht indexiert wird.
Später erweitere ich das evlt. Wie geht das? Genauso, also einfach weitere Zeilen mit gleichen Aufbau?
Wie muss ich da vorgehen?
Ist folgendes richtig?
User-agent: ia_archiver
Disallow: /
User-agent: *
Disallow: /politik/kiesabbau/historiekiesabbaudetails.html
Zeile 1 und 2 bitte ignorieren, ausser die sind falsch.
Also, Zeile 3 sagt; gilt für jeden crawler. Richtig?
Zeile 4 zeigt auf die Datei, ist das so richtig?
Die URL würde dann so aussehen;
www.xxxxxx.de/politik/kiesabbau/historiekiesabbaudet…
Oder muss das www mit in die Anweisung rein (muss oder kann?)?
Wie könnte man denn Google alleine ausschliessen bei einer Seite wie oben im Beispiel?
Wie heist Google denn? Ist das „googlebot“?
Danke an alle webfreaks.
Letzte Frage; ist das irgendwie ein Problem, wenn Seitennamen (html) so lang sind wie oben?
Grüße
Jürgen