Hi,
ich weiss nicht, ob ich hier im richtigen Brett bin.
Also, ich möchte mit der robots.txt, welche ja in der Hauptroute ist, anweisen, dass aktuell nur eine einzige Seite (es ist eine html Seite) nicht indexiert wird.
Später erweitere ich das evlt. Wie geht das? Genauso, also einfach weitere Zeilen mit gleichen Aufbau?
Wie muss ich da vorgehen?
Ist folgendes richtig?
User-agent: ia_archiver
Disallow: /
User-agent: *
Disallow: /politik/kiesabbau/historiekiesabbaudetails.html
Zeile 1 und 2 bitte ignorieren, ausser die sind falsch.
Also, Zeile 3 sagt; gilt für jeden crawler. Richtig?
Zeile 4 zeigt auf die Datei, ist das so richtig?
Die URL würde dann so aussehen;
www.xxxxxx.de/politik/kiesabbau/historiekiesabbaudet…
Oder muss das www mit in die Anweisung rein (muss oder kann?)?
Wie könnte man denn Google alleine ausschliessen bei einer Seite wie oben im Beispiel?
Wie heist Google denn? Ist das „googlebot“?
Danke an alle webfreaks.
Letzte Frage; ist das irgendwie ein Problem, wenn Seitennamen (html) so lang sind wie oben?
Grüße
Jürgen
Hi,
User-agent: ia_archiver
Disallow: /
User-agent: *
Disallow: /politik/kiesabbau/historiekiesabbaudetails.html
Zeile 1 und 2 bitte ignorieren, ausser die sind falsch.
Naja, kommt drauf an welcher interner Browser dieser ia_archiver ist.
Ansonsten steht z.B. unter http://de.selfhtml.org/diverses/robots.htm#allgemeines alles wichtige.
Also, Zeile 3 sagt; gilt für jeden crawler. Richtig?
Browser, ja.
Letzte Frage; ist das irgendwie ein Problem, wenn Seitennamen
(html) so lang sind wie oben?
Wieso sollte es? Ausser, das es eher unleserlich wird … was aber heutzutage eh keinen mehr interressiert… ist es eher egal.
Gruß
h.
User-agent: ia_archiver
Disallow: /
User-agent: *
Disallow: /politik/kiesabbau/historiekiesabbaudetails.html
Zeile 1 und 2 bitte ignorieren, ausser die sind falsch.
Naja, kommt drauf an welcher interner Browser dieser
ia_archiver ist.
Ansonsten steht z.B. unter
http://de.selfhtml.org/diverses/robots.htm#allgemeines alles
wichtige.
Also, Zeile 3 sagt; gilt für jeden crawler. Richtig?
Browser, ja.
Letzte Frage; ist das irgendwie ein Problem, wenn Seitennamen
(html) so lang sind wie oben?
Wieso sollte es? Ausser, das es eher unleserlich wird … was
aber heutzutage eh keinen mehr interressiert… ist es eher
egal.
Gruß
h.
Hi,
danke, aber scheint ein Mißverständnis zu sein.
ia_archiver ist kein Browser, sondern ein Robot einer Website, welche alte Versionen von Websites anzeigt. Wenn man das nicht will, das alte Versionen gespeichert werden, und jeder Heini sich die angucken kann, was da mal vor Jahren draufstand, dann kann man das mit;
User-agent: ia_archiver
Disallow: /
Deaktivieren. Das ist die Internet Archive Wayback Machine, http://archive.org/web/web.php
Ich wollte nun wissen, wie ich jeden Robot, auch Google, dazu bewegen kann, eine einzelne Seite NICHT zu speichern, also NICHT zu indizieren.
Grüße
Jürgen
Hi,
sorry, habe grade selber die Lösung gefunden.
Siehe hier;
http://en.wikipedia.org/wiki/Robots_exclusion_standard
Lösung für mein Problem;
Example that tells all robots not to enter one specific file:
User-agent: *
Disallow: /directory/file.html