Fragen zu robot.txt

Internet
1

Hallo liebe Wissenden…,

Ich bin noch Anfänger was html und Co. angeht, und bin vorgestern nach der Suche für Suchmaschienenein- und -austragungs-Möglichkeiten beim googeln auf die Möglichkeit von robots.txt gekommen.

Nun habe ich ein paar Fragen hierzu!

Zu Frage 1:
Das Ziel soll sein, daß ausschließlich die Datei „Index.html“ gescannt und ausgelesen werden soll, alle anderen Dateien und Verzeichnisse samt Unterordner aber eben nicht…

Soweit mir bekannt ist,kann ich das wie folgt steuern:

User-agent: *
Allow: /index.html
Disallow: /goosacker/
Disallow: /favico.ico
Disallow: /beispiel.pdf
…

Da ich nun einige Verzeichnisse & Dateien mehr in meinem Haupt-Root habe, stellt sich mir die Frage, ob ich das wie folgt lösen kann?

User-agent: *
Allow: /index.html
Disallow: /

Zu Frage 2:
Wenn ich per FTP auf meinen Webspace zugreife, habe ich im Haupt-Root
u.a. den Ordner „/htdocs“.
Wenn ich in meinem Browser meine URL eingebe (z.B. "www.alexhh.de")greiftgreift) dieser auf die Datei „/htdocs/index.html“ zu, so als ob „htdocs“ der Haupt-Root wäre.

Wo genau muß in diesem Fall die „robots.txt“ plaziert werden? im Haupt-Root oder im Haupt-Root/htdocs/ ?

Zu Frage 3:
Ich konnte zwar keine weiteren finden, aber gibt es noch mehr Befehle für die robot.txt (hatte für Allow: auch >24h gebraucht)?
Wenn ja, was bewirken diese?

Vielen Dank im vorraus
Alex

2

Auch HTML-Kopfangaben machen
http://de.selfhtml.org/html/kopfdaten/meta.htm#robots

Scheint zumindest bei einigen Suchmaschinen zu klappen.

Das steht z.B. im Kopf einer Seite mit Frame-Set

Selbstmurmelnd ist im noframes-Bereich eine passende Sitemap mit Links für die Suchmaschine und für Nur-Text-Browser (Lynx) enthalten.

Bei den Inhaltstragenden Seiten heißt s dann

Gruß

Stefan

3

Hallo Stefan,

Das ich Metas-Tags zum Auslesen in der html haben muß ist mir klar!
Um den von dir angegebenen URL bzw. den Robot-Meta-Tags in der html ging und geht es in meinen Fragen ebenfalls nicht…

Die Meta-Tags in dieser html SOLLEN ja ausgelesen werden, aber KEINE ANDEREN !!!

Ich glaube du hast mich reichlich falsch verstanden und bist etwas off topic gekommen
bzw.
Ich verstehe nicht, was deine Antwort mit meinen Fragen zu tun hat???
Sorry.

Gruß
Alex

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

4

DIESE Meta-Tags steuern AUCH Robots!

Das ich Metas-Tags zum Auslesen in der html haben muß ist mir
klar!

Google liest keine Keywords im Kopf!

Gruß

Stefan

5

Und die anderen nicht zu indexierenden Dateien?

Google liest keine Keywords im Kopf!

Also keywords in die robots.txt, oder wie?
Welcher Befehl???

Gruß Alex

6

NEIN
Die Syntax der robots.txt ist sehr simpel:

http://localhost/selfhtml/diverses/robots.htm

Mehr ist da nicht zu machen.

Zusätzlich kannst du mit Meta-Tags das Suchen in dem aktuellen Dokument steuern

http://localhost/selfhtml/html/kopfdaten/meta.htm#robots

Alla gut, trinke ma ääna

Stefan

7

http://localhost/selfhtml/diverses/robots.htm
http://localhost/selfhtml/html/kopfdaten/meta.htm#robots

Sorry, aber das sind 404er!

Gruß

8

Moin.

Wie, Du hast selfhtml nicht auf localhost? :wink:

Hier die Links im I-Net:
http://de.selfhtml.org/diverses/robots.htm

und

http://de.selfhtml.org/html/kopfdaten/meta.htm#robots

Grüße
Leo

9

*g* - owT
Hier muss ich einen Text eingeben.

10

Moin.

Wie, Du hast selfhtml nicht auf localhost? :wink:

Nö, warum soll ich das auch runterladen…?
dafür habe ich eine Standleitung ins Netz :smile:)

11

Du hast keinen Webserver auf deinem Rechner
Also benutzt Du auch kein SSI, PHP, SQL, Perl uvam.

Gruß

Stefan

12

Also benutzt Du auch kein SSI, PHP, SQL, Perl uvam.

Niet Niente Nader No und Nein :smile:

Wozu soll das überhaupt besonders gut sein?

Ok, Skripte können so vor dem uppen getestet werden…
… aber dafür habe ich bei meinem Provider unbegrenzten Traffic.

Alex

PS: PHP-Skripte hat mir ein Bekannter aus Südtirol geschustert, die ich dann eingebunden habe.

13

Du bist nicht faul genug
Hallo Alex,

ich bin echt faul. Die Änderungen kann ich direkt [F5] im laufenden Browser testen, ohne voher mit dem FTP-Progamm den Krempel hochzuladen. Weil ich so faul bin, lasse ich immer alles aktualisieren (FTP), sofern da was zu aktualisieren ist. Dauert mir zu lange und immer nur die eine Datei (oder die dann doch 3 Dateien) gezielt hochzuladen…

Egal.

Have an ice day (trotz der Kälte)

Viel Spaß

Stefan