Zum Inhalt springen
Frage 13. Februar 2006 · 12 Antworten

Fragen zu robot.txt

Hallo liebe Wissenden…,

Ich bin noch Anfänger was html und Co. angeht, und bin vorgestern nach der Suche für Suchmaschienenein- und -austragungs-Möglichkeiten beim googeln auf die Möglichkeit von robots.txt gekommen.

Nun habe ich ein paar Fragen hierzu!

Zu Frage 1:
Das Ziel soll sein, daß ausschließlich die Datei „Index.html“ gescannt und ausgelesen werden soll, alle anderen Dateien und Verzeichnisse samt Unterordner aber eben nicht…

Soweit mir bekannt ist,kann ich das wie folgt steuern:

User-agent: *
Allow: /index.html
Disallow: /goosacker/
Disallow: /favico.ico
Disallow: /beispiel.pdf
…

Da ich nun einige Verzeichnisse & Dateien mehr in meinem Haupt-Root habe, stellt sich mir die Frage, ob ich das wie folgt lösen kann?

User-agent: *
Allow: /index.html
Disallow: /

Zu Frage 2:
Wenn ich per FTP auf meinen Webspace zugreife, habe ich im Haupt-Root
u.a. den Ordner „/htdocs“.
Wenn ich in meinem Browser meine URL eingebe (z.B. "www.alexhh.de")greiftgreift) dieser auf die Datei „/htdocs/index.html“ zu, so als ob „htdocs“ der Haupt-Root wäre.

Wo genau muß in diesem Fall die „robots.txt“ plaziert werden? im Haupt-Root oder im Haupt-Root/htdocs/ ?

Zu Frage 3:
Ich konnte zwar keine weiteren finden, aber gibt es noch mehr Befehle für die robot.txt (hatte für Allow: auch >24h gebraucht)?
Wenn ja, was bewirken diese?

Vielen Dank im vorraus
Alex

Diese Frage stammt aus dem Jahr 2006. Weißt du es heute besser?

Aktuelle Antwort ergänzen

12 Antworten

Auch HTML-Kopfangaben machen
http://de.selfhtml.org/html/kopfdaten/meta.htm#robots

Scheint zumindest bei einigen Suchmaschinen zu klappen.

Das steht z.B. im Kopf einer Seite mit Frame-Set

Selbstmurmelnd ist im noframes-Bereich eine passende Sitemap mit Links für die Suchmaschine und für Nur-Text-Browser (Lynx) enthalten.

Bei den Inhaltstragenden Seiten heißt s dann

Gruß

Stefan

0 Hilfreich
Antwort auf Stefan_Dewald_34b81bzum Beitrag ↑

Auch HTML-Kopfangaben machen http://de.selfhtml.org/html/kopfdaten/meta.htm#robots Scheint zumindest bei einigen Suchmaschinen zu klappen. Das steht z.B. im Kopf einer Seite mit Frame-Set Selbstmurmelnd ist im noframes-B …

Hallo Stefan,

Das ich Metas-Tags zum Auslesen in der html haben muß ist mir klar!
Um den von dir angegebenen URL bzw. den Robot-Meta-Tags in der html ging und geht es in meinen Fragen ebenfalls nicht…

Die Meta-Tags in dieser html SOLLEN ja ausgelesen werden, aber KEINE ANDEREN !!!

Ich glaube du hast mich reichlich falsch verstanden und bist etwas off topic gekommen
bzw.
Ich verstehe nicht, was deine Antwort mit meinen Fragen zu tun hat???
Sorry.

Gruß
Alex

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

0 Hilfreich
Antwort auf A_Aleksander_cf7b77zum Beitrag ↑

Hallo Stefan, Das ich Metas-Tags zum Auslesen in der html haben muß ist mir klar! Um den von dir angegebenen URL bzw. den Robot-Meta-Tags in der html ging und geht es in meinen Fragen ebenfalls nicht… Die Meta-Tags in di …

DIESE Meta-Tags steuern AUCH Robots!

Das ich Metas-Tags zum Auslesen in der html haben muß ist mir
klar!

Google liest keine Keywords im Kopf!

Gruß

Stefan

0 Hilfreich
Antwort auf Stefan_Dewald_34b81bzum Beitrag ↑

DIESE Meta-Tags steuern AUCH Robots! Das ich Metas-Tags zum Auslesen in der html haben muß ist mir klar! Google liest keine Keywords im Kopf! Gruß Stefan

Und die anderen nicht zu indexierenden Dateien?

Google liest keine Keywords im Kopf!

Also keywords in die robots.txt, oder wie?
Welcher Befehl???

Gruß Alex

0 Hilfreich
Antwort auf A_Aleksander_cf7b77zum Beitrag ↑

Und die anderen nicht zu indexierenden Dateien? Google liest keine Keywords im Kopf! Also keywords in die robots.txt, oder wie? Welcher Befehl??? Gruß Alex

NEIN
Die Syntax der robots.txt ist sehr simpel:

http://localhost/selfhtml/diverses/robots.htm

Mehr ist da nicht zu machen.

Zusätzlich kannst du mit Meta-Tags das Suchen in dem aktuellen Dokument steuern

http://localhost/selfhtml/html/kopfdaten/meta.htm#robots

Alla gut, trinke ma ääna

Stefan

0 Hilfreich
Antwort auf Stefan_Dewald_34b81bzum Beitrag ↑

NEIN Die Syntax der robots.txt ist sehr simpel: http://localhost/selfhtml/diverses/robots.htm Mehr ist da nicht zu machen. Zusätzlich kannst du mit Meta-Tags das Suchen in dem aktuellen Dokument steuern http://localhost/ …

http://localhost/selfhtml/diverses/robots.htm
http://localhost/selfhtml/html/kopfdaten/meta.htm#robots

Sorry, aber das sind 404er!

Gruß

0 Hilfreich
Antwort auf A_Aleksander_cf7b77zum Beitrag ↑

http://localhost/selfhtml/diverses/robots.htm http://localhost/selfhtml/html/kopfdaten/meta.htm#robots Sorry, aber das sind 404er! Gruß

Moin.

Wie, Du hast selfhtml nicht auf localhost? 😉

Hier die Links im I-Net:
http://de.selfhtml.org/diverses/robots.htm

und

http://de.selfhtml.org/html/kopfdaten/meta.htm#robots

Grüße
Leo

0 Hilfreich
Antwort auf hgulfzum Beitrag ↑

Moin. Wie, Du hast selfhtml nicht auf localhost? 😉 Hier die Links im I-Net: http://de.selfhtml.org/diverses/robots.htm und http://de.selfhtml.org/html/kopfdaten/meta.htm#robots Grüße Leo

*g* - owT
Hier muss ich einen Text eingeben.

0 Hilfreich
Antwort auf hgulfzum Beitrag ↑

Moin. Wie, Du hast selfhtml nicht auf localhost? 😉 Hier die Links im I-Net: http://de.selfhtml.org/diverses/robots.htm und http://de.selfhtml.org/html/kopfdaten/meta.htm#robots Grüße Leo

Moin.

Wie, Du hast selfhtml nicht auf localhost? 😉

Nö, warum soll ich das auch runterladen…?
dafür habe ich eine Standleitung ins Netz 😄)

0 Hilfreich
Antwort auf A_Aleksander_cf7b77zum Beitrag ↑

Moin. Wie, Du hast selfhtml nicht auf localhost? 😉 Nö, warum soll ich das auch runterladen…? dafür habe ich eine Standleitung ins Netz 😄)

Du hast keinen Webserver auf deinem Rechner
Also benutzt Du auch kein SSI, PHP, SQL, Perl uvam.

Gruß

Stefan

0 Hilfreich
Antwort auf Stefan_Dewald_34b81bzum Beitrag ↑

Du hast keinen Webserver auf deinem Rechner Also benutzt Du auch kein SSI, PHP, SQL, Perl uvam. Gruß Stefan

Also benutzt Du auch kein SSI, PHP, SQL, Perl uvam.

Niet Niente Nader No und Nein 😄

Wozu soll das überhaupt besonders gut sein?

Ok, Skripte können so vor dem uppen getestet werden…
… aber dafür habe ich bei meinem Provider unbegrenzten Traffic.

Alex

PS: PHP-Skripte hat mir ein Bekannter aus Südtirol geschustert, die ich dann eingebunden habe.

0 Hilfreich
Antwort auf A_Aleksander_cf7b77zum Beitrag ↑

Also benutzt Du auch kein SSI, PHP, SQL, Perl uvam. Niet Niente Nader No und Nein 😄 Wozu soll das überhaupt besonders gut sein? Ok, Skripte können so vor dem uppen getestet werden… … aber dafür habe ich bei meinem Provi …

Du bist nicht faul genug
Hallo Alex,

ich bin echt faul. Die Änderungen kann ich direkt [F5] im laufenden Browser testen, ohne voher mit dem FTP-Progamm den Krempel hochzuladen. Weil ich so faul bin, lasse ich immer alles aktualisieren (FTP), sofern da was zu aktualisieren ist. Dauert mir zu lange und immer nur die eine Datei (oder die dann doch 3 Dateien) gezielt hochzuladen…

Egal.

Have an ice day (trotz der Kälte)

Viel Spaß

Stefan

0 Hilfreich

Deine Antwort

Zum Antworten bitte anmelden oder kostenlos registrieren.