Zum Inhalt springen
Frage 27. Juni 2001 · 8 Antworten

Robots.txt

Hallo,
ich habe meine homepage mit Hello engines angemeldet. Dabei ist die Seite laut Anmeldeprotokol in viele Suchmaschinen scheinbar überhaupt nicht angenommen worden. Statusmeldungen wie Found 302, Objeck Moved 302, Moved Temporarily 302, moved Permanently 301, Redirection 302 und ähnliche Meldungen füllen einen großen Teil. Wurde die Seite in den Suchmaschinen nicht angemeldet oder gab es Fehler? Außerdem ist das ganze ca. 2 Wochen her und ich kann meine Seite selbt in den Suchmaschinen nicht finden die in der Statusmeldung ein OK ausgegeben haben. Soll ich die Seite nochmal anmelden?
Ach ja, außerdem bekomme ich jetzt ständig über mein cgi Script eine Fehlermeldung. irgendeine Suchmascihne scheint ständig nach robots.txt zu suchen. Muß ich eine robots.txt erstellen? Wenn ja was muß darin enthalten sein?

Gruß
Claudia

Diese Frage stammt aus dem Jahr 2001. Weißt du es heute besser?

Aktuelle Antwort ergänzen

8 Antworten

Little_H Moderation

Hallo,

einen großen Teil. Wurde die Seite in den Suchmaschinen nicht
angemeldet oder gab es Fehler? Außerdem ist das ganze ca. 2
Wochen her und ich kann meine Seite selbt in den Suchmaschinen
nicht finden die in der Statusmeldung ein OK ausgegeben haben.
Soll ich die Seite nochmal anmelden?

Die Seite wurde bei den Suchmaschinen anscheinend wirklich nicht angemeldet. Wenn das Programm auf eine Seite „möchte“ um die Daten einzutragen und diese ist nicht vorhanden (302) dann macht das Programm an der Stelle auch nicht weiter. Der Fehler liegt zum einen an HelloEngines (aktualität des Programmes) und zum anderen an den Suchmaschinen, wenn diese Ihre Anmeldeseiten so oft modifizieren. Solltes Du bei Gelegenheit mal den HelloEngines Jungs sagen (oder mir ne Mail schreiben, dann sag ich es Ihnen … sitzen einen Stock tiefer *smile*)

Ach ja, außerdem bekomme ich jetzt ständig über mein cgi
Script eine Fehlermeldung. irgendeine Suchmascihne scheint
ständig nach robots.txt zu suchen. Muß ich eine robots.txt
erstellen? Wenn ja was muß darin enthalten sein?

Schau mal auf http://www.teamone.de/selfhtml/tcbc.htm .
Dort ist die Verwendung des robots erklärt. Dieser wird eben von Suchmaschinen angesprochen. Dort steht dann drin, ob die Suchmaschine dem link folgen soll, etc.

Wäre dann z.b. eine Angabe.

Gruß
H.

0 Hilfreich

Ach ja, außerdem bekomme ich jetzt ständig über mein cgi
Script eine Fehlermeldung. irgendeine Suchmascihne scheint
ständig nach robots.txt zu suchen. Muß ich eine robots.txt
erstellen? Wenn ja was muß darin enthalten sein?

Hallo Claudia,

die Spider der Suchmaschinen suchen, bevor sie Deine Seiten indexieren, zuerst nach der robots.txt. Genauere Infos gibt es hier:

http://www.searchcode.de/artikel/robotstxt.shtml
http://www.searchcode.de/robotstxt.htm (Generator für robots.txt)

Viele Grüße,
Ron

0 Hilfreich
Antwort auf Ron_Wernecke_a42b00zum Beitrag ↑

Ach ja, außerdem bekomme ich jetzt ständig über mein cgi Script eine Fehlermeldung. irgendeine Suchmascihne scheint ständig nach robots.txt zu suchen. Muß ich eine robots.txt erstellen? Wenn ja was muß darin enthalten se …

Hallo ron,
wenn ich das also richtig verstanden habe brauch ich nur eine robots.txt zu erstellen in der folgendes steht:

User-agent: *
Disallow: /

In diesem Fall fürde nur index.html aufgenommen und den Links nicht gefolgt?

Ich verstehe nur den Sinn nicht. Genügen nicht die normalen Metatags in der index.html?

Claudia

0 Hilfreich
Antwort auf claudia_33e278zum Beitrag ↑

Hallo ron, wenn ich das also richtig verstanden habe brauch ich nur eine robots.txt zu erstellen in der folgendes steht: User-agent: * Disallow: / In diesem Fall fürde nur index.html aufgenommen und den Links nicht gefol …

wenn ich das also richtig verstanden habe brauch ich nur eine
robots.txt zu erstellen in der folgendes steht:

User-agent: *
Disallow: /

In diesem Fall fürde nur index.html aufgenommen und den Links
nicht gefolgt?

Nein, in diesem Fall würdest Du alle Dateien und alle Verzeichnisse für die Robots sperren, also auch die index.html.

In Deinem Fall müßtest Du wohl in der robots.txt alle Dateien und Verzeichnisse, die nicht aufgenommen werden sollen, aufzählen. Oder alles zulassen (dann ohne den /) und über die Metatags und nofollow/noindex eine Aufnahme der anderen Seiten verhindern.

Beachte aber auf jeden Fall, dass sich nicht alle Suchmaschinen an die Angaben halten. Also keine Gewähr für gar nichts. :smile:

Ich verstehe nur den Sinn nicht. Genügen nicht die normalen
Metatags in der index.html?

Der Sinn einer robots.txt liegt darin, dass man genau vorgeben kann (ob sich die Robots da nun dran halten oder nicht ist eine andere Frage…), welche Verzeichnisse nicht indexiert werden sollen. Z.B. ist es ja unsinnig, dass der Grafik-Ordner aufgenommen bzw. durchsucht wird. Das erzeugt nur unnötigen Traffic.

Da fast alle Robots nach dieser Datei suchen, ist es ratsam, auch eine zu haben. Es sei denn, man möchte die ganzen Error-Einträge in den Logfiles haben… Und wenn man in der robots.txt nur stehen hat, dass alles indexiert werden darf…

Viele Grüße,
Ron

0 Hilfreich
Antwort auf Ron_Wernecke_a42b00zum Beitrag ↑

wenn ich das also richtig verstanden habe brauch ich nur eine robots.txt zu erstellen in der folgendes steht: User-agent: * Disallow: / In diesem Fall fürde nur index.html aufgenommen und den Links nicht gefolgt? Nein, i …

Ok
also eine Datei die so ausssieht:

User-agent: *
Disallow: /index.html

Nun dürfte nur index.html aufgerufen werden?

Bisher habe ich noch keine robots.txt und in letzter Zeit kommen auch keine Fehlermeldungen mehr. Hat die Suchmaschine jetzt aufgegeben danach zu suchen oder kommt diese nochmal wieder?

Claudia

0 Hilfreich
Antwort auf claudia_33e278zum Beitrag ↑

Ok also eine Datei die so ausssieht: User-agent: * Disallow: /index.html Nun dürfte nur index.html aufgerufen werden? Bisher habe ich noch keine robots.txt und in letzter Zeit kommen auch keine Fehlermeldungen mehr. Hat …

also eine Datei die so ausssieht:

User-agent: *
Disallow: /index.html

Nun dürfte nur index.html aufgerufen werden?

Nein, genau falsch, jetzt dürften alle Dateien außer der index.html aufgerufen werden. Hier verbietest Du ja explizit die Indexierung von index.html. Du musst alle Dateien nennen, die nicht indexiert werden sollen.

Bisher habe ich noch keine robots.txt und in letzter Zeit
kommen auch keine Fehlermeldungen mehr. Hat die Suchmaschine
jetzt aufgegeben danach zu suchen oder kommt diese nochmal
wieder?

Die Suchmaschine kommt ja nicht ständig vorbei, sondern nur in unregelmäßigen Abständen. Auch wird es nicht nur eine Suchmaschine sein, die nach der robots.txt sucht, sondern viele. Über kurz oder lang wirst Du also wieder Fehlermeldungen bekommen…

Viele Grüße,
Ron

0 Hilfreich
Antwort auf Ron_Wernecke_a42b00zum Beitrag ↑

also eine Datei die so ausssieht: User-agent: * Disallow: /index.html Nun dürfte nur index.html aufgerufen werden? Nein, genau falsch, jetzt dürften alle Dateien außer der index.html aufgerufen werden. Hier verbietest Du …

Hi Ron.
Also vielleicht habe ich es ja jetzt verstanden:
Es existieren auf meiner Homepage folgende Verzeichnisse:
daten - cgi-bin - gastbuch - forum

Es befinden sich im Hauptverzeichnis wie index.html noch folgende Dateien:
news.html - home.html - newsletter.html

So sieht meine robots.txt jetzt aus:

User-agent: *

Gesperrte Verzeichnisse

Disallow: /daten/
Disallow: /cgi-bin/
Disallow: /gastbuch/
Disallow: /forum/

Gesperrte Datein

Disallow: /news.html
Disallow: /home.html
Disallow: /newsletter.html

So dürfte den Suchmaschinen also nichts mehr im Wege stehen nur meine index.html zu finden…?

Gibts da keine Möglichkeit den Suchmaschinen mitzuteilen welche er aufsuchen darf? Wäre doch dann viel kürzer als alle aufzuzählen die sie nicht suche darf.

Gruß
Claudia

0 Hilfreich
Antwort auf claudia_33e278zum Beitrag ↑

Hi Ron. Also vielleicht habe ich es ja jetzt verstanden: Es existieren auf meiner Homepage folgende Verzeichnisse: daten - cgi-bin - gastbuch - forum Es befinden sich im Hauptverzeichnis wie index.html noch folgende Date …

So dürfte den Suchmaschinen also nichts mehr im Wege stehen
nur meine index.html zu finden…?

Theoretisch ja. Aber wie gesagt, es halten sich nicht alle dran…

Gibts da keine Möglichkeit den Suchmaschinen mitzuteilen
welche er aufsuchen darf? Wäre doch dann viel kürzer als alle
aufzuzählen die sie nicht suche darf.

Du kannst mit ‚Allow: index.html‘ angeben, welche Datei er aufnehmen darf, das heißt dann aber noch lange nicht, dass die anderen nicht aufgenommen werden sollen. Ich würde es so lassen wie es jetzt ist…

Viele Grüße,
Ron

0 Hilfreich

Deine Antwort

Zum Antworten bitte anmelden oder kostenlos registrieren.