Zum Inhalt springen
Frage 11. Mai 2010, 10:37 Uhr · 7 Antworten

Bestimmte Informationen aus Webseite auslesen

Hallo,

für meinen studentischen Nebenjob darf ich von einer Webseite immer die gleichen Informationen von verschiedenen Profilen raus suchen und in ein Exel Dokument packen. Leider sind das über 7000 Profile und ich bekomme schon ne Sehnenscheinentzündung vom ganzen kopieren und einfügen.

Habe ich Möglichkeiten (z.B. per Webcrawler) diese immer gleichen (und öffentlichen) Informationen automatisiert abrufen zu lassen und beispielsweise in eine CSV-Datei oder Datenbank zu speichern?

Ach ja, es handelt sich um statische Inhalte. Für ein paar Tipps wäre ich super dankbar.

MfG,

D

Diese Frage stammt aus dem Jahr 2010. Weißt du es heute besser?

Aktuelle Antwort ergänzen

7 Antworten

Moin,

schreib Dir ein Programm:
Website per HTTP abrufen.
Inhalte parsen.
Gewünschte Informationen auslesen und speichern.
Fertig.

Grüße,
-Efchen

0 Hilfreich
Antwort auf Efchenzum Beitrag ↑

Moin, schreib Dir ein Programm: Website per HTTP abrufen. Inhalte parsen. Gewünschte Informationen auslesen und speichern. Fertig. Grüße, -Efchen

Hallo Efchen,

danke für Deine schnelle Antwort. Das Prinzip, welches Du mir ja gerade erklärt hast, habe ich ja schon verstanden. Leider bin ich nicht wirklich in der Lage mir ein eigenes Programm zu schreiben. Es gibt doch sicherlich schon einiges an fertiger Software/Freeware, die mir hierbei unter die Arme greifen kann?!

0 Hilfreich
Antwort auf dsun84zum Beitrag ↑

Hallo Efchen, danke für Deine schnelle Antwort. Das Prinzip, welches Du mir ja gerade erklärt hast, habe ich ja schon verstanden. Leider bin ich nicht wirklich in der Lage mir ein eigenes Programm zu schreiben. Es gibt d …

danke für Deine schnelle Antwort. Das Prinzip, welches Du mir
ja gerade erklärt hast, habe ich ja schon verstanden. Leider
bin ich nicht wirklich in der Lage mir ein eigenes Programm zu
schreiben. Es gibt doch sicherlich schon einiges an fertiger
Software/Freeware, die mir hierbei unter die Arme greifen
kann?!

Für den Download gibt es wget. Für das Auslesen der Information gibt es Data Mining Tools, die jedoch bereits verfügbar sein müssten, da deren Kauf, Installation und Wartung das Vermögen einer studentischen Hilfskraft leicht überfordern dürfte.

Wenn die auszuführenden Vorgänge aber so weit identisch sind, dass immer gleiche Mausbewegungen/Tastaturanschläge zum Ziel führen, kannst du wesentliche Elemente mit Hilfe eines (Achtung: Suchbegriff-&gt:wink: Makrorekorders teilautomatisieren.

HTH

0 Hilfreich
Antwort auf herrmann_59614fzum Beitrag ↑

danke für Deine schnelle Antwort. Das Prinzip, welches Du mir ja gerade erklärt hast, habe ich ja schon verstanden. Leider bin ich nicht wirklich in der Lage mir ein eigenes Programm zu schreiben. Es gibt doch sicherlich …

Für den Download gibt es wget. Für das Auslesen der
Information gibt es Data Mining Tools, die jedoch bereits
verfügbar sein müssten, da deren Kauf, Installation und
Wartung das Vermögen einer studentischen Hilfskraft leicht
überfordern dürfte.

grep?

Ist das was Du tun sollst überhaupt legal? Den Produktkatalog eines Konkurrenten kopieren oder Daten von Social Networks auslesen ist strafbar, um nur mal zwei Beispiele zu nennen…

Wenn’s legal sein sollte schreib mal um welche Webseite es geht - dann kann Dir besser geholfen werden.

0 Hilfreich
Antwort auf anon95437165zum Beitrag ↑

Für den Download gibt es wget. Für das Auslesen der Information gibt es Data Mining Tools, die jedoch bereits verfügbar sein müssten, da deren Kauf, Installation und Wartung das Vermögen einer studentischen Hilfskraft le …

Hey,

es handelt sich hier um die Seite: http://www.trustedshops.de/profil/

Von sämtlichen Händlerprofilen brauche ich die STammdaten (E-Mail-Adresse, Telefonnummer, ASP, usw…). Sollte also legal sein 😉

Wie gesagt, da es sich um rund 7000 Händler handelt (Ich habe bereits 1000 händisch ermittelt), wäre eine automatisierte Möglichkeit echt super.

MfG,

D

0 Hilfreich
Antwort auf dsun84zum Beitrag ↑

Hey, es handelt sich hier um die Seite: http://www.trustedshops.de/profil/ Von sämtlichen Händlerprofilen brauche ich die STammdaten (E-Mail-Adresse, Telefonnummer, ASP, usw…). Sollte also legal sein 😉 Wie gesagt, da es …

Von sämtlichen Händlerprofilen brauche ich die STammdaten
(E-Mail-Adresse, Telefonnummer, ASP, usw…). Sollte also
legal sein 😉

Wirklich? Mir klingt das nach einem flagranten Verstoss gegen § 87b UrhG Rechte des Datenbankherstellers. http://www.gesetze-im-internet.de/urhg/__87b.html

Gruß

0 Hilfreich

Auch hallo

automatisiert
abrufen zu lassen und beispielsweise in eine CSV-Datei oder
Datenbank zu speichern?

Mit der Programmiersprache Perl und den Modulen WWW::Mechanize und HTML::TableExtract sollte das möglich sein…

mfg M.L.

0 Hilfreich

Deine Antwort

Zum Antworten bitte anmelden oder kostenlos registrieren.