Bestimmte Informationen aus Webseite auslesen

Internet
1

Hallo,

für meinen studentischen Nebenjob darf ich von einer Webseite immer die gleichen Informationen von verschiedenen Profilen raus suchen und in ein Exel Dokument packen. Leider sind das über 7000 Profile und ich bekomme schon ne Sehnenscheinentzündung vom ganzen kopieren und einfügen.

Habe ich Möglichkeiten (z.B. per Webcrawler) diese immer gleichen (und öffentlichen) Informationen automatisiert abrufen zu lassen und beispielsweise in eine CSV-Datei oder Datenbank zu speichern?

Ach ja, es handelt sich um statische Inhalte. Für ein paar Tipps wäre ich super dankbar.

MfG,

D

2

Moin,

schreib Dir ein Programm:
Website per HTTP abrufen.
Inhalte parsen.
Gewünschte Informationen auslesen und speichern.
Fertig.

Grüße,
-Efchen

3

Hallo Efchen,

danke für Deine schnelle Antwort. Das Prinzip, welches Du mir ja gerade erklärt hast, habe ich ja schon verstanden. Leider bin ich nicht wirklich in der Lage mir ein eigenes Programm zu schreiben. Es gibt doch sicherlich schon einiges an fertiger Software/Freeware, die mir hierbei unter die Arme greifen kann?!

4

danke für Deine schnelle Antwort. Das Prinzip, welches Du mir
ja gerade erklärt hast, habe ich ja schon verstanden. Leider
bin ich nicht wirklich in der Lage mir ein eigenes Programm zu
schreiben. Es gibt doch sicherlich schon einiges an fertiger
Software/Freeware, die mir hierbei unter die Arme greifen
kann?!

Für den Download gibt es wget. Für das Auslesen der Information gibt es Data Mining Tools, die jedoch bereits verfügbar sein müssten, da deren Kauf, Installation und Wartung das Vermögen einer studentischen Hilfskraft leicht überfordern dürfte.

Wenn die auszuführenden Vorgänge aber so weit identisch sind, dass immer gleiche Mausbewegungen/Tastaturanschläge zum Ziel führen, kannst du wesentliche Elemente mit Hilfe eines (Achtung: Suchbegriff-&gt:wink: Makrorekorders teilautomatisieren.

HTH

5

Für den Download gibt es wget. Für das Auslesen der
Information gibt es Data Mining Tools, die jedoch bereits
verfügbar sein müssten, da deren Kauf, Installation und
Wartung das Vermögen einer studentischen Hilfskraft leicht
überfordern dürfte.

grep?

Ist das was Du tun sollst überhaupt legal? Den Produktkatalog eines Konkurrenten kopieren oder Daten von Social Networks auslesen ist strafbar, um nur mal zwei Beispiele zu nennen…

Wenn’s legal sein sollte schreib mal um welche Webseite es geht - dann kann Dir besser geholfen werden.

6

Hey,

es handelt sich hier um die Seite: http://www.trustedshops.de/profil/

Von sämtlichen Händlerprofilen brauche ich die STammdaten (E-Mail-Adresse, Telefonnummer, ASP, usw…). Sollte also legal sein :wink:

Wie gesagt, da es sich um rund 7000 Händler handelt (Ich habe bereits 1000 händisch ermittelt), wäre eine automatisierte Möglichkeit echt super.

MfG,

D

7

Von sämtlichen Händlerprofilen brauche ich die STammdaten
(E-Mail-Adresse, Telefonnummer, ASP, usw…). Sollte also
legal sein :wink:

Wirklich? Mir klingt das nach einem flagranten Verstoss gegen § 87b UrhG Rechte des Datenbankherstellers. http://www.gesetze-im-internet.de/urhg/__87b.html

Gruß

8

Auch hallo

automatisiert
abrufen zu lassen und beispielsweise in eine CSV-Datei oder
Datenbank zu speichern?

Mit der Programmiersprache Perl und den Modulen WWW::Mechanize und HTML::TableExtract sollte das möglich sein…

mfg M.L.