Daten aus einer Website auslesen

Internet
#1

Hallo

Ich hoffe ich komme bei Euch mit meiner Anfrage nicht als Hacker rüber!
Ich betreibe einen Onlineshop, in meinem Gebiet gibt es natürlich viele Mitbewerber.
Der Preiskampf ist ziemlich heftig, ich muss wie alle andern die Preise der Konkurrenz im Auge behalten, was bei grosser Datenmenge ziemlich schwierig ist.

So suche ich nun nach einem Lösungsansatz, wie ich bei 2-3 Konkurrenten ihre Preise „tracen“ kann.

Das einzige was mir bis jetzt in den Sinn gekommen ist, wäre eine Excelliste von Hand abzufüllen, d.h. ich geh auf den Onlineshop meines Konkurrenten und klicke mich mühselig durch seine Kategorien und schreibe mir die ganzen Preise auf.

Nun steht natürlich die Frage nah, ob es da nicht einen einfacheren Weg gibt, bzw. wie machen das die ganz Grossen?

Ein weiterer Versuch ist leider kläglich fehlgeschlagen: Ich hab mir mal so einige Preise mit der obigen Methode rausgeschrieben und versucht einen Schnitt zu finden, also ich habe versucht festzustellen für was für Preise meine Konkurrenz gegenüber den empfohlenen Verkaufspreisen verkauft. Dies funktioniert leider nicht, weil sie alle „Köderprodukte“ verkaufen. d.h. einige Ihrer Artikel verkaufen sie weit unterer einem „normalen“ Preis um die Kunden anzulocken und den Eindruck zu erwecken sie seien günstig.

Also muss es mir irgendwie gelingen die Preise der Konkurrenz „rauszusaugen“

vielen Dank für Eure Hilfe

Niki

#2

Hallo Niki,

so wie ich das sehe, wirst Du keine andere Möglichkeit haben als die Preise automatisiert auszulesen. Das ist sicherlich möglich, setzt jedoch Kenntnisse in der Programmierung voraus und vor allem Erfahrung, damit das Ding pflegbar - wenn ein Konkurrent seinen Auftritt ändert - als auch erweiterbar - wenn ein neuer Konkurrent erfasst werden soll - sein kann.

Ganz preiswert wird das bei professioneller Umsetzung nicht werden, ob Du diese Ausgaben jedoch als Investition sehen kannst und Dir das einen entsprechend großen Wettbewerbsvorteil verschaffen kann, musst Du selbst einschätzen.

Die Ausreißer könnte man dann auch mit Hilfe statistischer Verfahren oder mit UVP-Vergleich bei einer Abweichung um eine bestimmte Schwelle identifizieren und gesondert behandeln.

Grüße
Thorsten

#3

Hallo Thorsten

Vielen Dank für Deine Antwort. Kannst Du mir kurz umschreiben wie diese Automatisierung ablaufen könnte? Es ist ja logisch dass ich mich beim Konkurrenten nicht ein-loggen kann und auch nicht will.

Du gibst mir jetzt zu verstehen dass das Ansprechen von bestimmten Feldern auf einer Website aber sehr wohl funktioniert. Aber wie? Gibt mir doch ein bisschen mehr Infos, vielleicht kommt mir dann in den Sinn wen ich in meinem Umfeld auf die Umsetzung ansprechen könnte.

Herzlichst
Niki

#4

Moin,

lies doch einfach die in Frage kommenden Webseiten aus und parse deren Inhalt.

Du kannst ja auch eine Suche simulieren, also Formulareingaben per HTTP senden, damit der Server Dir eine entsprechende Ergebnisliste liefert. Das kann u.U. unterbunden werden. Dann gehst Du über eine bekannte URL und hangelst Dich von Link zu Link, bis Du auf den gewünschten Seiten bist.

Was das „Ansprechen von bestimmten Feldern auf einer Webseite“ angeht: Webseiten sind nur reine Textdateien. Diese bekommst Du per HTTP vom Server ausgeliefert, diese musst Du parsen. D.h. Du suchst im Text nach den Daten oder eben auch Feldern, die DIch interessieren.

Wenn ein Anbieter den Aufbau seiner Seiten regelmäßig ändern sollte, wird diese einfache Methode natürlich immer wieder gegen die Wand fahren, aber Änderungen automatisch zu erkennen, das ist schon eine ganz andere Liga.

Schönes Wochenende,
-Efchen

#5

Hallo Efchen

Ich versteh zwar total Bahnhof aber Du hast mir super Informationen gegeben. Werd mal versuchen rauszufinden wie man das umsetzt!

Herzlichen Dank!

Niki

#6

Hallo Niki,

ich will Dich nicht enttäuschen oder entmutigen, aber ohne entsprechende Vorkenntnisse und Erfahrung wirst Du mit so einem Projekt auf die Nase fallen.

Jedoch, um Dir zumindest einen Ansatzpunkt zu geben, würde ich Dir als Sprache C#.Net - sofern die Windows-Basis in Frage kommt - empfehlen.

Über SQL CE hast Du direkt einen vernünftigen und lizenzkostenfreien Datenspeicher an der Hand, den Du auch mit Excel ansprechen kannst. Weiterhin brauchst Du die Klasse WebRequest um an die Rohdaten zu kommen. Die in Frage kommenden Daten würde ich konfigurierbar in einer XML hinterlegen - pro Webseite eine, sozusagen ein Modul - und das Parsen würde ich mir sparen, um an die Daten zu kommen würde ich mich RegularExpressions (Klasse RegEx) bedienen. Hilfreich ist hier das RAD Regular Expression Studio, um die RegExs zu verfassen und zu prüfen.

Grüße & viel Spaß
Thorsten

#7

Auch hallo

Also muss es mir irgendwie gelingen die Preise der Konkurrenz
„rauszusaugen“

Mit der Programmiersprache „Perl“ und den richtigen Modulen könnte man das analog wie der Perlmeister automatisieren: http://www.perlmeister.com/art_ger.html (Artikel „Abgesaugt“ und „Datenrüssel“).

mfg M.L.