Zum Inhalt springen
Frage 7. März 2006 · 8 Antworten

XML- Software, die es doch geben sollte

Hallo,
leicht habe ich es mir nicht gemacht, die folgenden Fragen unter der Rubrik XML zu posten, aber ich denke, dass sich hier diejenigen treffen, die mir am ehesten helfen können:

Ich suche zum einen nach einer Applikation mit der es möglich ist, (X)Html-Code in ein eigenes/fremdes XML-Schema zu transformieren; vielleicht sogar online. Sie müssen in jedem Fall , vielleicht sogar durch Definition einer austauschbaren XML-Datei oder ähnlichem, in ein eigenes XML-Format gewandelt werden.

Zum anderen suche ich- ebenfalls ein Programm -mit dem ich normalen Text in einen (speziellen) XML-Code transformieren kann. Also ähnlich wie oben. Nur dass eben die fehlende Struktur durch irgendwelche Lösungen, bspw. durch Angabe von Schlüssel(wörtern), ersetzt wird.

Die letzten vier Tage habe ich intensivst das Internet, mit all den Suchmöglichkeiten, bemüht und nichts gefunden.
Vielleicht hat ja jemand von euch eine solche Lösung schon mal gesehen oder findet was und kann mir weiterhelfen.

Wichtig: Es geht mir dabei nicht um Programmierung.

Vielen Dank in jedem Fall im Voraus.

Caspar

Diese Frage stammt aus dem Jahr 2006. Weißt du es heute besser?

Aktuelle Antwort ergänzen

8 Antworten

hallo caspar,

Ich suche zum einen nach einer Applikation mit der es möglich
ist, (X)Html-Code in ein eigenes/fremdes XML-Schema zu
transformieren;

mmh, ich weiss nicht wirklich was du mit xml-code meinst…wenn du ein xml-dokument meinst macht dessen transformation in ein fremdes schema m.e. keinen sinn…

xml wird durch xslt’s transformiert…da xsd’s (=XML-Schema) selber auch wieder xml sind kannst du mit xslt’s auch xsd’s transformieren.

vielleicht sogar online. Sie müssen in jedem
Fall , vielleicht sogar durch Definition einer austauschbaren
XML-Datei oder ähnlichem, in ein eigenes XML-Format gewandelt
werden.

m.e. gibts nur ein xml-format: was meinst DU damit, das encoding, das zugrundeliegende xsd, …

Zum anderen suche ich- ebenfalls ein Programm -mit dem ich
normalen Text in einen (speziellen) XML-Code transformieren
kann. Also ähnlich wie oben. Nur dass eben die fehlende
Struktur durch irgendwelche Lösungen, bspw. durch Angabe von
Schlüssel(wörtern), ersetzt wird.

ok, hier kapiere ich, was du willst, das sollte sich im netz finden, notfalls guck ein paar threads unter deinem, da wurde das schon mal besprochen…

Die letzten vier Tage habe ich intensivst das Internet, mit
all den Suchmöglichkeiten, bemüht und nichts gefunden.

misversteh’ dies nicht als fundamental-kritik, aber ich habe etwas erfahrung i.d. xml-welt und irgendiwe wurde selbst ich (bin keine doofe suchmaschine) auch nicht schlau, was du nun eigtl. willst.

hth,

stefan

0 Hilfreich
Antwort auf f_sigzum Beitrag ↑

hallo caspar, Ich suche zum einen nach einer Applikation mit der es möglich ist, (X)Html-Code in ein eigenes/fremdes XML-Schema zu transformieren; mmh, ich weiss nicht wirklich was du mit xml-code meinst…wenn du ein xml- …

Hallo Stefan,
vielen Dank für deine Antwort.

Deine Kritik ist berechtigt. Deshalb werde ich den ersten Punkt gleichmal nachbessern- oh wie peinlich.

  1. Problembeschreibung- Status Quo:
    Ich habe tausende von Webseiten. In all diesen Webseiten gibt es einen relevanten Inhalt und Müll, wie z.B. Werbung. Ich brauche den Inhalt aus diesen in einer XML-Struktur, nach einem bestimmten immergleichen selbstdefinierten Schema; damit ich z.B. so etwas wie eine Suche oder ein einheitliches Layout auf alle XML-Dateien ausführen kann.
    Da jede Seite anders aufgebaut oder zumindest damit zu rechnen ist, sollte es eine Möglichkeit geben Änderungen irgendwie „einstellen“ zu können.

  2. Mein Gedanke:
    Man macht das mit einer XML-Datei, wegen all dieser Vorteile, die sich daraus ergeben.
    Aber das ist mein Gedanke und wenn es bereits eine fertig programmierte Lösung gibt, dann höchstwahrscheinlich mit einer anderen Möglichkeit Einstellungen vornehmen zu können. An dieser Stelle habe ich wohl, und das sehe ich ganz selbstkritisch, ein bisschen rumgeiert.

  3. Eigentliche Frage:
    Gibt es bereits Software, die das leistet oder auch nur annähernd? Ich werde vermutlich speziell für mein Problem eh eine eigene Applikation entwickeln müssen- davon gehe ich aus. Aber ich dachte, dass es doch sowas schon geben muss- beliebige Webseiten nach XML mit Einstellmöglichkeiten.

Und das mit den Textdateien ist von der Problematik im Prinzip ähnlich; beliebigen Text->XML. Aber da hattest du mir ja bereits gesagt, dass ich das Forum noch mal durchschauen soll. Mach ich dann auch noch.

Beste Grüße

Caspar

0 Hilfreich
Antwort auf Caspar_ce1ba0zum Beitrag ↑

Hallo Stefan, vielen Dank für deine Antwort. Deine Kritik ist berechtigt. Deshalb werde ich den ersten Punkt gleichmal nachbessern- oh wie peinlich. Problembeschreibung- Status Quo: Ich habe tausende von Webseiten. In al …

hallo caspar,

ein bischen ist mir klarer was du willst, das mehr an vermeintlicher klarheit meinerseits kommt aber mehr daher, dass ich glaube zu erahnen was du willst:

  1. Problembeschreibung- Status Quo:
    Ich habe tausende von Webseiten. In all diesen Webseiten gibt
    es einen relevanten Inhalt und Müll, wie z.B. Werbung. Ich
    brauche den Inhalt aus diesen in einer XML-Struktur, nach
    einem bestimmten immergleichen selbstdefinierten Schema;

ok, ich kapiere: webseiten mit inhalt, der inhalt ist relevant und nicht-relevant. ‚aus diesen‘ (ich vermute: den relevanten inhalt) soll in ein xml-dokument geschrieben werden, dessen xsd von dir definiert ist?

Da jede Seite anders aufgebaut oder zumindest damit zu rechnen
ist, sollte es eine Möglichkeit geben Änderungen irgendwie
„einstellen“ zu können.

äh…ägypten?

einstellen meint das jetzt eine semantische analyse per software, die relevant von nicht relevant trennt, wer stellt hier ein, vor allem aber: was? was meinst du mit änderungen einstellen?

  1. Mein Gedanke:
    Man macht das mit einer XML-Datei, wegen all dieser Vorteile,
    die sich daraus ergeben.

diesen gedanke verstehe sogar ich.

Aber das ist mein Gedanke und wenn es bereits eine fertig
programmierte Lösung gibt, dann höchstwahrscheinlich mit einer
anderen Möglichkeit Einstellungen vornehmen zu können. An
dieser Stelle habe ich wohl, und das sehe ich ganz
selbstkritisch, ein bisschen rumgeiert.

ja, und tust es noch…ich will einfach nicht nur vermuten, was du mit ‚einstellungen‘ meinst, wenn ich dir helfen soll, dann sag es…

  1. Eigentliche Frage:
    Gibt es bereits Software, die das leistet oder auch nur
    annähernd? Ich werde vermutlich speziell für mein Problem eh
    eine eigene Applikation entwickeln müssen- davon gehe ich aus.
    Aber ich dachte, dass es doch sowas schon geben muss-
    beliebige Webseiten nach XML mit Einstellmöglichkeiten.

sobald du mir sagst was du mit ‚Einstellmöglichkeiten‘ meinst…

Und das mit den Textdateien ist von der Problematik im Prinzip
ähnlich; beliebigen Text->XML. Aber da hattest du mir ja
bereits gesagt, dass ich das Forum noch mal durchschauen soll.

du muss gar nicht weit gucken, nur zwei threads unter deinem hatte ich das gefunden…

wenn du nicht viel worte machn willst, dann sag einfach in einem satz, was reingehen soll und mit einem satz, was herauskommen soll. aber diese sätze sollten dann nur wörter enthalten, die nicht mehr interpretiert werden müssen.
…und wie gesagt, auch in meinem fall gibt es hoffnung, ich habe imerhin schon kapiert, dass hier der content von web-sites gefiltert werden woll und das gefilterte (was immer das sei) ‚irgendwie‘ in ‚irgendein‘ xml-etwas geschrieben wird.

…es wundert mich nicht, dass man dazu im netz nix oder 12830484763 angaben findet…

hth,

stefan

0 Hilfreich

Hallo Caspar,

wenn ich deinen Beitrag und die bisherigen Antworten verstanden habe folgende Idee:

Anscheinend möchtest du aus ganz vielen HTML Seiten bestimmte Inhalte extrahieren.

Also zunächst alle HTML Dateien einlesen, den gewünschten Inhalt identifizieren und wegschreiben.

Ich habe unter .net (c#) mal was probiert. Man kann über ein Web-Control eine HTML Datei laden. Sofern man eine Liste hat kann man auch alle Seiten automatisiert einlesen. In dem Web-Control kann man dann per DOM auf die Inhalte zugreifen. Damit kann man beliebige Teile ansprechen.

Sofern die Inhalte automatisiert erkannt werden sollen stellt sich die Frage: Woran erkennst du den relevanten Inhalt? Unterstellt das geht könnte man die auch per DOM finden. Danach kann man den Inhalt in eine „beliebige“ Stuktur umwandeln, also auch XML.

Ob ein XSD hier hilfreich ist wage ich zu bezweifeln. Sind denn die HTML Seiten so „sauber“ strukturiert, dass die Inhalte „gleiche“ Strukturen haben?

Da ich das Thema „spannend“ finde würde ich mich über eine Antwort freuen!

mfg

Dirk.Pegasus

0 Hilfreich
Antwort auf Dirk_Pegasuszum Beitrag ↑

Hallo Caspar, wenn ich deinen Beitrag und die bisherigen Antworten verstanden habe folgende Idee: Anscheinend möchtest du aus ganz vielen HTML Seiten bestimmte Inhalte extrahieren. Also zunächst alle HTML Dateien einlese …

hallo dirk, hallo caspar,

Anscheinend möchtest du aus ganz vielen HTML Seiten bestimmte
Inhalte extrahieren.

ja, so hatte ich das auch interpretiert…nur ist unklar, wie ‚bestimmte‘ inhalte definiert sidn, das ist m.e. ja der dreh und angelpunkt der geschichte…weil das

Ich habe unter .net (c#) mal was probiert. Man kann über ein
Web-Control eine HTML Datei laden. Sofern man eine Liste hat
kann man auch alle Seiten automatisiert einlesen.

wie du sagst ja kein problem ist (HttpRequest / -Respones heissen die namespaces der wahl hier…)

In dem
Web-Control kann man dann per DOM auf die Inhalte zugreifen.
Damit kann man beliebige Teile ansprechen.

mmh, ja, du meinst ein xml-dom - richtig?

…da müsste uns caspar den konkreten fall nennen, weil html nicht notwendig valides xml sein muss (browser können mehr als parser)

Sofern die Inhalte automatisiert erkannt werden sollen stellt
sich die Frage: Woran erkennst du den relevanten Inhalt?

oh, ja genau!

Unterstellt das geht könnte man die auch per DOM finden.

dies finde ich gewagt…daher wäre meine idee das mit regular expressions zu machen, also erst beim wegschreiben des inhalts mit xml arbeiten, zuvor die response als text mittels reg.exp. ‚parsen‘.

zu regularexpressions:
http://www.codeproject.com/books/0672325802.asp

und hier ein beispiel, wo dies (seite aufrufen & filtern) jemand macht, um sich von google text überstezen zu lassen:

http://www.codeproject.com/csharp/translateresx.asp

Ob ein XSD hier hilfreich ist wage ich zu bezweifeln. Sind
denn die HTML Seiten so „sauber“ strukturiert, dass die
Inhalte „gleiche“ Strukturen haben?

genau! dieses problem sehe ich auch…‚man‘ kann sich ja noch nicht mal auf valides xml verlassen…

Da ich das Thema „spannend“ finde würde ich mich über eine
Antwort freuen!

dito.

stefan

0 Hilfreich
Antwort auf Dirk_Pegasuszum Beitrag ↑

Hallo Caspar, wenn ich deinen Beitrag und die bisherigen Antworten verstanden habe folgende Idee: Anscheinend möchtest du aus ganz vielen HTML Seiten bestimmte Inhalte extrahieren. Also zunächst alle HTML Dateien einlese …

Hallo Dirk,
vielen Dank für deine Teilnahme.
Zu Beginn möchte ich kurz darauf hinweisen, dass ich in aller erster Linie bereits fertige Programme suche, die die Trennung mehr oder weniger schon leisten. Wie wurde was, womit umgesetzt? Das will ich untersuchen.

Die Programmierung für mein spezielles Problem kommt erst später. Da dich das Thema interessiert, gehe ich auf die einzelnen Punkte genauer ein:
Die Inhalte sind in der Tat sehr ähnlich. Man hat z.B. immer einen (uninteressanten)Frame links, einen oben und hier und da immer wieder mal Werbung- wenn es Ausnahmen gibt, dann muss man sehen, ob und wie man darauf eingehen kann. Alles relevante ist mehr oder weniger zusammenhängender Text.

Hier dann gleich zu einem weiteren Punkt: Sicher kennst du das Cocoon-Framework. Bei Cocoon gibt es die sitemap.xmap . Hier werden sehr viele Einstellungen vorgenommen. Genau das Gleiche hatte ich mir auch zur Beschreibung des gesuchten, des relevanten Inhalts überlegt.

Ein XSD, also die Struktur der Zieldaten, kommt erst zum tragen, wenn ich Inhalt habe, der frei von „Müll“ ist. Wichtig ist an dieser Stelle zu verstehen, dass alles was an Texten aus den Webseiten herausgeholt wurde, in einer einheitlichen Struktur gespeichert werden muss. Des Weiteren sollen auch freiwillige, wenn sie etwas hochladen wollen, um das Projekt zu unterstützen, sich an ein bestimmtes Schema halten soll(t)en.

Die, die die XML-Dateien- ich stelle sie für jedermann zur Verfügung- nutzen wollen, können mit nur einer XSLT-, XQuerry-, CSS-Datei etc. alle Informationen nach ihren ganz persönlichen Wünschen bearbeiten(z.B. Barrierefreies Internet). Und dazu brauche ich ein XSD- nicht mehr und auch nicht weniger… bis jetzt jedenfalls 😉

Viele Grüße

Caspar

0 Hilfreich
Antwort auf Caspar_ce1ba0zum Beitrag ↑

Hallo Dirk, vielen Dank für deine Teilnahme. Zu Beginn möchte ich kurz darauf hinweisen, dass ich in aller erster Linie bereits fertige Programme suche, die die Trennung mehr oder weniger schon leisten. Wie wurde was, wo …

Hallo Caspar,

Wie wurde was, womit umgesetzt? Das will ich untersuchen.

Also wie eine Seite erstellt wurde? ASP(x),xml …? ME Unerheblich, da letztlich alle (mehr oder weiniger …) HTML liefern. Ich dachte, dir geht es um Inhalte?

Die Inhalte sind in der Tat sehr ähnlich. Man hat z.B. immer
einen (uninteressanten)Frame links, einen oben und hier und da
immer wieder mal Werbung- wenn es Ausnahmen gibt, dann muss
man sehen, ob und wie man darauf eingehen kann. Alles
relevante ist mehr oder weniger zusammenhängender Text.

Was verstehst du unter zusammenhängendem Text in einer HTML Seite?

Hier dann gleich zu einem weiteren Punkt: Sicher kennst du das
Cocoon-Framework. Bei Cocoon gibt es die sitemap.xmap . Hier
werden sehr viele Einstellungen vorgenommen. Genau das Gleiche
hatte ich mir auch zur Beschreibung des gesuchten, des
relevanten Inhalts überlegt.

Cocoon ist mit unbekannt, sollte aber unerheblich sein.

Ein XSD, also die Struktur der Zieldaten, kommt erst zum
tragen, wenn ich Inhalt habe, der frei von „Müll“ ist. Wichtig
ist an dieser Stelle zu verstehen, dass alles was an Texten
aus den Webseiten herausgeholt wurde, in einer einheitlichen
Struktur gespeichert werden muss. Des Weiteren sollen auch
freiwillige, wenn sie etwas hochladen wollen, um das Projekt
zu unterstützen, sich an ein bestimmtes Schema halten
soll(t)en.

Beim Upload sollte das kein Problem sein. Beim Auslesen kannst du ja den Inhalt frei neu Strukturieren, obs da ein XSD braucht, naja.

Die, die die XML-Dateien- ich stelle sie für jedermann zur
Verfügung- nutzen wollen, können mit nur einer XSLT-,
XQuerry-, CSS-Datei etc. alle Informationen nach ihren ganz
persönlichen Wünschen bearbeiten(z.B. Barrierefreies
Internet). Und dazu brauche ich ein XSD- nicht mehr und auch
nicht weniger… bis jetzt jedenfalls 😉

Dazu brauchst du kein XSD. Wenn due die Daten „wohl strukturiert“ ablegts sollte das reichen. ein XSD ist here zur Kontrolle oder bei der neuen Erstellung von Daten wichtig.

Aber ich werde das Gefühl nicht los, das ich etwas wichtiges nicht verstanden habe. Kann es sein, das alle Seiten, die du scannen möchtest aus einem „Cocoon“ Umfeld stammen und damit ähnliche Strukturen haben müssen? Das könnte den Fall sehr erleichtern.

mfg

Dirk.Pegasus

0 Hilfreich
Antwort auf f_sigzum Beitrag ↑

hallo dirk, hallo caspar, Anscheinend möchtest du aus ganz vielen HTML Seiten bestimmte Inhalte extrahieren. ja, so hatte ich das auch interpretiert…nur ist unklar, wie ‚bestimmte‘ inhalte definiert sidn, das ist m.e. ja …

Hallo Flüssiga,

hier nur Antworten auf das was „mich“ betrifft. Rest siehe oben an Caspar.

In dem
Web-Control kann man dann per DOM auf die Inhalte zugreifen.
Damit kann man beliebige Teile ansprechen.

mmh, ja, du meinst ein xml-dom - richtig?

Ich meine nicht XQuery, XPath oder ähnliches, sondern das DOM einer Web-Seite. In der kann man per GetElementById etc. auf die Objekte zugreifen, wie dir sicher bekannt ist.

…da müsste uns caspar den konkreten fall nennen, weil html
nicht notwendig valides xml sein muss (browser können mehr als
parser)

Eben, und daher direkt per DOM und nicht per XML.
(Hab mal versucht eine HTML Datei einfach als XML einzulesen, vergiss es…

dies finde ich gewagt…daher wäre meine idee das mit regular
expressions zu machen, also erst beim wegschreiben des inhalts
mit xml arbeiten, zuvor die response als text mittels reg.exp.
‚parsen‘.

hab das Gefühl, das per Struktur zu suchen ist. reg.exp würde ja eher Inhalte untersuchen. Das scheint aber nicht das Ziel zu sein.

Ob ein XSD hier hilfreich ist wage ich zu bezweifeln. Sind
denn die HTML Seiten so „sauber“ strukturiert, dass die
Inhalte „gleiche“ Strukturen haben?

siehe oben bei Caspar.

mfg und auch gespannt wies weitergeht.

Dirk.Pegasus

0 Hilfreich

Deine Antwort

Zum Antworten bitte anmelden oder kostenlos registrieren.