Zum Inhalt springen
Frage 31. Oktober 2003 · 4 Antworten

Encoding beim Einlesen von xml

Hallo,

ich muß große xml-Files (können auch mal über 30 MB erreichen) in Java einlesen.
Erstellt werden sie aus Excel heraus und haben damit ein default-Encoding UTF-8, welches aber in der ersten Zeile des xml-Files nicht eingetragen wird.
Nun macht es aber für den SAXBuilder offensichtlich einen Unterschied, ob in der ersten Zeile das encoding definiert wird (<?xml encoding="UTF-8"?>) oder nicht (obwohl doch, wenn keine Angabe erfolgt, eigentlich „UTF-8“ der gängige Standard wäre).

Nun zu meiner Frage: gibt es eine Möglichkeit, beim Einlesen zu definieren, von welchem Encoding auszugehen ist, wenn im xml-File selber nichts definiert wurde?

Ich möchte das File aus Speicher- und Performance-Gründen ungern mehr als einmal in den Speicher laden und ich möchte aus diesen Gründen auch nicht die erste Zeile programmatisch durch lesen und schreiben des Files ändern.

Danke und Gruß
Claudia

Diese Frage stammt aus dem Jahr 2003. Weißt du es heute besser?

Aktuelle Antwort ergänzen

4 Antworten

Excel trägt dies wahrscheinlich deshalb nicht ein, weil die Codierung aus den ersten beiden Byte im Dateikopf hervorgeht. Ferner meckert der IE oder ein Script, das die MSXML3 verwendet, sofort, wenn man bsp. eine ANSI- oder UTF-8 - Datei mit encoding=‚UTF-16‘ in der Declaration auszeichnet - in der MS-Welt scheint alles konsistent zu sein.

Damit scheint es eine Schwäche von dem SAXBuilder zu sein, falls man die Datei direkt einliest. Selbst verwende ich den SAXBuilder nicht, aber in der Doku ist die Build-Methode vielfach überladen. Da man auch mit characterStream arbeiten kann, vermute ich, daß sich über eine solche Methode die encoding-Version direkt angeben läßt.


Gruß, Jürgen Auer

0 Hilfreich
Antwort auf J_rgen_Auerzum Beitrag ↑

Excel trägt dies wahrscheinlich deshalb nicht ein, weil die Codierung aus den ersten beiden Byte im Dateikopf hervorgeht. Ferner meckert der IE oder ein Script, das die MSXML3 verwendet, sofort, wenn man bsp. eine ANSI- …

Hallo Jürgen,

erstmal vielen Dank für Deine Antwort.

Excel trägt dies wahrscheinlich deshalb nicht ein, weil die
Codierung aus den ersten beiden Byte im Dateikopf hervorgeht.
Ferner meckert der IE oder ein Script, das die MSXML3
verwendet, sofort, wenn man bsp. eine ANSI- oder UTF-8 - Datei
mit encoding=‚UTF-16‘ in der Declaration auszeichnet - in der
MS-Welt scheint alles konsistent zu sein.

Ich sehe die MS-Welt so:
Die MS-Welt in sich ist konsistent und innerhalb läßt sich auch gut arbeiten, nur sobald es in andere Welten geht (z.B. Java), ist auf MS-Unterstützung kein Verlaß.
–> Der xml-Standard selbst sieht eine Angabe des Encodings vor und Microsoft hält sich konsequent nicht daran.

Damit scheint es eine Schwäche von dem SAXBuilder zu sein,
falls man die Datei direkt einliest.

Entschuldige, aber für mich ist es eher eine Schwäche von Excel :smile:

Selbst verwende ich den
SAXBuilder nicht, aber in der Doku ist die Build-Methode
vielfach überladen. Da man auch mit characterStream arbeiten
kann, vermute ich, daß sich über eine solche Methode die
encoding-Version direkt angeben läßt.

Bei der build-Methode selbst habe ich nichts gefunden,
beim Einkesen des Files in einen Stream würde das Encoding kein weiteres Problem machen (z.B. ist eine encoding-Angabe in byte[].toString() möglich). Aber das Einlesen des Files in einen Stream wollte ich gerade vermeiden…

Gruß
Claudia

0 Hilfreich
Antwort auf ClaudiaKzum Beitrag ↑

Hallo Jürgen, erstmal vielen Dank für Deine Antwort. Excel trägt dies wahrscheinlich deshalb nicht ein, weil die Codierung aus den ersten beiden Byte im Dateikopf hervorgeht. Ferner meckert der IE oder ein Script, das di …

Zuerst wollte ich schreiben: ‚Beide Welten (MS/Java) seien in sich konsistent, benötigt man beide Welten gleichzeitig, hapere es‘.

Ein Nachlesen der Xml-Definitionen in http://www.w3.org/TR/REC-xml ergab allerdings: Eine Declaration ist definiert als:

XMLDecl ::= ‚<?xml ' VersionInfo EncodingDecl? SDDecl? S? '?>‘

Das Fragezeichen nach EncodingDecl besagt, daß diese 0 oder einmal auftreten kann, also weggelassen werden kann. Und etwas tiefer, im Abschnitt über EncodingDecl, findet sich die Feststellung:

In the absence of information provided by an external transport protocol (e.g. HTTP or MIME), it is an error for an entity including an encoding declaration to be presented to the XML processor in an encoding other than that named in the declaration, or for an entity which begins with neither a Byte Order Mark nor an encoding declaration to use an encoding other than UTF-8. Note that since ASCII is a subset of UTF-8, ordinary ASCII entities do not strictly need an encoding declaration.

Das Dokument selbst ist natürlich auch eine Entity, steht nichts da, ist es konform, wenn es sich um UTF-8 handelt.

Da Du zwingend beide Welten benötigst, wirst Du, fürchte ich, um ein doppeltes Einlesen nicht drumherumkommen. Alternativ könnte man höchstens mittels eines VBScripts oder Excel-Makros die Excel-Xml-Dateien außerhalb von Java bearbeiten, so daß man in Excel nicht ‚Speichern unter‘ sagt, sondern stattdessen ein Makro ausgeführt wird, das zunächst speichert und die Datei anschließend um die Declaration ergänzt.


Gruß, Jürgen Auer

0 Hilfreich
Antwort auf J_rgen_Auerzum Beitrag ↑

Zuerst wollte ich schreiben: ‚Beide Welten (MS/Java) seien in sich konsistent, benötigt man beide Welten gleichzeitig, hapere es‘. Ein Nachlesen der Xml-Definitionen in http://www.w3.org/TR/REC-xml ergab allerdings: Eine …

Danke, das hab ich befürchtet, owT, Claudia
owT

0 Hilfreich

Deine Antwort

Zum Antworten bitte anmelden oder kostenlos registrieren.