Hallo,
ich habe ein Speicher und Performanzproblem beim parsen langer Texdateien (>200 MB).
* ich benutze NIO statt IO zum Einlesen der Datei
* Einlesen in den Speicher kommt aufgrund der Dateigröße nicht in Frage und der JVM mehr Speicher zuweisen ist auch keine Lösung => nutze BufferedReader, um nicht OutofMemory zu laufen.
-> Ich lese also Zeilenweise ein und frage mich, ob ich nicht das „Zeilenweise-parsen“ parallelisieren kann.
Jetzt zu meiner eigentlichen Frage:
Wie kann ich das Auslesen eines BufferedReaders parallelisieren. Ist das überhaupt möglich?
Das Paralellisieren des Parsers ist kein Problem, jedoch können die einzelnen Threads nur so schnell sein wie der BufferedReader neue Zeilen liefert. Daher würde ich auch gerne das Auslesen der Zeilen parallelisieren; oder bringt das bei einigen Millionen Zeilen keinen Geschwindigkeitsvorteil?
Die Reihenfolge der Zeilen ist mir egal, da es auf den Inhalt der Zeile ankommt. (-> über ein Codefragment würde ich mich besonders freuen:smile:
Hier mal ein Auszug des Einlesens und welcher Block parallel bearbeitet werden soll:
public int readFile(Path file){
Charset cs = StandardCharsets.ISO_8859_1;
try {
BufferedReader reader = Files.newBufferedReader(file, cs);
String zeile = null;
//-> gesamter while-Block soll parallelisiert werden
while ((zeile = reader.readLine()) != null)
{
ZeilenParser.pars(zeile)
}
} catch (IOException e) {
//„Fehler beim Öffnen oder Lesen der Datei!“
e.printStackTrace();
}
}
Danke und Gruß
Sebastian_