Zum Inhalt springen
Frage 8. Oktober 2013, 01:27 Uhr · 10 Antworten

MySQL-Query -> scheinbar kein Streaming aus der Datenbank

Hallo! Ich programmiere seit zirka 4 Jahren an einer Suchmaschine und stehe kurz vor der Fertigstellung, was auch langsam Zeit wird. 😉

Als ich grad mit meinem Volltextsuche-Table handtiere, der 20 Millionen EintrĂ€ge hat, ist mir was aufgefallen. Wenn ich ein Suchwort eingebe und Enter drĂŒcke kommen die Ergebnisse wie ein Blitz auf den Bildschirm geschossen. Wenn ich aber den gesamten Index um dessen verknĂŒpften Dokumente gruppiert durchlaufen lasse, dauert es verstĂ€ndlicher Weise recht lang. Darauf will ich auch gar nicht hinaus. Sondern, mir ist dabei aufgefallen, dass MySQL die DatensĂ€te scheinbar erstmal in den Speicher lĂ€dt und dann ausgibt. Ich dachte immer, dass wĂŒrde in einer Art streaming aus der DB erfolgen.

Beispiel:

$sql1 = $this-db->query(„select * from db1“);
while($row1 = $sql1->fetch_assoc())
{
  $sql2 = $this-db->query("select * from db2 where id=‚$row1[id]‘ ");

  while($row2 = $sql2->fetch_assoc())
  {
     $this->db->query("insert into db3 () values () ");
  }
}

SQL1 lĂ€dt nicht, wie ich angenommen habe einen DS und ĂŒbergibt diesen sofort an SQL2, damit dieser einen anderen DS aus der DB holen kann, sondern lĂ€dt scheinbar erstmal alle DS fĂŒr SQL1 in den Speicher und ĂŒbergibt dann alle Ausgaben an SQL2. Also, eigentlich mĂŒsste das völlig danaeben sein, oder?

Wie ich auf diesen Schmarren gekommen bin:

Wenn ich SQL1 mit Limit 100 Starte, werden die DS, die SQL2 verarbeitet mittels SQL3 in einen anderen Table gespeichert. Dass passiert unmittelbar nach dem Programmstart. Wenn ich aber das Limit weglasse und genau genommen 20 Mio. EintrÀge um 360.000 Dokumente gruppiert durchlaufen lasse, dauert es sehr lange, bis die ersten verarbeiteten DS durch SQL3 in der Datenbank gespeichert werden.

Das wĂ€re so, als wĂŒrde die Schallplatte erstmal vom Anfang bis Ende durchlaufen, bis der ersten Ton aus den LautsprĂ€chern kĂ€me. Also, irgendwie habe ich grad 1000 Fragezeichen im SchĂ€del.

Hoffe, von euch weiß jemand Rat.

Beste GrĂŒĂŸe
Thor Duisenberg

Diese Frage stammt aus dem Jahr 2013. Weißt du es heute besser?

Aktuelle Antwort ergÀnzen

10 Antworten

Hallo Thor-Dirk,
das Problem ist, wenn du alles der Tabelle selektierst und mit php durchlĂ€ufst, dass php natĂŒrlich erstmal alle Daten handeln muss.
Das bedeutet, dass du hier:
"
$sql1 = $this-db->query(„select * from db1“);
while($row1 = $sql1->fetch_assoc())
{
"
alle x-DatensÀtze durch den Apache bzw. Webserver mit Ressourcen belegst.

besser ist es gleich einen Query zu schreiben, der alles im MySQL-Server erledigt.
(Quelle:
http://www.w3schools.com/sql/sql_insert_into_select.asp)

das sollte eigentlich mit nur einem Query gehen:
(Achtung, ungetestet)

$sql1 = $this-db->query("
Insert into db3
select
db1.feld1,
db1.feld1,
db1.feld3
from db1
inner join db2
on db1.id=db2.id
");

dabei sollten natĂŒrlich die Felder ausgewĂ€hlt werden, die dann in der db3 landen sollen.

wenn du eine Where-Klausel brauchst, kommt die ans Ende des SQL-Queries

0 Hilfreich

Scheint das du 4 jahre am falschen ende gelesen hast.
Php und Mysql und query und Ergebnis.

Du fragst die db und die gibt dir eine antwort zurĂŒck und danach gehts weiter.
Und damit php das ergebnis kennt muss es das auch speichern , da hat die datenbank schon lange pause. Mysql server ungleich php prozess.

Wenn du 1000 zeilen als ergebnis hast wirds auch 1000 mal gemacht ,siehe while schleife.

0 Hilfreich
Antwort auf Franky1986zum Beitrag ↑

Hallo Thor-Dirk, das Problem ist, wenn du alles der Tabelle selektierst und mit php durchlĂ€ufst, dass php natĂŒrlich erstmal alle Daten handeln muss. Das bedeutet, dass du hier: " $sql1 = $this-db->query(„select * from db 


Danke fĂŒr deine ErlĂ€uterungen. Das MySQL-Beispiel diente nur dem VerstĂ€ndnis und sollte keine praktische Anwendung darstellen. Du schreibst, PHP mĂŒsse fĂŒr alle Aussgaben Ressourcen zur Verfgung stellen. Das leuchtet ein. Trotzdem hake ich nochmal nach. Wenn $sql1 beispielsweise 100.000 DS aus der Datenbank holt, braucht dann dieser Query lĂ€nger bis er den ersten DS davon an While ĂŒbergibt, als wenn $sql1 nur 1.000 DS verarbeitet? Verstehst du worauf ich hinaus möchte? Wenn MySQL die DS aus der DB streamt, machte das keinen Unterschied. Wenn $sql1 aber erst die 100.000 DS adressiert, findet in diesem Moment eigentlich kein Streaming mehr statt. Ich werde dazu wohl nochmal ein Experiment starten mĂŒssen. Ich wage mal einen Vergleich zu fgets() und file(). Mit fgets kann man beispielsweise ein Dokument zeilenweise auslesen (streamen). file() hingegen lĂ€dt die gesamte Datei in den Speicher. Das sollte analog als Vergleich dienen.

0 Hilfreich
Antwort auf TechPechzum Beitrag ↑

Scheint das du 4 jahre am falschen ende gelesen hast. Php und Mysql und query und Ergebnis. Du fragst die db und die gibt dir eine antwort zurĂŒck und danach gehts weiter. Und damit php das ergebnis kennt muss es das auch 


Danke fĂŒr den Hinweis. Zum GlĂŒck habe ich nicht nur 4 Jahre gelesen. 😉 Ich weiß, das der Flaschenhals nicht bei MySQL, sondern eher bei PHP zu suchen ist. Darum lasse ich die rechenintensiven Scripte in parallelen Threads ablaufen. FĂŒr die Erstellung des Volltext-Indexes starte ich beispielsweise 36 Threads gleichzeitig und realisiere die Abarbeitung damit deutlich schneller, als nur mit einer einzelnen Verarbeitung. Die Suchmaschine ist fĂŒr mich mitunter auch ein Lernprojekt. Gruß Thor

0 Hilfreich
Antwort auf Thor_Dirkzum Beitrag ↑

Danke fĂŒr deine ErlĂ€uterungen. Das MySQL-Beispiel diente nur dem VerstĂ€ndnis und sollte keine praktische Anwendung darstellen. Du schreibst, PHP mĂŒsse fĂŒr alle Aussgaben Ressourcen zur Verfgung stellen. Das leuchtet ein. 


Deine 1000 Zeilen sind die rĂŒckgabe .
Diese werden gespeichert und mittels funktionen die die datenstruktur hĂ€ndeln können Zeile fĂŒr Zeile ausgegeben , da sie schneller sind als mysql_result .

Wenn speicher festegelegt werden soll, dann wÀre das mit LIMIT zu erreichen , da weiss man was als ergebnismenge geantwortet wird.

TIP :
Wenn Sie LIMIT row_count mit ORDER BY benutzen, beendet MySQL die Sortierung, sobald die ersten row_count DatensÀtze des sortierten Ergebnisses gefunden wurden, statt das gesamte Ergebnis zu sortieren.

Abfrage auf 10.000 :
ausgabe von 1000 zeilen ist schneller als die ausgabe von 10.000 und verbraucht auch mehr speicher im php ,

0 Hilfreich

Hier zum buffern von ergebnisen der Mysql db
http://php.net/manual/de/mysqlinfo.concepts.bufferin


0 Hilfreich
Antwort auf TechPechzum Beitrag ↑

Hier zum buffern von ergebnisen der Mysql db http://php.net/manual/de/mysqlinfo.concepts.bufferin


PHP
http://php.net/manual/en/function.mysql-unbuffered-q


This extension is deprecated as of PHP 5.5.0, and will be removed in the future. Instead, the MySQLi or PDO_MySQL extension should be used.

damit kriegst du dann eine ungepufferte ausgabe , aber das kann dein mysql server auch sprengen .

0 Hilfreich
Antwort auf TechPechzum Beitrag ↑

PHP http://php.net/manual/en/function.mysql-unbuffered-q
 This extension is deprecated as of PHP 5.5.0, and will be removed in the future. Instead, the MySQLi or PDO_MySQL extension should be used. damit kriegst du dann 


Aber bedenke bei deinem while wĂŒrde das nicht funktionieren ,
da bis zur nÀchsten abfrage alles blockiert ist.

Unless the full result set was fetched from the server no further queries can be sent over the same connection.

Also besser alles in einen query zu packen und dann lieber das erbenis mit php auswerten.

Es geht also nciht unbuffered einen query zu machen um dann danach eine subabfrage selber zu starten auf der selben verbindung , ob man mehrere verbindungen nutzen kann wĂ€re auszuprobieren . Aber am schnellsten ist es alles mysql machen zu lassen und nur noch ergebnisse abzuholen , dafĂŒr gibt es ja auch prozeduren und funktionen , wenns denn ein ganz schwierieger query ist , oder und auch views .

0 Hilfreich
Antwort auf TechPechzum Beitrag ↑

Hier zum buffern von ergebnisen der Mysql db http://php.net/manual/de/mysqlinfo.concepts.bufferin


Ja, Meister, das war es! 😄

Ich habe nun testweise einen Query geschrieben, der im buffering-modus 5 Sekunden arbeitet, bevor eine erste Ausgabe erfolgt:

$sql1 = $this->db->query(„select * from db where [ordentlich Arbeit]“);
while{ 1. Ausgabe nach 5 Sekunden }

$sql2 = $this->db->query(„select * from db where [ordentlich Arbeit]“, MYSQLI_USE_RESULT);
while{ 1. Ausgabe ohne Verzögerung }

Also, 1000 Dank fĂŒr den Tipp! 😄

0 Hilfreich
Antwort auf Franky1986zum Beitrag ↑

Hallo Thor-Dirk, das Problem ist, wenn du alles der Tabelle selektierst und mit php durchlĂ€ufst, dass php natĂŒrlich erstmal alle Daten handeln muss. Das bedeutet, dass du hier: " $sql1 = $this-db->query(„select * from db 


kleine Korrektur zu meinem Query oben:

$sql1 = $this-db->query("
Insert into db3 (feld1,feld2,feld3)
select
db1.feld1,
db1.feld1,
db1.feld3
from db1
inner join db2
on db1.id=db2.id
");

0 Hilfreich

Deine Antwort

Zum Antworten bitte anmelden oder kostenlos registrieren.