Hallo! Ich programmiere seit zirka 4 Jahren an einer Suchmaschine und stehe kurz vor der Fertigstellung, was auch langsam Zeit wird. đ
Als ich grad mit meinem Volltextsuche-Table handtiere, der 20 Millionen EintrĂ€ge hat, ist mir was aufgefallen. Wenn ich ein Suchwort eingebe und Enter drĂŒcke kommen die Ergebnisse wie ein Blitz auf den Bildschirm geschossen. Wenn ich aber den gesamten Index um dessen verknĂŒpften Dokumente gruppiert durchlaufen lasse, dauert es verstĂ€ndlicher Weise recht lang. Darauf will ich auch gar nicht hinaus. Sondern, mir ist dabei aufgefallen, dass MySQL die DatensĂ€te scheinbar erstmal in den Speicher lĂ€dt und dann ausgibt. Ich dachte immer, dass wĂŒrde in einer Art streaming aus der DB erfolgen.
Beispiel:
$sql1 = $this-db->query(âselect * from db1â);
while($row1 = $sql1->fetch_assoc())
{
 $sql2 = $this-db->query("select * from db2 where id=â$row1[id]â ");
 while($row2 = $sql2->fetch_assoc())
 {
   $this->db->query("insert into db3 () values () ");
 }
}
SQL1 lĂ€dt nicht, wie ich angenommen habe einen DS und ĂŒbergibt diesen sofort an SQL2, damit dieser einen anderen DS aus der DB holen kann, sondern lĂ€dt scheinbar erstmal alle DS fĂŒr SQL1 in den Speicher und ĂŒbergibt dann alle Ausgaben an SQL2. Also, eigentlich mĂŒsste das völlig danaeben sein, oder?
Wie ich auf diesen Schmarren gekommen bin:
Wenn ich SQL1 mit Limit 100 Starte, werden die DS, die SQL2 verarbeitet mittels SQL3 in einen anderen Table gespeichert. Dass passiert unmittelbar nach dem Programmstart. Wenn ich aber das Limit weglasse und genau genommen 20 Mio. EintrÀge um 360.000 Dokumente gruppiert durchlaufen lasse, dauert es sehr lange, bis die ersten verarbeiteten DS durch SQL3 in der Datenbank gespeichert werden.
Das wĂ€re so, als wĂŒrde die Schallplatte erstmal vom Anfang bis Ende durchlaufen, bis der ersten Ton aus den LautsprĂ€chern kĂ€me. Also, irgendwie habe ich grad 1000 Fragezeichen im SchĂ€del.
Hoffe, von euch weiĂ jemand Rat.
Beste GrĂŒĂe
Thor Duisenberg