apache magento crawler SEO www-data

Suchmaschinen bei magento -Shop legen Server lahm

Von: , 06.10.2011 11:27 Uhr

Hallo, ich bin mit einer fremden magento-Installation konfrontiert.
Problem:
Sobald Crawler oder z.B wget die Seite abfragen, wird nach kurzer Zeit der Apache Server lahmgelegt.
Ich glaube es hat mit dem Link
/login/referer/DSDHIFISDIFHSD,,/index.html
zu tun, weil sofort danach mein Testlauf mit wget extrem verlangsamt wird.

Wenn ich den Link allerdings per Browser ( mit oder ohne Javascript ) aufrufe, bleibt alles normal.
SEO durch Web-Server rewrites ist deaktiviert.
Haben Sie einen Tipp für mich ?
Kann man bei Magento oder Apache(PHP) irgendwie die Scriptaufrufe protokollieren, um zu sehen, welche Scripte aufgerufen werden ?

4 Antworten zu dieser Frage

Antwort von nach 3 Stunden 0 hilfreich

Re: Suchmaschinen bei magento -Shop legen Server lahm

Hallo,
also ehrlich gesagt habe ich von magento keine detailliertere Ahnung.
Aber wenn ein Crawler bzw. wget Aufruf erfolgt, dann werden da keine Cookie Informationen übermittelt. Ich schätze, daß die Applikation dann vielleicht ins Schwitzen kommt, evtl. werden da dann einige unnötige (langsame?) Datenbankabfragen generiert.
Super wäre es hier ein staging System zu haben, um genau diese Abfrage zu simulieren. Ich gehe mal davon aus, daß da eine MySql hinter hängt. Die kann einen slow-query erzeugen, der wäre da auch hilfreich, manchmal bewirken ein paar zusätzliche Indexe Wunder.

Fürs die Statistik der Scriptaufrufe würde ich die Apache log Dateien parsen, da gibt es genug Tools die unter einem GPL Ableger verfügbar sind.

Ich hoffe ich konnte irgendwie weiter helfen.

Beste Grüße
Steffen
Antwort von nach 3 Stunden 0 hilfreich

Re: Suchmaschinen bei magento -Shop legen Server lahm

Hallo,
da kommt mir noch eine Idee. Ich glaube, daß new relic (newrelic.com) auch monitoring tools für php Anwendungen hat. Die bieten da eine ein oder 2 Wöchige Testphase an. Das sollte reichen, um eine Diagnose des Systems durch zu führen. Wir setzen das Monioring für Rails Apps und Solr(Java) ein und sind damit zufrieden.

Beste Grüße
Steffen
Antwort von nach 6 Stunden 0 hilfreich

Re: Suchmaschinen bei magento -Shop legen Server lahm

Hallo,

ich kenne das System nicht (magento).

Also kann ich dazu auch nicht viel sagen.

Es kann sein, dass der Apache durch den Aufruf mehrerer
Prozesse die nicht geschlossen werden am hängen ist.

Also einfach mal auf der Konsole mit
"ps -U www-data -u" nach schauen, was da für Prozesse
unter dem User www-data laufen.

Notfalls kann man in der Datei /etc/apache2/apache.cnf
Einschränkungen vornehmen.

Gruß Mirko Meichsner
Antwort von nach einem Tag 0 hilfreich

Re: Suchmaschinen bei magento -Shop legen Server lahm

Vorteilhaft ist es immer, wenn man direkten Zugriff auf die Server-Maschine hat. (SSH mit, idealerweise, root-Zugriff) Protokollieren welches Sript aufgerufen wird und was im Hintergrund funktioniert, kann man nur als Admin der Maschine einsehen.

btw: Magento ist sehr Ressourcen fressend und für multiple Shopsysteme gedacht.

Jetzt auf diese Frage antworten.