Ich weiß nicht ob es der Lüfter, das Netzteil oder sonstwas
ist…
Das sind vermutlich die Lüfter; einer oder zwei sind auf der Grafikkarte, einer am Prozessor, einer im Netzteil und eventuell noch ein oder zwei im Gehäuse oder auf warmen Mainboardkomponenten.
Was kann man da machen?
Du kannst die derzeit eingebauten Kühkomponenten gegen höherwertige austauschen. Es ist mit modernen Hitzeableitern durchaus möglich, auch heiße Komponenten wie die Grafikkarte ganz ohne Lüfter zu betreiben, aber das kostet natürlich auch ein bisschen mehr. Für einen hochwertigen CPU-Kühlkörper mit leisem Lüfter bezahlst du so um die 50€, ein leises Netzteil kostet etwa genausoviel (je nachdem, wie viel Leistung du brauchst). Zum Einbau brauchst du allerdings vor allem bei Grafikkarte und CPU etwas handwerkliches Geschick.
Die eleganteste (und gleichzeitig wohl auch leiseste und effektivste, aber auch kompliziertere) Lösung ist wohl eine Wasserkühlung, bei der durch Metallkühlkörper Wasser gepumpt wird. So kannst du fast alle Komponenten mit nur einem großen, leisten Kühler kühlen, aber der Wasserkreislauf sollte natürlich besser keine Löcher haben, denn sonst ist bald nichts kühlbares mehr da. Wasserkühlungen gibt’s in Preisregionen von 100-200€, je nach Umfang.
Ein anderer Ansatz ist, das Gehäuse mit Schalldämmmatten und ähnlichen Sachen Schallzuisolieren, das kann günstiger sein, ist aber ein mordsaufwand und aufgrund der zwangläufig nötigen Löcher für die Luftzufuhr bei weitem nicht so effektiv.
Könnte man u.U. auch die ganze Kiste zurückgeben, gibt es da
bestimmte Richtlinien die so ein Gerät erfüllen muß? Wäre
dies ein Reklamationsgrund?
Nein, meines Wissens nach gibt es weder Richtlinien noch ist Krach ein Reklamationsgrund. Aber du kannst trotzdem mal nachfragen, vielleicht erwischst du ja einen von diesen „jaja, egal, gib her und geh weg“-Verkäufern 
Da ist mein alter Rechner von 1998 ja um etliches leiser.
Weil er langsamer ist, daher weniger Abwärme produziert und daher weniger Lüfter oder langsam drehendere Lüfter braucht.