Fileserver selbst aufbauen?

Computer: Hardware Speichermedien
1

Hallo,

unsere (arme) Arbeitsgruppe (so ca. 25 Leute) an der Uni benötigt nach einem Ausfall dringend einen neuen Fileserver.

Wenn ich mit den Spezifikationen (so ab 2 TB Raid 5 für Daten, Raid 1 fürs System, Linux, 100 MBit/s Netzanbindung, 19" rackmountable) zu einem Fachhändler gehe, will der ~ 8000 € (mit Hochschulrabatt).

Wenn ich selbst mit nicht-Server-Komponenten ein solches System zusammenstelle komme ich (auf S-ATA II Basis) auf höchstens 3000 bis 4000 €.

Was spricht also dagegen, sowas selbst zusammenzuschrauben?

Gibt es gravierende Nachteile gegenüber Markensystemen mit richtigen Serverkomponenten?

Hat jemand Tips, wie wir am besten vorgehen sollten?

Danke

Martin

2

Hallo Martin,

Was spricht also dagegen, sowas selbst zusammenzuschrauben?

Im Prinzip nichts.

Gibt es gravierende Nachteile gegenüber Markensystemen mit
richtigen Serverkomponenten?

Ja, meist die Lebensdauer und die Performance.

Ein „richtiger Server“ ist auf 24/7 Betrieb ausgelegt (Ein PC ist meist nur für etwa 6h/Tag ausgelegt). Hinzu kommt noch, dass durch gleichzeitige Zugriffe mehrerer Benutzer auch auf einen höheren Datendurchsatz geachtet wird.
Dadurch wird meistens für die Laufwerke SCSI verwendet, welche teurer aber schneller sind.
Damit der Rechner nicht gleich bei jedem RAM-Bitfehler neu gebootet werden muss, wird auch noch RAM mit ECC verwendet. Bei PCs wird of sogar RAM ohne Parity-Bit verwendet. Mit Parity wird zusätzlich zu 8-Datenbits noch 1 Bit zusätzlich abgespeichert. Effektiv ist dann dein eingebauter Speicher also 1/8 Grösser als angegeben. Bei ECC werden zusätzlich 4 Bits gespeichert, dein Speicher ist also effektiv 1.5 mal so gross.

MfG Peter(TOO)

3

Hallo,

ich würde eher einen Zwischenweg gehen. D.h. Selbstbau ist, wenn ggf. auch mal längere Ausfallzeiten akzeptabel sind, durchaus möglich. Man sollte hierbei aber auch als Selbstbauer auf entsprechend hochwertige Komponenten setzen. Also z.B. ein Servergehäuse eines namhaften Anbieters mit redundanten Netzteilen, ggf. getrenntes Subsystem für die Platten, Hotswap-Einsätze für die Festplatten mit ausreichend dimensionierter Kühlung, für den Serverbetrieb gedachte SCSI-Controller und Platten, Markenspeicher, und zu guter Letzt natürlich auch nicht irgendein Board, sondern ein ordentliches Serverboard mit entsprechendem Chipsatz, die es durchaus auch unabhängig von den HPs und FSIs der Welt zu kaufen gibt. Da sinkt dann die Preisersparnis etwas, man hat aber lange und viel Spaß an so einer Kiste.

Ich habe selbst früher mal solche Dinger gewerblich in nicht ganz kleiner Stückzahl gebaut, und viele Kunden wollten erst gar nicht glauben, was man damit sparen kann, ohne Leistung und Sicherheit zu verlieren. Grenzen haben solche Selbstbauten natürlich im Management, und für den fabrikmäßigen RZ-Einsatz in großen Stückzahlen sind sie daher nicht unbedingt geeignet. Für einzelne Standalone-Server sind sie aber sicher eine gute Alternative, wenn man weiß, wo man die passenden Bauteile bekommt.

Gruß vom Wiz

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

4

SCSI / SATA2
Hi,

wie sieht es denn mit der Entscheidung zwischen SCSI und SATA II aus?

SCSI-Platten sind halt gleich so unendlich teuer, so dass ich nur schlecht auf die gewünschte Plattenkapazität komme.

Gruß

Martin

5

Hallo,

letztlich must du das schon selbst entscheiden - das ist wie bei hochwertigen Autos: die sind eben sowieso schon teurer, weil sie hochwertig sind, aber noch dazu werden sie ja auch in viel kleinerer Stückzahl gebaut. Da darf man sich nicht wundern, wenn doppelte Qualität das vierfache oder mehr kostet. Es gibt aber keine Alternativen.

Ausserdem kann man, soweit ich weiss, mit SCSI immer noch am meisten Geräte in einen Server einbauen. Mit 2 x Raid, DVD, Bandsicherung kommt man noch mit einem Controller aus.

Gruss Reinhard

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

1 „Gefällt mir“
6

Hallo,

wie schon geschrieben, ist eine Weile her, dass ich in der Branche tätig war. Das war noch zu Studienzeiten, als wir noch Pentium-Pro Boards verarbeitet haben und man Dual-Prozessormaschinen nur mit zwei Prozessoren mit identischen Stepping (was eigentlich nur eine Sammlung von Meßwerten in zusätzlich eingegrenzten Toleranzen war) aufbauen konnte. Damals führte an SCSI kein Weg vorbei, und wenn ich heute in großen IT-Projekten nur noch fachliche Konzepte schreibe und nur hin und wieder mal was mit den Hardware-Typen aus den RZs zusammen komme, dann ist da eigentlich immer noch ausschließlich von SCSI die Rede. Heute gerne auch als SCSI over Ethernet für großen, zentrale Speichersysteme, die dann intern natürlich auch mit SCSI arbeiten.

Gruß vom Wiz

[Bei dieser Antwort wurde das Vollzitat nachträglich automatisiert entfernt]

1 „Gefällt mir“
7

Moien

wie sieht es denn mit der Entscheidung zwischen SCSI und SATA
II aus?

Bei den Vorgaben: SATA.

Der Server ist scheinbar mit 1x 100Mbit angebunden. Das entspricht 10MB/s, oder etwa 12MB/s auf Plattenseite. Eine normale 7200´er Desktopplatte liefert 60MB/s. Das Problem Datendurchsatz stellt sich also nicht. Seekzeit wär ein Argument, aber ob das wichtig für euch ist weiss ist nicht (viele, viele kleine Dateien die alle gleichzeitig abgerufen werden oder eher Büroalltag ? hochperformantes SQL geplant ? Spielt das Ding bootp-LW für thinclients ?)

Bleibt das Problem Ausfallsicherheit. Desktopplatten werden dir den 24/7 Betrieb übel nehmen. Also eher SATA Serverplatten wie die Seagate NL35 / ES.

Anzahl der Anschlüsse: 4x 500GB und man kommt auf 2 TB raw. Das reicht für 1TB in RAID 1+0 (was willst du mit RAID5 auf einem System das eh maximal 10MB/s pumpen kann…). 4x 750 GB, RAID 1+1 und ein 3/4 TB sind immernoch drin.

Und da war noch kein RAID-Controller im Spiel. Der Controller wäre ein Stück Hardware mehr das ausfallen kann, gekühlt und bezahlt werden muss.

cu

1 „Gefällt mir“
8

Moin,

Der Server ist scheinbar mit 1x 100Mbit angebunden.

ist er, die ganze Infrastruktur hier kann nur 100 MBit/s - muss halt reichen

Das
entspricht 10MB/s, oder etwa 12MB/s auf Plattenseite. Eine
normale 7200´er Desktopplatte liefert 60MB/s. Das Problem
Datendurchsatz stellt sich also nicht.

stimmt

Seekzeit wär ein
Argument, aber ob das wichtig für euch ist weiss ist nicht
(viele, viele kleine Dateien die alle gleichzeitig abgerufen
werden oder eher Büroalltag ? hochperformantes SQL geplant ?
Spielt das Ding bootp-LW für thinclients ?)

wir wollen darauf unsere Messergebnisse speichern

sind eher wenige dafür große Dateien

Bleibt das Problem Ausfallsicherheit. Desktopplatten werden
dir den 24/7 Betrieb übel nehmen. Also eher SATA Serverplatten
wie die Seagate NL35 / ES.

ich dachte da an die hier http://www.wdc.com/en/products/Products.asp?DriveID=…
sind ja ungefähr vergleichbar

Anzahl der Anschlüsse: 4x 500GB und man kommt auf 2 TB raw.
Das reicht für 1TB in RAID 1+0 (was willst du mit RAID5 auf
einem System das eh maximal 10MB/s pumpen kann…). 4x 750
GB, RAID 1+1 und ein 3/4 TB sind immernoch drin.

an Raid 5 dachte ich wegen dem geringeren Verschnitt als bei Raid 1

6 * 500 GB = 2 TB + 1 Raid 5 + 1 Hot Spare

an nem Intel oder Adaptec 8 Kanal PCI-X Controller?

Und da war noch kein RAID-Controller im Spiel. Der Controller
wäre ein Stück Hardware mehr das ausfallen kann, gekühlt und
bezahlt werden muss.

den onboard würde ich dann für ein Raid 1 für das Betriebssystem nehmen

vielen Dank für die vielen Tips

Gruß

Martin

9

Moien

Der Server ist scheinbar mit 1x 100Mbit angebunden.

ist er, die ganze Infrastruktur hier kann nur 100 MBit/s -
muss halt reichen

Da war was mit 25 Leuten … also 25 Rechner ? Macht euch selbst einen grossen Gefallen und kauft einen 32 Port Switch mit GBit Uplink. (oder halt einen 4 Port Gbit + 5x 8 Port 100Mbit mit GBit Uplink). Das lohnt sich. Dann kann der Server 8-10 Leute gleichzeitig bedienen ohne seine Netzwerkkarte zu überlasten.

Seekzeit wär ein
Argument, aber ob das wichtig für euch ist weiss ist nicht
(viele, viele kleine Dateien die alle gleichzeitig abgerufen
werden oder eher Büroalltag ? hochperformantes SQL geplant ?
Spielt das Ding bootp-LW für thinclients ?)

wir wollen darauf unsere Messergebnisse speichern

sind eher wenige dafür große Dateien

GBit Ethernet und SATA.

Bleibt das Problem Ausfallsicherheit. Desktopplatten werden
dir den 24/7 Betrieb übel nehmen. Also eher SATA Serverplatten
wie die Seagate NL35 / ES.

ich dachte da an die hier
http://www.wdc.com/en/products/Products.asp?DriveID=…
sind ja ungefähr vergleichbar

Ich werd hier keinen heiligen Krieg zum Thema Plattenmarken lostretten. IMHO spielt bei Platten aus der Preis- und Leistungsklasse die Kühlung eine wesentlich grössere Rolle als der Hersteller.

Anzahl der Anschlüsse: 4x 500GB und man kommt auf 2 TB raw.
Das reicht für 1TB in RAID 1+0 (was willst du mit RAID5 auf
einem System das eh maximal 10MB/s pumpen kann…). 4x 750
GB, RAID 1+1 und ein 3/4 TB sind immernoch drin.

an Raid 5 dachte ich wegen dem geringeren Verschnitt als bei
Raid 1

6 * 500 GB = 2 TB + 1 Raid 5 + 1 Hot Spare

an nem Intel oder Adaptec 8 Kanal PCI-X Controller?

hmmm… Du optmierst da auf Performance. Du wirst die aber nie einsetzen können, dafür ist das Netzwerk zu schwach. Anders ausgedrückt: du baust einen 500PS Rennmotor in eine Ente. Selbst GBit schafft nur 100 MB pro Sekunde und Richtung (RAID 0 mit 2 SATA Platten schafft mehr). Erst bei Duallink GBit (also 2 GBit Karten) würde ich über einen richtigen RAID-Controller nachdenken.

Und für den Preis eines solchen Controllers kannst du dir auch locker ein paar Platten zusätzlich kaufen. Und einen normalen PCIe SATA Controller um sie anzuschliessen.

Der ganz grosse Vorteil von den richtigen RAID-Controller sind halt die batteriegestützten Caches. D.h. wenn der Strom ausfällt, können die Controller die letzten XY Schreibzugriffe, die es noch nicht bis zur Platte geschafft haben, eine Weile cachen. Bis halt der Strom wieder da ist und die Platten wieder laufen. Das braucht man bei Datenbanken. Aber doch nicht bei einem Fileserver.

Und da war noch kein RAID-Controller im Spiel. Der Controller
wäre ein Stück Hardware mehr das ausfallen kann, gekühlt und
bezahlt werden muss.

den onboard würde ich dann für ein Raid 1 für das
Betriebssystem nehmen

Da könnte dir Linux schwer ins Bein schiessen. Man muss da aufpassen welcher Controllerchip verbaut wurde. Bei weitem nicht alle OnBoard-Teile sind als RAID-Controller ansprechbar. Als normaler Platten Controller meistens schon, also mit SoftwareRAID geht es.

cu

1 „Gefällt mir“
10

was vergessen …
Moien

Der ganz grosse Vorteil von den richtigen RAID-Controller

Und den ganz grossen Nachteil hab ich vergessen:
Man kann einen Satz RAID 5 Platten nicht einfach so an einen anderen Controller hängen. Die benutzen unterschiedliche Cookies um sich die Einstellungen/Zusammenhänge zu merken (werden irgendwo auf den Platten gespeichert und markieren wer wie zu was gehört). D.h. wenn der Controller stirbt und man hat keinen Baugleichen in Reserve war´s das.

Beim Software RAID kann dir das nicht passieren.

cu

11

Hi,

Da war was mit 25 Leuten … also 25 Rechner ? Macht euch
selbst einen grossen Gefallen und kauft einen 32 Port Switch
mit GBit Uplink. (oder halt einen 4 Port Gbit + 5x 8 Port
100Mbit mit GBit Uplink). Das lohnt sich. Dann kann der Server
8-10 Leute gleichzeitig bedienen ohne seine Netzwerkkarte zu
überlasten.

daran können wir nichts ändern

der Switch gehört nicht uns sondern dem Rechenzentrum und steht in einem verschlossenen Schrank

ausserdem weiss ich nicht, ob die Cat5-Verkabelung, die zum Teil sehr lang ist, dafür ausreicht

es ist allerdings auch so, dass nicht wirklich oft mehr als 3 Leute gleichzeitig auf den Server zugreifen wollen

bisher wurde der Fileserver-Job von einer uralten SGI Origin 200 erledigt, und das Ding war 10 Jahre alt (und ist jetzt gegrillt)

ich dachte da an die hier
http://www.wdc.com/en/products/Products.asp?DriveID=…
sind ja ungefähr vergleichbar

Ich werd hier keinen heiligen Krieg zum Thema Plattenmarken
lostretten. IMHO spielt bei Platten aus der Preis- und
Leistungsklasse die Kühlung eine wesentlich grössere Rolle als
der Hersteller.

für Kühlung werden wir schon sorgen…

Lautstärke spielt schließlich keine Rolle *grins*

was hättest du denn zu Plattenherstellern zu sagen?

privat benutze ich ja eher Samsung, aber die bieten wohl keine Platten für den 24/7-Betrieb an

an Raid 5 dachte ich wegen dem geringeren Verschnitt als bei
Raid 1

6 * 500 GB = 2 TB + 1 Raid 5 + 1 Hot Spare

an nem Intel oder Adaptec 8 Kanal PCI-X Controller?

hmmm… Du optmierst da auf Performance. Du wirst die aber nie
einsetzen können, dafür ist das Netzwerk zu schwach. Anders
ausgedrückt: du baust einen 500PS Rennmotor in eine Ente.
Selbst GBit schafft nur 100 MB pro Sekunde und Richtung (RAID
0 mit 2 SATA Platten schafft mehr).

hmm - da hast du Recht

mir ging es in erster Linie darum

  • möglichst viele Platten gleichzeitig anschließen zu können (deshalb den zu großen Controller)
  • Ausfallsicherheit mit möglichst wenig Verschnitt zu haben, deshalb Raid 5 statt Raid 1

wenn noch etwas Geschwindigkeit dabei rauskommt (auch wenn wir sie nicht nutzen können)…

Man muss da
aufpassen welcher Controllerchip verbaut wurde. Bei weitem
nicht alle OnBoard-Teile sind als RAID-Controller ansprechbar.
Als normaler Platten Controller meistens schon, also mit
SoftwareRAID geht es.

schon erlebt :smile:

also doch eher das System auf ein Software Raid 1,

die Daten auf ein Hardware Raid 5 an nem „normalen“ PCI oder PCIe Controller mit Hot Spare Controller

vielen Dank für deine Unterstützung

Gruß

Martin

12

Hallo,

was hättest du denn zu Plattenherstellern zu sagen?

Ich persönlich mag Seagate. Die geben 5 Jahre Garantie, das spricht für deren Vertrauen in ihre Produkte.

YMMV.

Sebastian