RAID-Backupkonzepte für die Bildbearbeitung

Desktop RAID System von WD

Desktop RAID System von WDWenn man Abends mit ein paar befreundeten Fotografen zusammensitzt und bei einem Glas Rotwein und einer Rucola-Pizza mit Parmaschinken und Parmesankäse verschiedene Themen andiskutiert, dann kann es passieren, dass man sich auch mal Gedanken über Datensicherung macht. Ernsthaft. 🙂

Die Frage war: „RAID oder nicht RAID – und wenn ja, warum? Oder doch lieber ein NAS? Ein Cloud-Backup? Oder einfach USB-Platten?“

Alles für den optimalen Schutz der eigenen Bilddatenbank mit den geliebten fotografischen Werken.

Meine erste Antwort war: „Erstmal Mac OS X mit Timemachine“. Das verwirrte meinen Bekannten dann doch etwas. Vermutlich hatte er erwartet, dass auf seine einfache Frage wie aus der Pistole geschossen irgendein Festplattenhersteller genannt werden würde.

Also konzentriere ich mich hier auf Backuplösungen und weniger auf die Backupsoftware. Nur soviel: Stressfreier als mit Timemachine und Mac OS X kann man sein Betriebssystem, seine Programme und seine Daten nicht sichern und wiederherstellen! Das ist eine exzellente Grundlage um sich anschliessend mit dem Thema „Art des Datenspeichers“ auseinanderzusetzen.

Zum Thema RAID (Redundant Array of Independent Disks) fielen mir auf dem Nachhauseweg dann ein paar Anmerkungen ein von denen die ein oder andere vielleicht auch für die Leser vom pawlik.viewing-Blog interessant sein könnte.

Mehrere Aspekte sind wichtig:

– Datensicherheit / Ausfallsicherheit / Langlebigkeit
– Schreib/Lesegeschwindigkeit
– Kosten pro GB
– Unterschiedliche Raid Varianten (Striping, Mirroring, Striping mit Parity, Mirrored Stripeset…)
– Schutz vor Viren
– Schutz vor Umwelteinflüssen / Offsite Backup nötig?

Im Prinzip hatte ein weiterer Bekannter, der mit am Tisch saß schon recht, dass ein RAID in erster Linie dafür konzipiert wurde, um als eingebauter Speicher zum Beispiel in einem Serversystem, als Storage-Basis für Virtuelle Maschinen oder in einem Videoschnittplatz genutzt zu werden.

Jedoch bietet RAID durchaus Vorteile auch im Backup- oder SAN/NAS Bereich.

Zu dem Punkt warum ich mein weekly backup auf einem RAID statt einer einfachen USB Festplatte oder einer DVD- oder Bluraydisk sichere komme ich gleich.

Zunächst nochmal zur Auffrischung eine Erklärung der verschiedenen RAID-Varianten.

Am weitesten verbreitet im Enduser-Bereich sind RAID 0 , 1, 5 und 10.

Im Videoschnittbereich kommen häufig Rechnerkonfigurationen mit RAID 0 (Striping), Raid 5 (Striping mit Parity) oder RAID 10 (Mirrored Stripeset) zum Einsatz.

Warum? Beim RAID 0 (Striping) addieren sich die Schreibgeschwindigkeiten mit jeder zusätzlichen Spindel (Festplatte) im Stripeset, da die zu schreibenden Bytes auf mehrere Platten verteilt werden.

Um es einfach zu machen: Block 1 auf Platte 1, Block 2 auf Platte 2, Block 3 auf Platte 3, Block 4 auf Platte 1, Block 5 auf Platte 2 usw. Die Schreibvorgänge 1-3, 4-6 etc. laufen dabei jeweils parallel ab.

RAID 0 ist auch sehr billig in puncto Kosten pro GB, da der gesamte Plattenplatz zur Verfügung steht.

Jedoch ist ein Stripeset sehr anfällig: Fällt eine Platte aus ist alles weg.

Sicherer ist RAID 1 (Mirroring): Sämtliche Daten werden jeweils auf der ersten und der zweiten Platte geschrieben. Fällt eine aus kann die Information von der Kopie auf der anderen Platte wiederhergestellt werden. Fallen beide aus ist natürlich alles weg. Dieses Verfahren ist mitunter sogar langsamer, bringt jedoch auf keinen Fall einen Geschwindigkeitsvorteil gegenüber einer 1-Platten-Lösung.

Die Kosten pro GB sind allerdings deutlich höher, da immer nur die Hälfte des insgesamt verfügbaren Plattenplatzes effektiv genutzt werden kann.

Um die Vorteile von Raid 0 und 1 zu kombinieren hat man RAID 5 (Striping mit Parity) erfunden. Hierbei kommen jeweils 3 Platten pro Raid 5-Set zum Einsatz. Aus der Information von zwei Platten kann man die dritte Platte wiederherstellen.

Ausserdem bekommt man eine fast doppelt so schnelle Schreibgeschwindigkeit wie mit nur einer Platte, weil die Information immer auf zwei Platten verteilt wird und dann nur noch die Parity Information auf die nächste geschrieben werden muss (stark vereinfacht ausgedrückt).

Kostentechnisch ist es ein guter Kompromiss. Es stehen etwa 66% des verfügbaren Speicherplatzes für Nutzdaten zur Verfügung.

Will man die Schreib/Lesegeschwindigkeit noch weiter erhöhen ist RAID 10 (Mirrored Striping) sinnvoll: Ein Stripeset aus beliebig vielen Festplatten wird auf ein anderes Stripeset aus genauso vielen Platten gespiegelt.

Kostentechnisch ist dies nicht wirklich optimal, da genau wie beim mirroring nur die hälfte des Plattenplatzes nutzbar ist. Dafür ist es ausfallsicher UND schnell.

Mein wöchentliches Langzeitbackup

Für mein wöchentliches Langzeitbackup habe ich mich für ein externes, per Firewire 800 angebundenes RAID (gemirrored) entschieden, da es mir dann egal sein kann ob eine der beiden Platten mit der Zeit nicht mehr lesbar ist.

Für Festplatten habe ich mich entschieden weil sie dauerhafter Daten Speichern als DVD-Rohlinge und vermutlich sogar als Bluray Disks. Gegen Bluray Disks habe ich mich vor allem aus Kostengründen entschieden (ich müsste erstmal einen Bluray-Brenner anschaffen und die Rohlinge sind auch nicht grade günstig). Der Hauptgrund: ich traue den Dingern noch nicht so recht.

Sollte doch mal eine Festplatte ausfallen tausche ich einfach die defekte Platte aus und alles bleibt erhalten. Hätte ich nur eine einzelne Platte könnte es sein, dass das Langzeitbackup (Datenendlager…) irgendwann Grütze wird und alles verloren ist, was nicht mehr auf der aktuellen Festplatte oder im inkrementellen Timemachine Backup vorhanden ist.

Hinzu kommt, dass mein langzeit Backup RAID nicht ständig angeschaltet ist und somit, falls es doch mal ein Virus auf den Rechner schafft, das Backup erstmal nichts davon mitbekommt.

Vor jeder Sicherung wird der Virenscanner angeschmissen, dann das RAID eingeschaltet – so kann (fast) nichts passieren.

Ebenso könnte ich mir vorstellen, mein Timemachine Backup auf ein RAID auszulagern. Mit dem Gedanken habe ich schon gespielt. Jedoch spielen mehrere Überlegungen eine Rolle: Ein weiteres RAID ist teuer. Zwischen 300 und 600 EUR wäre ich dafür los.

Ausserdem erstelle ich ohnehin wöchentliche Backups. wenn also die Timemachine Platte und GLEICHZEITIG meine Systemfestplatte abschmiert gehen mir maximal 7 Tage und die Historie auf dem Rechner verloren.

Da dies jedoch sehr unwahrscheinlich ist, sehe ich das Timemachine Backup eher als Archiv gegen versehentliches Löschen an. Und das darf ruhig mal kaputtgehen.

Die Timemachineplatte kann auch die ganze Zeit mitlaufen, da es nichts ausmacht, wenn doch mal ein blöder Virus die Daten auf der Platte über den Jordan schickt. Vor allem aber will ich nicht alle Stunde die Platte anschalten, damit Timemachine sein Backup erstellen kann.

Nur die „Site Redundancy“ hab ich noch nicht gelöst.

Cloud Backup Services sind mir bisher nicht sicher genug und/oder zu teuer. Hinzu kommt, dass mein Internetupstream zur Zeit nur bei 5 mbit/s liegt und die zu sichernden Datenmengen die GB Grenze in der Regel um ein Vielfaches überschreiten: Der Upload einer einzigen Vollsicherung würde Tage dauern.

Auch eine Festplatte alle paar Wochen irgendwohin zu schicken kommt für mich nicht in Frage, so wichtig ist das nun auch nicht.

Nach einem Wohnungsbrand oder einem ähnlich fatalen Ereignis hätte ich vermutlich ganz andere Probleme als eine verlorene Bilddatenbank auf einem kaputten Rechner…

Aber das mag jeder durchaus anders bewerten und für sich seine eigene Entscheidung treffen.

Von NAS Systemen halte ich nur dann etwas, wenn die Netzwerkanbindung zwischen den Systemen ausreichend schnell ist und zwingend mehrere Nutzer mit den gleichen Dateien arbeiten müssen. Und selbst dann kann es Zuhause sinnvoller sein die Daten über den Rechner zu Teilen, an dem die Platte hängt statt ein dediziertes NAS zu kaufen.

400 mbit/s sollten zwischen Computer und NAS allerdings mindestens übertragen werden können, damit ein NAS Spass macht. In der Regel bedeutet das: Gigabit Ethernet oder Fibrechannelanbindung. Mit einer einfachen, handelsüblichen Gigabit-Ethernet-Anbindung liegt die Datenübertragungsrate etwa bei 80-90 MByte/s.

Manche NAS Systeme die heute im Handel erhältlich sind unterstützen aber nur das ältere 100 mbit Ethernet – mit Datenübertragungsraten von nur 8-9 MByte/s.

Viel zu wenig um ‚zig Gigabytes von Daten sinnvoll übertragen zu können. Ausserdem bietet ein NAS, wenn es ständig am Netz hängt, keinen zuverlässigen Schutz gegen Viren oder Würmer.

Weil die schnelleren, Netzwerkbasierten Übertragungswege relativ teuer in der Anschaffung sind und ich nicht von mehreren Rechnern in einer verteilten Umgebung auf den Datenbestand zugreifen muss habe ich mich für das oben genannte RAID System mit Firewire 800 anbindung entschieden.

Alternativen für die lokale Anbindung sind Systeme mit USB 3.0 oder Thunderbolt, diese Anschlussarten müssen jedoch sowohl vom Computer als auch vom RAID System unterstützt werden. Speziell Thunderbolt ist auf dem Mac zu empfehlen, jedoch kostet ein WD MyBook Studio RAID mit Thunderbolt aktuell etwa 130 EUR mehr als das gleiche RAID System mit Firewire 800.

Ende Gut, alles Gut?

Heute Morgen meldete sich übrigens mein Bekannter per eMail: Sein Rechner bootet nicht mehr, die SSD ist kaputt. Zum Glück hat er das Wichtigste wiederhergestellt bekommen. Sieht so aus als wären die Tipps grade zur richtigen Zeit gekommen.

Megapixel machen Blind. Eine Sonntagskolumne.

Es kann doch nicht sein, dass es außer der Nikon D800 keine anderen Themen mehr in der fotografischen Landschaft gibt, die zur Zeit alle brennend interessieren.

Neue Kameras kommen andauernd auf den Markt, auch welche mit immer noch mehr Megapixeln. Und dennoch ist der Artikel über die D800/E und 5D III der meistgelesene der Woche auf dem Blog gewesen, obwohl er zu allem Überfluss auch noch zum denkbar ungünstigsten Zeitpunkt am Freitag Abend publiziert worden ist.

Vielleicht ist ja doch etwas dran an dem Spruch: „Es ist alles schon einmal fotografiert worden, nur noch nicht mit jeder Kamera.“

In den Kameraforen diskutieren sich die User in diesen Tagen ’nen Wolf, meckern und mosern dass sie so lange auf die neue Knipse warten müssen, zicken rum und ärgern sich wie über einen zweiten Platz des FC Bayern. Als könne man allein wegen der bloßen Ankündigung eines neuen Pixelboliden keine vernünftigen Fotos mehr machen! Systemwechseldrohungen werden ausgesprochen, Bitten, Flehen, Verzweiflung, Spott und Hohn vermischen sich zu einem lustigen Spektakel im Netz.

Rückblende: Vor 6 Jahren noch galten 6 Megapixel als normal. Besonders hochauflösende Spiegelreflexkameras hatten 10 oder 12 Megapixel. Das war aber auch schon das Höchste der Gefühle. Eine Pentax 645D war allenfalls im Klickdummy-Stadium und Kleinbild-Digital gabs damals nur bei Canon und Kodak. Die Kodak langsam, veraltet und unbezahlbar, die 5D mit bescheidenem AF, miserablem Auto-ISO und grottigem High-ISO, ohne Gehäuseabdichtung oder Staubentfernung – und ebenfalls nahezu unbezahlbar.

Nun starren alle wie gebannt trotz bekannter Autofokusprobleme bei den seitlichen AF-Feldern und weiterer Kinderkrankheiten auf die Haben-Will-36MP-D800/E, warten sich einen Ast und vergessen das Fotografieren.

Und das obwohl die D800 ausser einem Sensor mit noch mehr Megapixeln und einem guten Bildprozessor eigentlich nichts wirklich neues zu Bieten hat: Kein WLAN in der Kamera, kein Klappdisplay, kein Sucher mit LCD-Maskierung – nichtmal ein Ethernet-Anschluss oder eine auswechselbare Bildeinheit ist drin. Auch die Verarbeitung wirkt nicht ganz so wertig wie noch bei der D700. Dafür kostet die Kamera satte 500-800 EUR mehr als die D700 bei ihrer Markteinführung. Unfassbar. Aber vielleicht verstehe ich das alles auch einfach nur nicht richtig. 😉

So sehr erblindet sind die potentiellen Kunden, dass z.B. die wirklich gelungene, reisetaugliche Olympus OM-D E-M5 völlig untergegangen ist, obwohl man mit ihr vermutlich weitaus öfter Fotos machen würde als mit einer Backstein-D800.

Hinzu kommt, dass auch die E-M5 genauso schlecht erhältlich ist wie die neu angekündigte X-Pro 1 von Fuji, die auslieferungsgestoppte Canon 5D III, die gehypte D800/E oder die Profi-D4 und 1DX. Zurzeit gibt es eigentlich nur nicht lieferbare neue Kameras und günstige Gebrauchte. Erstaunlich eigentlich.

Bei Ebay lösen sich währenddessen die Preise für die 12MP Kleinbild DSLRs D700, D3 und D3s buchstäblich auf als hätte man Flußsäure darüber gegossen – und das obwohl Nikon die neuen Kameras in Dosierungen in den Markt tröpfeln lässt, die man noch nicht mal homöopathisch nennen kann.

Gut für diejenigen, die jetzt günstig eine D700 oder D3/s ergattern wollen. 😉

Die Gebrauchtpreise bei eBay für die D700 gehen inzwischen bei 1300 EUR los, die für die D3 bei 1475 EUR und auch die gar nicht so alte D3s wird zum Teil schon in den unteren 2000 EUR Regionen und darunter gehandelt.

Sicher – Equipment ist toll. Aber wenn ich diese D800 Hysterie aus einiger Distanz betrachte, dann habe ich spontan 2 Gedanken dazu:

„Geilheit schaltet den Verstand aus“ und „Technikquartett ist interessanter als das Hobby Fotografie an sich“. Natürlich ist es oft einfacher sich eine neue Kamera zu kaufen als selbst daran zu arbeiten bessere Bilder zu machen. Bessere Bilder lassen sich nunmal nicht zwingend an mehr Megapixeln, noch höheren rauschfreien ISOs oder noch tolleren Effektfiltern in der JPEG-Engine erkennen. Das sind nur technische Randaspekte.

Wenn Max Möchtegern nun beispielsweise mit dem neuesten Boliden wie gehabt seine Katze (nichts gegen gut gemachte Katzenfotos, aber ich denke ihr wisst was ich meine…) oder eines von diesen 08/15 Sonnenuntergangsfotos mit schiefem, mittigem Horizont ohne Tiefenstaffelung und leicht verwackelt aufnimmt werden die Bilder nur durch die Kamera allein nicht besser. Man könnte sie lediglich NOCH GRÖSSER ausbelichten und hoffen, dass man allein durch noch mehr Details bei den Freunden Staunen auslösen kann, dass eben noch mehr Details auf dem 2x3m Plakat zu sehen sind. Aber mal im Ernst: wieviele eurer Fotos lasst ihr in Formaten grösser als 60x90cm ausdrucken? Oder beginnt jetzt vielleicht die Zeit in der die Hobbymegapixelfans anfangen ihre 100% Crops auf 50X70cm aufzuziehen?

Wer von den D800 Käufern hat denn vor dem Kauf schon mal darüber nachgedacht, dass sein oller Pentium 5 mit 1GB RAM und 120GB Festplatte vielleicht nicht mehr zeitgemäss genug ist um mit den 36MP RAWs fertig zu werden? Etliche Käufer werden sich wundern, dass auf ihrem Rechner das Entwickeln der Bilder wieder so lange dauert wie früher, als man den Film noch ins Labor geschickt hat. 80% der Käufer werden zwar alle Bilder mit 36MP aufnehmen, sie dann aber trotzdem wie schon jetzt in 1024×768 Pixel Auflösung oder noch kleiner ins Internet stellen. Vielleicht sogar 1:1 crops in dieser Auflösung.

Apropos ins Internet stellen: Habt ihr schon daran gedacht eure alte DSL 6000 Leitung upzugraden, damit der Upload eines einzigen D800 JPEGs nicht ’ne halbe Stunde dauert? Gibts bei euch im Viertel überhaupt schon Glasfaser oder DSL20000?

Ob das 14-24/2,8 dann zum Standardobjektiv wird? Schliesslich kann man damit durch Croppen so gut wie jede gängige Brennweite simulieren. Für 800×600 Portraits mit 85mm Bildwirkung ist das Objektiv jedenfalls an der D800E durchaus zu gebrauchen. Vorausgesetzt man trifft alle Vorkehrungen, damit man das Bild nicht verwackelt, was ja ebenfalls ein Thema ist, das bei einer 36MP Knipse deutlicher zu Tage tritt als bei den „alten“ 12MP Dingern.

Einen Grund gäbe es allerdings wirklich auf die D800 upzugraden: Wenn man seine liebgewonnenen APS-C Objektive weiter benutzen möchte und sich keine neuen Kleinbildobjektive anschaffen will. Wobei hier natürlich die Frage ist, ob man nicht lieber die 3000 EUR in einen alten Body, neue Objektive und etwas Lichtausrüstung steckt als in einen neuen Body, der nach 3 Jahren spätestens nur noch die Hälfte Wert ist…

Genug rumkritisiert: Allen, die nicht 36 Megapixel für einen ganz bestimmten Zweck brauchen, rate ich sich jetzt günstig mit „alten“ 12MP Kleinbild DSLRs einzudecken, so billig wie im Moment werdet ihr an die alten Knipsen eine Weile nicht mehr rankommen. Und auch nicht an so ausgereifte Kameratechnik. Und für fast alles sind 12 MP mehr als ausreichend.

Denn noch haben die bisherigen Besitzer von D3/s und D700’s, die jetzt auf die D800 umsteigen noch nicht gemerkt was die D800 alles kann bzw. nicht so gut kann wie ihre Vorgängermodelle. Wenn die D800/E erstmal im Markt in Stückzahlen erhältlich ist, sieht die Welt vor allem bei den D3/s vermutlich schon wieder etwas anders aus.

Anschliessend habt ihr mit den „ollen“ Kameras 2 oder 3 Jahre richtig Spaß, macht supergeile Fotos, arbeitet an eurem Stil und eurem Können und wenn die D800/E dann am Ende endlich bugfree ist, alles Zubehör in grosser Vielfalt verfügbar ist und keiner mehr Bock auf 36MP hat, weil Canon die neue 200 Megapixel Superkompakt 3D Mark X mit 10fps angekündigt hat und euer Rechner in der Zwischenzeit mit dem leicht veralteten Intel Hexacore mit 12 virtuellen Kernen und 128GB RAM aus dem Vorjahr aufgerüstet ist, DANN schlagt ihr bei der D800/E zu – und habt RICHTIG gewonnen.

Nur so ein Gedanke.