Alle Daten der WWU Cloud werden in einem Ceph-Objektspeicher [2,3] abgelegt. Dieser verteilt sich in einer hyperkonvergenten Architektur über nahezu alle Server eines jeweiligen Standorts der WWU Cloud. Die Standorte sind dabei komplett unabhängig, d.h. es werden keine Daten zwischen den Standorten automatisch gespiegelt oder anderweitig synchronisiert. Zur Speicherung der Daten im Ceph-Objektspeicher existieren verschiedene Möglichkeiten, die unter anderem bei der Erstellung von virtuellen Festplatten oder Freigaben ausgewählt werden können:
8+3 Erasure-Coding
Bei einem 8+3 Erasure-Coding-Verfahren [1] werden alle Datenblöcke in 8 Teilblöcke zerlegt und zusätzlich 3 Paritätsblöcke berechnet. Die 11 Blöcke werden durch ein Hash-Verfahren [4] auf unterschiedliche Server verteilt, so dass eine Betriebseinschränkung erst ab einem Ausfall von 2 Servern auftreten kann. Datenverlust kann erst ab einem gleichzeitigen permanenten Ausfall von 4 Festplatten in 4 unterschiedlichen Servern auftreten. Dieser Art der Speicherung wird überwiegend für große Datenmengen verwendet.
Replizierung (fünffach)
Bei fünffacher Replizierung werden alle Datenblöcke redundant auf Festplatten von fünf Servern gespeichert. Bei diesem Verfahren kann eine Betriebseinschränkung erst ab einem Ausfall von 2 Servern auftreiten. Datenverlust kann erst ab einem gleichzeitigen permanenten Ausfall von 5 Festplatten in 5 unterschiedlichen Servern auftreten. Diese Art der Speicherung wird überwiegend für kleine bis mittelgroße Datenmengen auf virtueller Festplatten verwendet.
Wiederherstellungszeit
Sobald ein Ausfall registriert wird, werden die Daten der betroffenen Festplatte automatisch neu verteilt, so dass das Zeitfenster mit reduzierter Redundanz gering bleibt. Dabei werden 3-fach replizierte Daten priorisiert. Die Zeit für die Wiederherstellung der Redundanzen liegt zum Zeitpunkt der Erstellung dieses Dokuments bei ca. 10 Stunden bei einem Füllungstand von 14%.
Gold- und Bronzespeicher
Die WWU Cloud besitzt sowohl HDD-Speicher (bronze) und NVMe-Speicher (gold). Für große Datenmengen sollte Speicher der Kategorie "bronze" verwendet werden und für kleine Datenmengen (insbesondere Datenbanken auf virtuellen Festplatten) sollte Speicher der Kategorie "gold" verwendet werden.
- Plank, J. S., Simmerman, S., & Schuman, C. D. (2007). Jerasure: A library in C/C++ facilitating erasure coding for storage applications. Technical Report CS-07–603, University of Tennessee.
- Weil, S. A., Brandt, S. A., Miller, E. L., Long, D. D., & Maltzahn, C. (2006, November). Ceph: A scalable, high-performance distributed file system. In Proceedings of the 7th symposium on Operating systems design and implementation (pp. 307-320). USENIX Association.
- Weil, S. A., Leung, A. W., Brandt, S. A., & Maltzahn, C. (2007, November). Rados: a scalable, reliable storage service for petabyte-scale storage clusters. In Proceedings of the 2nd international workshop on Petascale data storage: held in conjunction with Supercomputing'07 (pp. 35-44). ACM.
- Weil, S. A., Brandt, S. A., Miller, E. L., & Maltzahn, C. (2006, November). CRUSH: Controlled, scalable, decentralized placement of replicated data. In SC'06: Proceedings of the 2006 ACM/IEEE Conference on Supercomputing (pp. 31-31). IEEE.