Distributed block and object storage


(samuel) #1

Eine sehr interessante und ausführliche Diskussion zum Thema wie organisiert man die Strukturen des unendlich großen Strom von fortwährender Datenflut? Kurze Zusammenfassung: Hierarchielos über Objekte die gekoppelt an Metadaten sind und damit beliebig verknüpf- und indexierter werden und das ohne direkte Datenbank auf Speichermedium ebene. http://chucksblog.emc.com/chucks_blog/2009/08/the-future-doesnt-have-a-file-system.html


OuiShare
(samuel) #2

Hier gibt das Ganze schön visuell dargestellt. Ich kratze das ganze aber gerne noch mal in meinem Blogpost an, für den ich bestimmt noch ein wenig brauchen werde, da die Gedanken wohl organisiert sein sollten.


(daniel) #3

Es gibt da bereits eine weit verbreitete Variante: http://www.openstack.org/software/openstack-storage/

Das sollte man sich mal genauer ansehen. Könnte einige unserer Kern-Probleme erschlagen. Interessanter Aspekt: Amazon S3 Kompatibilität.

In der Diskussion in dem von Dir verlinkten Artikel ist ein sehr schönes Beispiel für die Notwendigkeit eines Paradigmenwechsels gegeben:

I agree with the general sentiment of the article. Most hierarchies are inherently flawed due to cross-cutting concerns. (Maybe a misuse of the term, but I think it works) If I’m organizing my pictures, I might choose date as the primary dimension and create a folder structure like: 2009/August/Vision Scuba Trip

But what if I want to view all pictures of a certain person, or all my Scuba Diving pictures. These are separate hierarchies that cut across my primary one. I could try creating these other directory hierarchies and symbolically linking to files from them, but this is cumbersome. Besides, you want a real database behind the scenes so you can efficiently sort and search your data.

You might say this problem is up to your photo software to solve. But I disagree. There is a need for a standard file database that is core to the operating system. Once you develop such a standard a whole new world of computing opens up. Suddenly you have the ability to create and explore data relationships in much more powerful ways.

Es gab z.B. von MS auch mal die Bemühungen etwas ähnliches zu etnwickeln: http://de.wikipedia.org/wiki/WinFS Das Projekt ist gescheitert und einige der Features findet man heute z.B. im SQL-Server.


(jon richter) #4

Ich fände es schön einmal im Rahmen von allmende.io über das Experimentieren mit http://ceph.com/ oder http://basho.com/riak/ nachzudenken.


(jon richter) #5

Ein etwas ausführlicheres Round Up über das Thema gibt es auf zehn Seiten beim Admin Magazin zu GlusterFS und Ceph im Vergleich. git-annex und Tahoe-LAFS sollten aber nicht unerwähnt bleiben.

Pydio finde ich übrigens auch spannend, da es mehrere Backends unterstützt.


(samuel) #6

Dem hinzuzufügen wären: XtreemFS & OriFS


(jon richter) #7

Außerdem auch Camlistore


(jon richter) #8

That somehow relates to http://refspecs.linuxfoundation.org/FHS_2.3/fhs-2.3.html.


(jon richter) #9

Yeah:

Gefunden via:


(samuel) #10

This looks really interesting!


(jon richter) #11

Have we mentionned Nimbus.IO already?


(jon richter) #12

In the end, if we even once integrate one of those object based storage systems behind NDN as the federation engine (and Telehash to WebFist through firewalls), that would be a strong leap towards Socially aware cloud storage [via]

In a sense, we could even call the Federated Wiki an object storage system, but we’re mostly referring to BLOB data instead of structured data here, right?


(jon richter) #13

Never stop, diesmal:

Sheepdog : S3 und Swift kompatible API + block + object abstraction layers for QEMU.


(jon richter) #14

RFC 6392: A Survey of In-Network Storage Systems


(jon richter) #15

Now after Bittorrent Sync can be considered compromised, I came back investigating distributed storage systems again. Some new things can be concluded:

Anything else to mention? Yes. I may build on Ceph or RozoFS.


(jon richter) #16

These experiments on docker-ipfs may shed a new light on some of the questions here.


(jon richter) #17

There is also a ceph frontend called https://rook.io/


(jon richter) #18