Компания Cleversafe объявила (http://www.cleversafe.com/company/press_stories/Linux_World_...) об открытии под лицензией GPL исходных текстов файловой системы DSGrid (http://www.cleversafe.org/dsgfs) под Linux, предназначенной для создания распределенных в глобальной сети систем хранения данных.
Каждый блок данных в DSGrid разбивается на 11 частей, которые сохраняются на различных машинах в сети. Данные дублируются и для сохранения целостности необходима работа всего 6 узлов из 11.URL: http://www.cleversafe.com/company/press_stories/Linux_World_...
Новость: http://www.opennet.me/opennews/art.shtml?num=8124
а скорость работы это фс фантазмагичная наверно )))пока по сети по всем драйверам сетевух разным уровням топологии и тд
да соберёт это в кучу... на ext3 уже в 10 раз больше запыхает на винт %)
ну это так, лирика
Даже если скорость будет не в 10, а в 100 раз меньше (при расчёте на сеть ethernet 100Mbit), это будет крайне полезное решение. Правда, жёсткая привязка соотношения рабочих/начальных узлов мне не нравиться, хотелось бы гибкости, что б эту избыточность можно было бы конфигурировать в широких пределах. К примеру для неочень важной информации достаточно было б 8 рабочих из 10 узлов, а для важной 3 из 10.
а проект и не расчитан на хорошую латентность
насколько понял - задачами являются пропускная способность, возможность хранить много терабайтов на дешёвом железа, распределённость "по миру" и надёжность (fail-safe)
на первый взгляд похоже на Google FS/Hadoop, однако в отличии от них метятся на на кластерную фс, а прямо-таки на "межкластерную"
ннда, не очень понятно, почему именно на 11, а не на 8 или, скажем, 16 - цифры гораздо более круглые. и вообще, если взять за основу механизм raid5 (а зачем тут изобретать велосипед - неясно), то решение должно легко масштабироваться - от 3 до бесконечности.необходимость в таких вещах безусловна. времена локальных, нераспределённых, осей безвозвратно уходят. сомневаться в этом глупо. это всё равно, что сомневаться в полезности веб: "да нахрена эта байда нужна, да я же с локального диска за миллисекунды всё достану". не забывайте, что на 100мегабодах вы поработаете ещё максимум несколько лет.
существуют гораздо более продвинутые в технологическом плане решения. на мой взгляд, лидер - xFS: Serverless Network File Service http://now.cs.berkeley.edu/Xfs/xfs.html
Да уж товарищи ну очень быстро развиваются :)) ...
я никогда не видел работающей реализации xFS, хотя давно о ней слышал. Вbдимо есть какие-то грабли не позволяющее ее развернуть так же просто(сложно) как PVFS или GFS от RedHat. Был признателен за документацию по развертыванию xFS на современных *nix.
В сад такие системы!После 2 часов правки зависимостей в configure, т.к. pkg-config у них только для виду, выяснилость, что эта софтина, написанная на С++, требует экзотические межплатформенные библиотеки. Здесь мы и сломались. Больше терпения не хватило. Остается только представить, как она бедет работать при такой не оптимизации под конкретную платформу и использовании монстрообразных библиотек.
Если кому интерестно, лучше взгляните на gfarm, имхо он намного лучше и грамотнее написан, не без своих проблем конечно, но, все ж таки, один из лучших в этой области.