URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 122923
[ Назад ]
Исходное сообщение
"Первый публичный выпуск распределённой файловой системы JuiceFS"
Отправлено opennews , 13-Янв-21 18:11 
После четырёх лет разработки компания Juicedata, созданная при поддержке двух крупных китайских венчурных фондов, опубликовала первый публичный выпуск POSIX-совместимой распределённой файловой системы JuiceFS, которая может быть развёрнута поверх СУБД Redis или хранилищ объектов, поддерживающих API  Amazon S3. JuiceFS развивается как промежуточное решение, позволяющее упростить адаптацию любых приложений для работы в облачной инфраструктуре, благодаря возможности работать с хранилищами объектов как с традиционными ФС. Код проекта написан на языке Go и распространяется под лицензией AGPLv3...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=54396

Содержание
Сообщения в этом обсуждении
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Иваня , 13-Янв-21 18:11 
Круто, надо поизучать. На гошечке отлично делать распределенные системы!
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 18:19 
Новость дальше слова "go" ты походу и не прочитал))
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 18:20 
(то, что до него, походу, тоже)
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Атон , 13-Янв-21 21:48 
GOoogle
GOspel
GOvernment


удобно.

"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 22:07 
vlang наше все. го ущербен
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 14-Янв-21 11:16 
Оно еще живое?
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено pda , 14-Янв-21 12:37 
V? Да, причём автор пилит его с такой скоростью, будто реально решил всех вытеснить. :)
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено adolfus , 14-Янв-21 13:23 
В связи с последними событиями с долинковкой малвари в орион с помощью специальной версии msbuild облакам хана. Своя собственная физическая инфраструктура дешевле в разы обходится, а то и на порядок.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено мяя , 15-Янв-21 18:05 
О чём речь не подскажете?
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено adolfus , 15-Янв-21 23:36 
Релиз Solar Wind Orion собирался на сервере сборки специально изготовленным msbuild, чтобы скрыть следы линковки с левыми объектными модулями. А чтобы на микрософт не подумали, то якобы "взлом" инфраструктуры Solar Wind затронул и их.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 16-Янв-21 07:15 
Читайте первоисточники и не несите дичь. Исходники подменялись малварью во время сборки и восстанавливались после. Msbuild был самый обычный.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено _ , 13-Янв-21 18:16 
Go fast! Go - blazing fast! ;-)
Это вам не ржавчина какая :-р
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 19:34 
Если сРаст такой хороший язык почему на нём не написали такую простую штуку как распределенная файловая система?
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 20:22 
на расте пытались написать недоось - но в ней память потекла :)
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено YetAnotherOnanym , 13-Янв-21 20:23 
Прям представляю, прамять такая: Ой, девочкиии, какой языыык... Я потекла...
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 21:22 
> на расте пытались написать недоось - но в ней память потекла :)

Разоблачения от опеннетных профессианналов, только сегодня, смотреть далее ...


"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 14-Янв-21 05:52 
Но и опровергнуть ты не смог...
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 14-Янв-21 06:23 
> Но и опровергнуть ты не смог...

Зачем опровергать очередной бред?
чайник_рассела.жпг


"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Ordu , 16-Янв-21 08:47 
Ты слишком толст, чтобы тебя кто-нибудь опровергал. Тоньше быть надо.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено заминированный тапок , 13-Янв-21 20:23 
им пока не до новых разработок, сильно заняты пока что переписыванием существующих решений с C/C++
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 21:12 
ясно, понятно, просто переставляют койки...
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено _ , 14-Янв-21 03:31 
На Rust уже есть https://github.com/openebs/Mayastor , который по функционалу уже близок к CEPH)
Сам он ФС не предоставляет, только объектное и блочное хранилище, однако эту задачу решает NFS/любая другая ФС работающая поверх объектного хранилища (Та же JuiceFS подойдёт :D)
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 14-Янв-21 05:50 
А как ты будеш кластеризовать сам nfs? Это не говоря о том что сама nfs это лютейшее говно.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 14-Янв-21 12:30 
мисье не в курсе о pNFS и NFS v 4.2 ?
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Ульта , 14-Янв-21 21:10 
Он видать на SunOS NFS3 еще гоняет
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено _ , 14-Янв-21 19:02 
> Это не говоря о том что сама nfs это лютейшее говно.

1. Я и указал что NFS это не единственный вариант
2. Можно ли услышать аргументацию про NFS? Поддерживаю кластер 120 нод, много чего гоняется по NFS, за 3 года проблем не видел (Кроме тех что были вызваны кривыми руками)

"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено _ , 14-Янв-21 22:11 
3.14159265 - do - ball ? :-)))))
NFS - suks, no doubt. Problem is - there is noting really better :(
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Ульта , 14-Янв-21 21:11 
Шо раст шо го одно г0вно
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 18:34 
Реально ли применить для хранения данных пользователей и бэкапов объёмом >300 Тб? И как там отказоустойчивость?
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Онаним , 13-Янв-21 19:10 
Я бы на этом ничего, кроме рецептов смузи, хранить не рискнул.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 19:19 
Его нереально применить для хранения. Это прокси до хранилищ перечисленных на картинке
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 21:07 
Реально. Разрешаю.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 22:37 
Разоришься амазону башлять… Впрочем, твой дело.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 14-Янв-21 15:23 
Отказоустойчивое 0.022 цента за гигабайт только за хранение в месяц. Это приблизительно почти 7к долларов в месяц. И трафик скачать 1 гигабайт стоит 0.09 центов.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 18:35 
Это что-то типа IBM GPFS?
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено бублички , 13-Янв-21 19:40 
нет, это абсолютная новинка на основе концепции Vaseline FS
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Сяду на лицо , 13-Янв-21 23:46 
Васянов огорчает твой коммент
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Атон , 13-Янв-21 21:52 
здесь все метаданные в одной БД.

в GPFS не так.

"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Ульта , 14-Янв-21 17:15 
GPFS это DFS, а эта подделка работает поверх различных DFS от годных типа GPFS, pNFS, Lustre, Ceph до смузиподобных GlusterFS и прочих FUSE like
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено rvs2016 , 13-Янв-21 18:58 
> Каждый файл разбивается на логические цепочки размером 64 МБ

А файловые системы размером меньше 64 МБ создавать нельзя? 😲

"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 21:05 
Это опенсорс, детка! Здесь все можно. Бери и создавай. ;)
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено rvs2016 , 13-Янв-21 22:06 
> Это опенсорс, детка! Здесь все можно. Бери и создавай. ;)

Понял. Нельзя. Да и не сильно-то было надо. Вопрос-то был не из практической плоскости, а из академической. :-)

"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Атон , 13-Янв-21 21:53 
а смысл?
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 19:32 
наконец-то годноту подвезли.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено YetAnotherOnanym , 13-Янв-21 20:25 
Хммм... Интересно, как она с LeoFS будет?
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 13-Янв-21 21:04 
Вот протестируй и отпишись, как оно будет.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Сяду на лицо , 13-Янв-21 23:43 
Фс поверх фс которая поверх другой фс и так до бесконечности... да уж линукс во всей красе((( даже винда сейчас смотрится как нечто органичное и структурированное по сравнению с этим балаганом
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Онаним , 14-Янв-21 00:16 
В винде прямо из коробки идёт подобное же рукалицо.
Дропбокс называется.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Сяду на лицо , 14-Янв-21 00:32 
Дропбокс это овеолей поверх оверлея??? Там просто эмуляция WebDAV/REST, типа FUSE, а не FUSE поверх FUSE которая поверх S3 который поверх FUSE который размазан поверх Lustre и все это поверх FUSE которая поверх GlusterFS которая тоже поверх FUSE
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Онаним , 14-Янв-21 09:48 
Внезапно:
1. API файловой системы -> ядерная поддержка FS -> юзерспейсный драйвер FS дропбокса
То есть первый оверлей ("FUSE") есть.
2. API дропбокса - HTTPS, то есть и второй слой имеется, "FUSE" поверх HTTPS
3. Сам дропбокс внутри - всё тот же блочный сторейдж по типу S3, просто часть, делающая возможность работать с файлами - выкинута в API дропбокса

То есть в итоге - почти точно такое же овнище, вид в профиль, за исключением того, что конверсия в блочный сторейдж на стороне сервера выполняется.

"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Ульта , 14-Янв-21 15:34 
Только описываемый тобой костыль дропбокса не на одной системе пашет, тобишь эмуляция прозрачной ФС с трансляцией в API бокса это обычный FUSE, а S3 или че он там использует это его сервер сайд, по факту имеем один FUSE

Оверлей поверх оверлея это когда одна эмуляция поверх другой эмуляции... и где то в конце нечто приближенное с реальной ФС, как в этом смузипроджекте

"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Онаним , 14-Янв-21 19:04 
По факту имеем FUSE и дальше костылинг поверх HTTP.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Онаним , 14-Янв-21 19:05 
(не забывай, что от "FUSE" до дропбокса - ещё его кривой API)
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Ульта , 14-Янв-21 21:08 
FUSE собственно и реализует прослойку между кривым API и ядром ОС, дабы у хомячка все была НАТИВНО
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Онаним , 14-Янв-21 21:46 
А дальше идёт прослойка в виде хытытыпы под прослойкой в виде ссл к прослойке в виде WebAPI.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Ульта , 15-Янв-21 17:16 
FUSE это и есть прослойка
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено анонимно , 14-Янв-21 04:47 
Написана вроде интересная штука да ещё и под копилефт.
Количество хейтеров на опеннете прибавилось )
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 14-Янв-21 15:25 
Платное уг не нужное.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 14-Янв-21 05:46 
Ну тут все понятно, дохлый проект непонятно для чего. Client Core это single машина а после уже клиентам раздаем по smd или nfs, а я то уже обрадовался что появилась замена cephfs когда все клиенты из кластера смогу смонтировать и не угробить файлы.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноньимъ , 14-Янв-21 05:58 
Я в новости про фс в вкладках браузера предложил устанавливать туда браузер.

И вот собственно мою идею развили и реализовали.

"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 14-Янв-21 06:01 
https://juicefs.com/pricing - это говори о проекте все, удачи вам с этим васяно уг...
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено borbacuca , 14-Янв-21 17:46 
дыкжеж венчурные фонды!
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Анонимленьлогиниться , 14-Янв-21 16:53 
Хмм. Интересно, ждем когда будет работать поверх Swift. Т.к. у многих cloud провайдеров его используют. Технически там-то конечно S3 шлюз есть, но подобные жесткие сервисы обычно не работают корректно, т.к. поведение eventual consistency отличается от того, который в AWS. А если речь про использование в AWS.. Так нафига вообще козе баян? Есть же CASFS+ (https://casfs.com/documentation/casfs/casfs-white-paper/#cas...) уже.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Ульта , 14-Янв-21 17:08 
pNFS наше все, в ж0пу костыли запихать всем любителям системда
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено PnD , 14-Янв-21 18:20 
Оп. Метаданные в реди́се. Но без них же данные превратятся в лапшу? Или нет?
Может, я чего пропустил и редис выпустил систему с гарантиями? Да нет, всё так же:
"Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache, and message broker."

Ну, что же. Видимо, гм, основные цели носили не технический характер.

"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено Аноним , 15-Янв-21 06:49 
Тот же вопрос у меня.
"Первый публичный выпуск распределённой файловой системы Juic..."
Отправлено ОхотникНаОленей , 16-Янв-21 06:02 
Ну редис флашить состояние на диск умеет, как минимум для перезапуска машины. Плюс сохранность обеспечивает избыточность узлов.

А без избыточности узлов и hdd без raid - не надёжен.