- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Аноним, 23:03 , 23-Мрт-24 (1) +7 [^]
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Васян из васяна, 23:26 , 23-Мрт-24 (2) +4
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Аноним, 02:40 , 24-Мрт-24 (13) +3
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Аноним, 10:45 , 24-Мрт-24 (21) +1
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Аноним, 11:12 , 24-Мрт-24 (22) –1
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 13:03 , 24-Мрт-24 (29)
есть, как раз у автора оператора например :)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Аноним, 16:17 , 24-Мрт-24 (37) +1
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 23:54 , 24-Мрт-24 (43) +1
ответить на скрытый коммент не могу. в общем, оператор используется в проде, возможно код на гитхабе не обновлён, но он используется. по поводу оператора залетайте в тг чатик @vitastor и тыкайте @antillles-а, он и обновит
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Аноним, 09:17 , 26-Мрт-24 (88)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., YetAnotherOnanym, 12:25 , 24-Мрт-24 (27) –1
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 13:02 , 24-Мрт-24 (28)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., нах., 13:58 , 24-Мрт-24 (31) –2
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 23:08 , 24-Мрт-24 (42)
Ну выберут и выберут, можно подумать с GPL встали бы в очередь)Завоевать популярность в любом случае дело небыстрое, зато не придется потом, как Redis, лицензию менять, провоцируя негатив и форки
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Аноним, 09:19 , 26-Мрт-24 (89)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., нах., 14:01 , 24-Мрт-24 (32)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Аноним, 16:14 , 24-Мрт-24 (35)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 08:37 , 25-Мрт-24 (46) +1
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., нах., 09:58 , 25-Мрт-24 (48)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Аноним, 12:02 , 25-Мрт-24 (50) –1
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., нах., 13:06 , 25-Мрт-24 (51)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 22:10 , 25-Мрт-24 (61)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 22:36 , 25-Мрт-24 (65)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 23:34 , 25-Мрт-24 (68)
Хм, ну да, единственный трабл это page cache конечно. Ну типа если писать-читать из NFS с O_DIRECT, то когерентность будет. А там случайно нет в линуксовом NFS опции чтобы принудительно всем direct включить?.. :-)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 23:41 , 25-Мрт-24 (70)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 23:42 , 25-Мрт-24 (71)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 23:42 , 25-Мрт-24 (72)
Не, если пишут и читают с O_DIRECT, то всё железобетонно синхронно будет, по крайней мере если кэш дисков отключён (immediate_commit=all). Т.к. любая завершённая запись уже точно будет на всех OSD, и любое последующее чтение пойдёт на эти же OSD и оттуда данные прочитает"попала в буфер" - что за буфер, у меня нет никакого такого буфера. А на дисках предполагается по дефолту отрубать кэш и юзать ssd с конденсаторами
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 23:44 , 25-Мрт-24 (73)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 23:44 , 25-Мрт-24 (74)
> он с OSD получит всё такой же старый лежалый блок.Не получит. У меня синхронная репликация абсолютно всегда.
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 23:57 , 25-Мрт-24 (76)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 23:58 , 25-Мрт-24 (77)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 00:18 , 26-Мрт-24 (81)
> Если так сделать - то при рандомных мелких чтениях будет полный трындец. Да нормально всё будет, у меня же везде оптимизация под задержку, на чистой блочке даже в один поток задержка чтения на нормальном кластере ~0.1 мс. Т.е. сравнимо со скоростью локального ссд. Ну с NFS добавится ещё один раундтрип до NFS сервера (т.е. клиент -> vitastor-nfs -> OSD). Но если vitastor-nfs запущен локально, то этот раундтрип будет через локальный loopback, т.е. добавит какие-нибудь 20 микросекунд. Ну будет в конце концов 0.15 мс скажем, нормально. Собственно а как ещё-то делать, если у тебя сетевая ФС и тебе нужна когерентность? Если ты юзаешь кэш клиента, понятно что из него могут данные отдаться. Если нужна когерентность только и остаётся на сервер ходить. Теоретически если бы был собственный модуль ядра с реализацией ФС, можно было бы наверное сделать оптимальнее, либо какие-то уведомления от сервера, либо как у меня в vitastor-kv перепроверки номера версии, но это же пипец, модуль ядра свой пилить)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 08:13 , 26-Мрт-24 (86)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 09:56 , 26-Мрт-24 (90)
Можно сколько угодно делать, они стейтлесс, их синхронизировать не надоМожно вообще NFS сервер запускать локально, как FUSE, там даже есть команда vitastor-nfs mount - сразу запускает и монтирует сервер на локалхосте на случайном порту
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 10:24 , 26-Мрт-24 (91)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 11:15 , 26-Мрт-24 (92)
Да чо ты троллишь :-) там специально сделано так что всё стейтлесс. Я даже БД специальную накурил на основе оптимистичного Б-дерева, допускающую параллельный доступ с разных нод. :-) на основе CAS-"транзакций".Без блокировок вполне можно выжить, выше же обсудили про O_DIRECT, а вообще и проще, простой close-to-open сработает всегда, даже с пейдж кэшем
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 23:56 , 25-Мрт-24 (75)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 00:21 , 26-Мрт-24 (82)
O_DIRECT с NFS пашет, я проверял. Причём что забавно - даже с невыровненными блоками :-).А с блокировками - насколько я понял из man 5 nfs, там сам NFS-клиент кэш сбросит за тебя, если ты блокировки юзаешь. Но там же и написано про O_DIRECT: If absolute cache coherence among clients is required, applications should use file locking. Alternatively, applications can also open their files with the O_DIRECT flag to disable data caching entirely.
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 15:57 , 25-Мрт-24 (52)
Да запилю я эти блокировки, фиг ли там делать :) - etcd же есть под рукойПросто мне не казалось что это первый приоритет честно говоря
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 22:04 , 25-Мрт-24 (59)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 23:20 , 25-Мрт-24 (66) +1
Что ты собрался синхронизировать локами? Назови практическое применение. Что это за приложение? Мне из практики только dovecot maildir в голову приходит.Типичному HPC софту, например, нужна ReadWriteMany ФС, но синхронизация там в 99% случаев своя, через какую-то стороннюю БД. Что там реально нужно от ФС - это чтобы изменения, внесённые в файл одной нодой, СРАЗУ после этого были видны другой ноде. Т.е. strong consistency при монтировании на нескольких нодах. Это у меня есть. *единственно прочитал коммент выше про когерентность кэша в NFS - да, наверное, на файлах, открытых без O_DIRECT, она будет только через перепроверку mtime/сtime, т.е. на уровне порядка 1 секундной задержки при изменении.
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 22:11 , 25-Мрт-24 (62)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Golangdev, 17:02 , 25-Мрт-24 (54)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 18:14 , 25-Мрт-24 (55)
> Открою ужасную правду, - когда не хочется сдавать(ся) хранилище в облако, используют Minio. Тут такое API есть ?Вы только Minio из S3-совместимых хранилок знаете? :-) так-то это самая слабая реализация из всех доступных
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Аноним, 20:49 , 25-Мрт-24 (58)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Golangdev, 22:24 , 25-Мрт-24 (63)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., vitalif, 23:25 , 25-Мрт-24 (67)
На самом деле я не делал S3 в начале тоже ровно потому, что нормальные S3-хранилки есть и без меня. Ceph, SeaweedFS как минимум, а кому-то и Minio действительно достаточно.А вот хороших БЛОЧНЫХ хранилок не было. У всех латенси на уровне 1-2 мс т.е. при записи с глубиной очереди 1 (например при записи WAL СУБД) это всего 500-1000 операций в секунду. Поэтому в первую очередь на блочке и сосредоточился. В качестве второго приоритета взял ФС, т.к. кластерных ФС нормальных тоже считай нет. Самое лучшее что было это пожалуй CephFS, но и у неё много проблем, начиная с очень большого оверхеда и отсутствия горизонтального масштабирования MDS. Ну и в HPC популярна люстра, но с ней задолбаешься и отказоустойчивость там специфическая я так понимаю.
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Tron is Whistling, 22:06 , 25-Мрт-24 (60)
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., Фняк, 01:58 , 26-Мрт-24 (84) +2
- Опубликован выпуск SDS Vitastor 1.5.0 с поддержкой кластерно..., igsbox, 12:11 , 26-Мрт-24 (94)
|