The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Для Linux предложена файловая система Composefs"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Для Linux предложена файловая система Composefs"  +/
Сообщение от opennews (??), 28-Ноя-22, 23:06 
Александр Ларсон (Alexander Larsson), создатель Flatpak, работающий в компании Red Hat, представил предварительный вариант патчей с реализацией файловой системы Composefs для  ядра Linux. Предложенная файловая система напоминает Squashfs и также подходит для монтирования образов в режиме только для чтения. Отличия сводятся к обеспечению в Composefs эффективного совместного хранения содержимого нескольких примонтированных дисковых образов и поддержке проверки подлинности читаемых данных.  В качестве областей применения, в которых может оказаться востребована ФС Composefs, называется монтирование образов контейнеров и применение для Git-подобного репозитория OSTree...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=58212

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Аноним (-), 28-Ноя-22, 23:06 
> первичным идентификатором является не имя файла,
> а хэш от содержимого файла.

Так то идея хорошая, но если скажем в файле 80% блоков как у соседа, блочная дедупликация их уберет, а вон то разумеется в пролете, файло должно точно совпадать.

Ответить | Правка | Наверх | Cообщить модератору

128. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Брат Анон (ok), 30-Ноя-22, 16:21 
Ты понимаешь как работает хэш? Например, SHA-256?
Ответить | Правка | Наверх | Cообщить модератору

145. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 01-Дек-22, 18:17 
> Ты понимаешь как работает хэш? Например, SHA-256?

Да. Можно делать независимый хэш на каждый блок ФС. При обнаружении совпадения с другим заменять на реф. Чем дедубликаторы и занимаются в ФС которые умеют в cow. Отсюда жор памяти онлайн дедупом: для скорости записи список хешей известных блоков должен быть в RAM. Офлайн дедубликаторы могут позволить себе хранить это в скоростной БД, .

Когда у файла 80% блоков совпадает, эти блоки БУДУТ заменены на референсы. Это прекрасно работает с образами виртуалок из 1 шаблона, разными версиями данных с общим предком и проч. А если в имени файла закодирован весь хэш всего файла - глобальный sha файлов все же разный, вон то уже не сработает. Будет 2 полностью разных файла.

Ответить | Правка | Наверх | Cообщить модератору

168. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Брат Анон (ok), 05-Дек-22, 13:37 
> Когда у файла 80% блоков совпадает, эти блоки БУДУТ заменены на референсы.
> Это прекрасно работает с образами виртуалок из 1 шаблона, разными версиями
> данных с общим предком и проч. А если в имени файла
> закодирован весь хэш всего файла - глобальный sha файлов все же
> разный, вон то уже не сработает. Будет 2 полностью разных файла.

Читай внимательно: хэш считается у блоков. Если меняется какая-то часть -- только это блок будет посчитан заново и ссылка будет заменена новым хэшем. Все остальные блоки (и хэши) останутся прежними). Если 80% блоков общие -- откуда жор памяти? А таблица страниц памяти -- жор в памяти не устраивает?

Ответить | Правка | Наверх | Cообщить модератору

2. "Для Linux предложена файловая система Composefs"  +17 +/
Сообщение от ИмяХ (?), 28-Ноя-22, 23:14 
Опять херню, которая нужна <0.01% пользователей, запихают в ядро, чтоб в следующем релизе ядра гордиться количеством добавленных строчек кода, мол, ого-го сколько мы сделали. Давайте, ещё больше и жирнее делайте ядро!
Ответить | Правка | Наверх | Cообщить модератору

6. "Для Linux предложена файловая система Composefs"  +15 +/
Сообщение от Аноним (6), 28-Ноя-22, 23:29 
> создатель Flatpak

Ничего не говорит? Ясно же, вся эта штука для того чтоб шарить файлы между пакетами.

Ответить | Правка | Наверх | Cообщить модератору

52. "Для Linux предложена файловая система Composefs"  +2 +/
Сообщение от Аноним (52), 29-Ноя-22, 08:12 
> чтоб шарить файлы между пакетами

shared library? Ой, где-то мы это уже слышали...

Ответить | Правка | Наверх | Cообщить модератору

83. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (83), 29-Ноя-22, 16:20 
Слышал звон.. Вначале разберитесь, что такое FlatPak и по какому принципу он работает
Ответить | Правка | Наверх | Cообщить модератору

85. "Для Linux предложена файловая система Composefs"  –6 +/
Сообщение от лютый ж.... (?), 29-Ноя-22, 16:42 
>Вначале разберитесь, что такое FlatPak и по какому принципу он работает

по такому, который не нужен

Ответить | Правка | Наверх | Cообщить модератору

104. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Admino (ok), 29-Ноя-22, 20:42 
Да, в описании flatpak.
Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

129. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Брат Анон (ok), 30-Ноя-22, 16:23 
Нет. Не шаред мемори. Речь идёт про дедупликацию файлов с одинаковым содержимым, где вместо имени -- хэш. Файлы могут быть чем угодно -- например, пять электронов, десять хромов и 20 фарефоксов. По факту -- всё будет в одном экземляре. Но к хэшу будет прикручено соответствующее количество ссылок.
Ответить | Правка | К родителю #52 | Наверх | Cообщить модератору

12. "Для Linux предложена файловая система Composefs"  +4 +/
Сообщение от Аноним (12), 29-Ноя-22, 00:15 
Ну как бы если кому не надо а жирнота парит - может модуль с ней и не собирать. Впрочем даже если он и соберется, то не будет загружен покуда не попадется диск с такой файлухой, а плюс-минус сколько-то килобайт в /lib/modules не похрен ли сейчас, кроме совсем уж мелочи типа роутеров с openwrt?

Гораздо хуже когда что-то такое понадобилось - а его нет. Вот тут уже мелкими фокусами не отвертишься.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

15. "Для Linux предложена файловая система Composefs"  +9 +/
Сообщение от Аноним (15), 29-Ноя-22, 00:27 
новость > монтирование образов контейнеров

иксперт опеннет> херню, которая нужна <0.01% пользователей

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

73. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от псевдонимус (?), 29-Ноя-22, 13:50 
Так и есть.
Ответить | Правка | Наверх | Cообщить модератору

23. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (23), 29-Ноя-22, 01:04 
Интересно, а как вы используете ядро, и нововведения влияют на лично ваше использование системы?
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

166. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Котофалк (?), 05-Дек-22, 11:46 
внутривенно
Ответить | Правка | Наверх | Cообщить модератору

50. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от Аноним (50), 29-Ноя-22, 08:06 
Контейнеры, атомарные дистрибутивы, flatpak/snap. Все что  сейчас на хайпе у авангарда дистроделов.
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

63. "Для Linux предложена файловая система Composefs"  +/
Сообщение от . (?), 29-Ноя-22, 10:16 
>  нужна <0.01% пользователей, запихают в ядро

Он скорее будет как модуль ядра, как и все стопитсот драйверов от всего что угодно

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

72. "Для Linux предложена файловая система Composefs"  +2 +/
Сообщение от Константавр (ok), 29-Ноя-22, 12:43 
Если "эта херня" уменьшит размер тех же флатпаков - уже плюс.

Понятно, что растекание жира по диску надо бы решать кардинально по другому, но маховик всех этих контейнеровозов уже работает на полную, не остановишь.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

86. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от лютый ж.... (?), 29-Ноя-22, 16:44 
>но маховик всех этих контейнеровозов уже работает на полную, не остановишь.

не работай где это требуют. ну можно какую-нибудь хиппочухню навроде mailcow или redmine в докере развернуть, а почти всё остальное нет )

Ответить | Правка | Наверх | Cообщить модератору

112. "Для Linux предложена файловая система Composefs"  +3 +/
Сообщение от Аноним (112), 30-Ноя-22, 03:33 
Очередной эксперт опеннет, отрицающий реальность.
Ответить | Правка | Наверх | Cообщить модератору

130. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Брат Анон (ok), 30-Ноя-22, 16:25 
Отменяющий реальность.
Ответить | Правка | Наверх | Cообщить модератору

115. "Для Linux предложена файловая система Composefs"  +/
Сообщение от mos87 (ok), 30-Ноя-22, 06:44 
а ты не в кол-ве пользователей меряй, в доходах от продажи продуктов, для которых сабж нужен клиентам.
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

3. "Для Linux предложена файловая система Composefs"  –2 +/
Сообщение от ip1982 (ok), 28-Ноя-22, 23:23 
> создатель Flatpak, работающий в компании Red Hat,

Бинго.

Ответить | Правка | Наверх | Cообщить модератору

7. "Для Linux предложена файловая система Composefs"  +8 +/
Сообщение от Skullnetemail (ok), 28-Ноя-22, 23:32 
Скажи спасибо что не snap-а.
Ответить | Правка | Наверх | Cообщить модератору

60. "Для Linux предложена файловая система Composefs"  +3 +/
Сообщение от Аноним (60), 29-Ноя-22, 09:30 
Сорта
Ответить | Правка | Наверх | Cообщить модератору

4. "Для Linux предложена файловая система Composefs"  –3 +/
Сообщение от ip1982 (ok), 28-Ноя-22, 23:24 
> В Composefs применяется модель хранения с адресацией на основе содержимого, т.е. первичным идентификатором является не имя файла, а хэш от содержимого файла

Для подобной фичи ZFS требуется дофига памяти.

Ответить | Правка | Наверх | Cообщить модератору

11. "Для Linux предложена файловая система Composefs"  +6 +/
Сообщение от Аноним (11), 29-Ноя-22, 00:04 
в zfs блочная дедупликация, тут всего файла целиком. 1 бит отличается на 100 мбайт - хэш всего файла в 100 мбайт отличается, пролет.
Ответить | Правка | Наверх | Cообщить модератору

47. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Минона (ok), 29-Ноя-22, 07:38 
Нет.
В ZFS хешируются записи, которые имеют дефолтный размер до 128кб, но могут быть размером до 1мб и больше.
Так вот, если файл меньшего размера чем размер записи в свойствах датасета, то хеш будет всего файла.
Ответить | Правка | Наверх | Cообщить модератору

146. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 01-Дек-22, 18:37 
В btrfs по минимуму можно и 4К блоками офлайн дедуп сделать. Если вас не задолбает столько хешей хранить и процессить конечно, это некий выбор между полнотой дедупликации и ресурсов потраченых на процедуру, чем точнее тем больше ресурсов надо просадить на это. Ну и куча рефов на 4К блоки с именно такой размерностью адресации не очень эффективно по оверхеду может быть. В зависимости от глупизны дедубликатора он может слить идентичные регионы вместе но даже так есть риск получить кучу мелочи и метаданных на вот это все.
Ответить | Правка | Наверх | Cообщить модератору

153. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Минона (ok), 02-Дек-22, 07:05 
> В btrfs по минимуму можно и 4К блоками офлайн дедуп сделать.

Ну и зачем ты всё это писал.
Речь идёт про zfs.

Ответить | Правка | Наверх | Cообщить модератору

155. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 03-Дек-22, 00:58 
Захайлайтить достоинства дизайна относительно ZFS - пойдет? :)
Ответить | Правка | Наверх | Cообщить модератору

165. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Минона (ok), 05-Дек-22, 10:51 
не пойдёт, в ZFS и 512 байт можно.
Ответить | Правка | Наверх | Cообщить модератору

13. "Для Linux предложена файловая система Composefs"  +5 +/
Сообщение от Гентушник (ok), 29-Ноя-22, 00:17 
Я не спец по ZFS, но мне кажется там речь шла про онлайн-дедупликацию?
А тут дедупликация уже сделана, ф/с же read only. Ресурсы были потрачены при сборке образа фс, а сейчас читай себе из готового индекса и горя не знай.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

33. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (33), 29-Ноя-22, 03:24 
Он просто тупо хейтит не разобравшись.
Ответить | Правка | Наверх | Cообщить модератору

40. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Аноним (40), 29-Ноя-22, 05:35 
А что, можно было как-то по-другому?
Ответить | Правка | Наверх | Cообщить модератору

58. "Для Linux предложена файловая система Composefs"  +2 +/
Сообщение от Аноним (58), 29-Ноя-22, 09:25 
Можно было хейтить разобравшись.
Ответить | Правка | Наверх | Cообщить модератору

61. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (40), 29-Ноя-22, 09:51 
Слишком сложно, так никто не делает.
Ответить | Правка | Наверх | Cообщить модератору

62. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Разбираюсь и хейчу (?), 29-Ноя-22, 10:13 
> Слишком сложно, так никто не делает.

А давайте вы не будете говорить за всех

Ответить | Правка | Наверх | Cообщить модератору

105. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Admino (ok), 29-Ноя-22, 20:43 
Так не бывает.
Ответить | Правка | К родителю #58 | Наверх | Cообщить модератору

51. "Для Linux предложена файловая система Composefs"  +/
Сообщение от pashev.ru (?), 29-Ноя-22, 08:09 
«при сборке образа»... Речь идёт о дедупликации между образами.
Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

82. "Для Linux предложена файловая система Composefs"  +/
Сообщение от ip1982 (ok), 29-Ноя-22, 16:20 
> А тут дедупликация уже сделана, ф/с же read only. Ресурсы были потрачены при сборке образа фс, а сейчас читай себе из готового индекса и горя не знай.

И спроси себя сам: а нахрена для этого нужна новая ФС на стороне ядра?

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

147. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от Аноним (-), 01-Дек-22, 18:38 
> И спроси себя сам: а нахрена для этого нужна новая ФС на стороне ядра?

Для скорости и минимума оверхеда. Файловые операции реализует ядро.

Ответить | Правка | Наверх | Cообщить модератору

17. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Аноним (-), 29-Ноя-22, 00:39 
Для btrfs есть "офлайн" дедупалки с куда более разумным потреблением, но это не в реалтайме, для "холодных" данных актуальнее.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

45. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Минона (ok), 29-Ноя-22, 07:33 
Для какой фичи?
Ты, наверное, имел ввиду дедупликацию, но по незнанию сморозил фигню?
В ZFS хешами обложено всё что можно, а вот память в ней жрёт ARC (кэш), отключи и жрать не будет.
Раньше при дедупликации требовалось много памяти для хранения таблицы, но это починили.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

8. "Для Linux предложена файловая система Composefs"  –2 +/
Сообщение от Аноним (8), 28-Ноя-22, 23:36 
Слишком много компотфсов.
В погоне за копеечной экономией места на хранилках (основное всё равно данные весят) шагнули куда-то совсем не туда.
Ответить | Правка | Наверх | Cообщить модератору

14. "Для Linux предложена файловая система Composefs"  +2 +/
Сообщение от Аноним (14), 29-Ноя-22, 00:17 
Люблю эти разговоры о месте и памяти. В комментариях их всегда навалом и они всегда дёшевы и в тех же самых комментариях жалуются на объёмы их потребления и что новая память ещё дорогая.
Ответить | Правка | Наверх | Cообщить модератору

20. "Для Linux предложена файловая система Composefs"  –3 +/
Сообщение от Аноним (8), 29-Ноя-22, 00:40 
Какая она нафиг дорогая, её сейчас просто задом есть можно, ну, если на электронах буизнес-попликухи не писать конечно.
Ответить | Правка | Наверх | Cообщить модератору

26. "Для Linux предложена файловая система Composefs"  +3 +/
Сообщение от Самый умный из вас (?), 29-Ноя-22, 01:16 
Когда не знаешь, что кроме десктопов есть ещё огромный рынок серверов и ДЦ
Ответить | Правка | Наверх | Cообщить модератору

76. "Для Linux предложена файловая система Composefs"  –2 +/
Сообщение от Аноним (8), 29-Ноя-22, 15:57 
Я как раз про серверы и ДЦ, т.к. они мне ближе, чем десктопы.
Ответить | Правка | Наверх | Cообщить модератору

81. "Для Linux предложена файловая система Composefs"  +2 +/
Сообщение от Самый умный из вас (?), 29-Ноя-22, 16:17 
Любитель позапускать электроны на серверах?)
Ответить | Правка | Наверх | Cообщить модератору

66. Скрыто модератором  +9 +/
Сообщение от Макакокодеров вон из профессии (?), 29-Ноя-22, 10:23 
Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

70. Скрыто модератором  –2 +/
Сообщение от ПАНК программист а не кодер (?), 29-Ноя-22, 12:09 
Ответить | Правка | Наверх | Cообщить модератору

136. Скрыто модератором  +/
Сообщение от Аноним (136), 30-Ноя-22, 20:29 
Ответить | Правка | Наверх | Cообщить модератору

137. Скрыто модератором  +/
Сообщение от Аноним (136), 30-Ноя-22, 20:30 
Ответить | Правка | К родителю #66 | Наверх | Cообщить модератору

71. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от Аноним (71), 29-Ноя-22, 12:19 
>если на электронах буизнес-попликухи не писать конечно.

Это не тебе решать, а энтерпрайзу, которому чем больше потребление памяти у быдла, тем лучше, ибо тем больше прибыли получат производители памяти (а куда быдло денется с подводной лодки, побежит в магаз как миленькое!), тем больше они смогут инвестировать в R&D, тем больше будет прогресс в росте объёмов памяти, тем быстрее старые компы устареют, станут неюзабельны и пойдут на свалку, тем больше в новых будет память, тем больше можно будет пренебречь пользователями старых компов (тех, которых ПОКА ЧТО выбросить нельзя, а не тех, кого уже выбросили на свалку к бомжам), тем более дешёвых макак можно будет нанять для написания программ на Электроне.

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

110. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Анонимский Аноним (?), 30-Ноя-22, 00:00 
>[оверквотинг удален]
> Это не тебе решать, а энтерпрайзу, которому чем больше потребление памяти у
> быдла, тем лучше, ибо тем больше прибыли получат производители памяти (а
> куда быдло денется с подводной лодки, побежит в магаз как миленькое!),
> тем больше они смогут инвестировать в R&D, тем больше будет прогресс
> в росте объёмов памяти, тем быстрее старые компы устареют, станут неюзабельны
> и пойдут на свалку, тем больше в новых будет память, тем
> больше можно будет пренебречь пользователями старых компов (тех, которых ПОКА ЧТО
> выбросить нельзя, а не тех, кого уже выбросили на свалку к
> бомжам), тем более дешёвых макак можно будет нанять для написания программ
> на Электроне.

Именно так.
Приятно видеть адекватного брата Анонима на опеннете, я бы поставил плюс, но Анонимов тут угнетают, поэтому только так: +

Ответить | Правка | Наверх | Cообщить модератору

16. "Для Linux предложена файловая система Composefs"  +3 +/
Сообщение от Аноним (15), 29-Ноя-22, 00:29 
иксперт опеннет> шагнули куда-то совсем не туда.

значит все правильно делают

Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

18. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (8), 29-Ноя-22, 00:40 
А, да пользуйтесь, не обляпайтесь только.
Ответить | Правка | Наверх | Cообщить модератору

34. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (33), 29-Ноя-22, 03:30 
Фейспалм. Прочти новость и о назначение этой read only файловой системы.
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

67. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (67), 29-Ноя-22, 10:50 
Так ты сам разобрался зачем (низачем) она тебе?
Ответить | Правка | Наверх | Cообщить модератору

19. "Для Linux предложена файловая система Composefs"  +/
Сообщение от None (??), 29-Ноя-22, 00:40 
У меня тут файл на пару терабайт, и я в него иногда пару байтиков дописываю.

О да! Хэшируй меня полностью, да еще и в много потоков!

Ответить | Правка | Наверх | Cообщить модератору

21. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (8), 29-Ноя-22, 00:41 
Да ладно, главное ж - еканомия.
Ответить | Правка | Наверх | Cообщить модератору

22. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Аноним (8), 29-Ноя-22, 00:42 
Кстати с дозаписью запросто решается сохранением промежуточных стейтов, главное - в серёдку не писать :D
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

41. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (40), 29-Ноя-22, 05:39 
Скользящий хеш вроде Рабина спасет гиганта мысли.
Ответить | Правка | Наверх | Cообщить модератору

98. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 29-Ноя-22, 19:56 
А если совсем делать нехрен то что-то типа меркловского дерева сильно ограничит объем хеширования. Ну то-есть рехэш измененного блока + хэшей уровнями выше, вполне разумный объем будет.
Ответить | Правка | Наверх | Cообщить модератору

25. "Для Linux предложена файловая система Composefs"  +3 +/
Сообщение от Аноним (23), 29-Ноя-22, 01:06 
А тебя заставили эту fs использовать? А, не, погоди, ты же не умеешь выбирать fs для своих целей, сорри
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

46. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Аноним (46), 29-Ноя-22, 07:35 
> У меня тут файл на пару терабайт, и я в него иногда
> пару байтиков дописываю.

Всё нормально будет дедуплицироваться,  Composefs работает в режиме read only, а запись реализуется через overlayfs. Исходные файлы образа остаются всегда постоянными.

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

55. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (55), 29-Ноя-22, 08:44 
Ага, давайте хранить террабийтные файлы в fs узкого назначения
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

64. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от another_one (ok), 29-Ноя-22, 10:19 
> подходит для монтирования образов в режиме только для чтения
> У меня тут файл на пару терабайт, и я в него иногда пару байтиков дописываю.

Ох уж эти опеннет иксперты™

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

99. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 29-Ноя-22, 19:59 
Для того эксперта могу сказать что на btrfs это вполне нормально работает. Можно пройтись fsck'ом на "reflinked" копии, те пара или сколько там байтиков запишутся в сторонку CoW, остальные "почти пара терабайт" так и останутся расшареными на двоих. И все это просто, быстро, эффективно и абсолютно прозрачно для софта, который видит якобы 2 совершенно независимые 2-терабайтные файлы. Дедупать 2 терабайта конечно жестковато по ресурсам, в этом месте идея сразу при "копировании" хинтить что это полный дедуп (reflink) как раз очень круто получается.
Ответить | Правка | Наверх | Cообщить модератору

106. "Для Linux предложена файловая система Composefs"  +2 +/
Сообщение от Admino (ok), 29-Ноя-22, 20:45 
И ты для этого собираешься использовать файловую систему, сделанную специально для использования в readonly. Ну, наверное.

Верни мне веру в опеннетовских аналитиков, напиши просто, что ты не прочитал исходное сообщение.

Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

131. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Брат Анон (ok), 30-Ноя-22, 16:27 
Про сквошФС ты, конечно, строку пропустил?
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

27. "Для Linux предложена файловая система Composefs"  –3 +/
Сообщение от истина в последней инстанции (?), 29-Ноя-22, 01:28 
> создатель Flatpak

И дальше можно не читать. Знак антикачества.

Ответить | Правка | Наверх | Cообщить модератору

54. "Для Linux предложена файловая система Composefs"  +3 +/
Сообщение от Аноним (55), 29-Ноя-22, 08:42 
это ты еще snap не видел
Ответить | Правка | Наверх | Cообщить модератору

69. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от iPony129412 (?), 29-Ноя-22, 12:03 
> 5    Done    today at 15:53 +07      today at 15:53 +07      Remove inactive vulnerable "snapd" snap (17576)

Вот это инновации, SNAP удаляет уязвимые эти самые 😮

Ответить | Правка | Наверх | Cообщить модератору

30. "Для Linux предложена файловая система Composefs"  +/
Сообщение от mikhailnov (ok), 29-Ноя-22, 02:44 
Думаю, полезно и не для контейнеров. Хочу shuashfs с дедупликацией для архивов и резервных копий, а это оно и есть по сути дела.
Ответить | Правка | Наверх | Cообщить модератору

38. "Для Linux предложена файловая система Composefs"  +/
Сообщение от edo (ok), 29-Ноя-22, 05:24 
https://github.com/restic/restic/blob/master/doc/design.rst

Не оно?

Ответить | Правка | Наверх | Cообщить модератору

39. "Для Linux предложена файловая система Composefs"  +/
Сообщение от mikhailnov (ok), 29-Ноя-22, 05:33 
> https://github.com/restic/restic/blob/master/doc/design.rst
> Не оно?

Нельзя примонтировать, как сквош. Можно в принципе сделать файл-образ BTRFS, а внутри него сжатие и оффлайн-дедупликацию.

Ответить | Правка | Наверх | Cообщить модератору

100. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 29-Ноя-22, 20:02 
И даже можно сделать ридонли базу, например оформив как seed-девайс. Или просто флаг readonly на снапшоте который считаем основой. Смотря насколько близко поведение сквоша имитировать хотелось.
Ответить | Правка | Наверх | Cообщить модератору

90. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от qetuo (?), 29-Ноя-22, 18:03 
DWARFS

https://github.com/mhx/dwarfs

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

101. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 29-Ноя-22, 20:04 
Охренеть, список зависимостей на экран не лезет, и они имеют наглость вперев все вплоть до питонов себя с сквошом сравнивать. Жэсть!
Ответить | Правка | Наверх | Cообщить модератору

114. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от qetuo (?), 30-Ноя-22, 05:40 
> Охренеть, список зависимостей на экран не лезет, и они имеют наглость вперев
> все вплоть до питонов себя с сквошом сравнивать. Жэсть!

Сравнение с squashfs проводится по производительности и степени сжатия данных. Метрика "количество зависимостей" информативной не является, особенно без разделения на зависимости времени сборки и зависимости времени исполнения, и последних там совсем немного.

Хотя кому я это рассказываю, местные клоуны новость прочитать не в состоянии.

Ответить | Правка | Наверх | Cообщить модератору

148. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 01-Дек-22, 18:44 
> Сравнение с squashfs проводится по производительности и степени сжатия данных. Метрика
> "количество зависимостей" информативной не является, особенно без разделения на зависимости
> времени сборки и зависимости времени исполнения, и последних там совсем немного.

Вообще-то очень информативно: squashfs мы прикрутить к вон тому роутеру можем, и это будет компактно, просто и эффективно.

А вон тот переросток с питонами-электронами в фузе туда чисто технически не уместится и благодать не наступит. Да и фуз на файловых операциях проц грузит мама не горюй, естественно, от паттернов доступа очень зависит.

Ответить | Правка | Наверх | Cообщить модератору

108. "Для Linux предложена файловая система Composefs"  +/
Сообщение от T (?), 29-Ноя-22, 21:26 
Используй Borg. Без шуток.
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

31. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (31), 29-Ноя-22, 03:06 
> даёт возможность экономить как дисковую, так и оперативную память.

Зато проц нагнёт, нормальная такая экономия ресурсов.

Ответить | Правка | Наверх | Cообщить модератору

65. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от another_one (ok), 29-Ноя-22, 10:22 
С чего бы, если дедуплицируется один раз при монтировании?
Ответить | Правка | Наверх | Cообщить модератору

44. "Для Linux предложена файловая система Composefs"  +/
Сообщение от EuPhobos (ok), 29-Ноя-22, 07:04 
> Отличия сводятся к обеспечению в Composefs эффективного совместного хранения содержимого нескольких примонтированных дисковых образов

Т.е. эта экономия не про "место на жёстком диске", а только про оперативку?
> Подобная модель обеспечивает дедупликацию и позволяет фактически хранить только одну копию одинаковых файлов

Если одинаковые файлы изначально идут с разных "примонтированных дисковых образов", о какой дедупликации тогда речь?

Ответить | Правка | Наверх | Cообщить модератору

48. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (46), 29-Ноя-22, 07:39 
> одинаковые файлы изначально идут с разных "примонтированных дисковых образов", о какой
> дедупликации тогда речь?

Каждый образ в Composefs состоит из двух частей - сам образ только с метаданными и отдельное, общее для всех образов, хранилище данных, т.е. метаданные для всех образов разделены, а содержимое файлов свалено в общую кучу.

Монтируется как-то так
mount /путь/к/образу/с/метадаными -t composefs -o basedir=/путь/к/хранилищу/содержимого /mnt

Ответить | Правка | Наверх | Cообщить модератору

49. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (50), 29-Ноя-22, 07:47 
basedir нужно весь целиком держать с самого начала или можно пополнять по мере надобности?
Ответить | Правка | Наверх | Cообщить модератору

79. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (52), 29-Ноя-22, 16:03 
> общее для всех образов, хранилище данных

и много есть образов с большими одинаковыми файлами на _одном_ физическом носителе?

Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

134. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (112), 30-Ноя-22, 16:57 
Да. Например, в NixOS (оптимизируется хардлинками), да и в любой OSTree-like иерархии. Для дистрибутивов родом из 90х это, конечно же, не актуально.
Ответить | Правка | Наверх | Cообщить модератору

53. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (55), 29-Ноя-22, 08:42 
>Например, образы контейнеров содержат множество типовых системных файлов и в случае применения Composefs каждый из этих файлов будет совместно использован всеми примонтированными образами, без применения трюков, таких как проброс при помощи жёстких ссылок. При этом общие файлы не только хранятся в виде одной копии на диске, но и обходятся одной записью в страничном кэше, что даёт возможность экономить как дисковую, так и оперативную память.

Вспоминая про "безопасность" контейнеров, очень быстро найдутся умельцы которые с обновлением своего супер-мега контейнера подсунут в basedir либы с бекдорами, которые подтянутся другими контейнерами и вот вам готовая дырень.

Ответить | Правка | Наверх | Cообщить модератору

56. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Аноним (31), 29-Ноя-22, 08:50 
Оно ещё в релиз не пошло, а вы уже палите, нехорошо.
Ответить | Правка | Наверх | Cообщить модератору

57. "Для Linux предложена файловая система Composefs"  +3 +/
Сообщение от Аноним (-), 29-Ноя-22, 09:17 
> с обновлением своего супер-мега контейнера подсунут в basedir либы с бекдорами, которые подтянутся другими контейнерами

Как они потянутся, если у них будет свой собственный уникальный хеш, который не используется другими контейнерами?

Ответить | Правка | К родителю #53 | Наверх | Cообщить модератору

68. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Аноним (55), 29-Ноя-22, 11:36 
Остапа понесло...хepню сморозил...каюсь
Ответить | Правка | Наверх | Cообщить модератору

59. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (59), 29-Ноя-22, 09:27 
Для NixOS по идее тоже должно работать?
Ответить | Правка | Наверх | Cообщить модератору

74. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от какая разница (?), 29-Ноя-22, 14:09 
Зачем? Вы ext4 надёжней сделайте.
Есть терабайтный диск с ext4, которая стала raw. Testdisk не нашел даже загрузочной записи, dmde и rlinux тоже ничего не нашли.
Отключал через безопасное отключение.
Теперь диск, отработавший всего 1022 часа, отправится в мусор, а вы так и будете клепать новые файловые системы..
Ответить | Правка | Наверх | Cообщить модератору

78. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (8), 29-Ноя-22, 15:59 
Рейд-контроллер без барьеров и батарейки - мечта мазохиста?
Ответить | Правка | Наверх | Cообщить модератору

80. "Для Linux предложена файловая система Composefs"  +/
Сообщение от какая разница (?), 29-Ноя-22, 16:04 
Рейд для одного диска?
Ответить | Правка | Наверх | Cообщить модератору

89. "Для Linux предложена файловая система Composefs"  +/
Сообщение от . (?), 29-Ноя-22, 18:01 
>  Теперь диск, отработавший всего 1022 часа, отправится в мусор

Ядро 5.19.* ? Если нет, то кто производитель диска?

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

92. "Для Linux предложена файловая система Composefs"  +/
Сообщение от какая разница (?), 29-Ноя-22, 18:25 
WD Purple
Использовался только для хранения видео
Ответить | Правка | Наверх | Cообщить модератору

126. "Для Linux предложена файловая система Composefs"  +/
Сообщение от анон (?), 30-Ноя-22, 15:35 
ссзб кмк, wd пихают хлам как диски для видеонаблюдения (маленьким шрифтом подписано что для холодного хранения), а железо там обычная блюшка с другой прошивкой. Надо брать ынтерпрайз диски.
Ответить | Правка | Наверх | Cообщить модератору

94. "Для Linux предложена файловая система Composefs"  +/
Сообщение от _kp (ok), 29-Ноя-22, 19:43 
Да явно диск плохой. Я практически не пользуюсь безопасными отключениями ext4, и ничего страшного не происходит же. А компов у меня...  много всяких.
Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

118. "Для Linux предложена файловая система Composefs"  +/
Сообщение от какая разница (?), 30-Ноя-22, 07:05 
Точно! Диск виноват. Только под windows и с ntfs диск работал без проблем, а в linux и с ext4 через раз определялся.
Но виноват диск, конечно..
Ответить | Правка | Наверх | Cообщить модератору

120. "Для Linux предложена файловая система Composefs"  +/
Сообщение от _kp (ok), 30-Ноя-22, 13:07 
> Только под windows и с ntfs диск работал без проблем, а в linux и с ext4 через раз определялся.

Говорили мне не выноси мусор на ночь, примета плохая. Не послушал. Теперь и войны и санкции.
Ну, совпадение же.

Вот если бы у Вас, или у кого то то же самое массово с ССД повторялось, то об проблеме давно бы знали.
А пока подобное не подтверждается, и SSD с ext4 работают хорошо.

Да и упомянутый ресурс мизерный для любого использования, даже для дешевого SSD.
Остается только думать на брак.


Ответить | Правка | Наверх | Cообщить модератору

123. "Для Linux предложена файловая система Composefs"  +/
Сообщение от какая разница (?), 30-Ноя-22, 15:28 
Давно ли WD стала выпускать SSD под маркой WD Purple?
Ответить | Правка | Наверх | Cообщить модератору

156. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 03-Дек-22, 01:09 
> Давно ли WD стала выпускать SSD под маркой WD Purple?

Он поди был видным представителем черепичных, как большинство современных винчей с соблазнительной ценой за гиг. И, вероятно, отступить от партишн тэйбла немного чтобы оставить его в покое гражданин не догадался. Ну а при факапе GC наверное и улетел партишн заодно. Вот чего-чего а такое счастье при неумном раскладывании ФС бывает довольно регулярно.

Если повезет - можно вернуть партишн и недурно восстановится, если улетело только это. Если что-то еще - смотря что улетело. Ну вон у btrfs допустим суперблоков как правило 3 копии, все сразу все же не улетают, а если еще и DUP метаданных был (чаще всего есть) есть нехилый шанс это смонтировать потом. А ext4 никогда и не делали с прицелом на надежность, там как повезет. Хотя вот именно совсем наповал его убить еще постараться надо.

Ответить | Правка | Наверх | Cообщить модератору

158. "Для Linux предложена файловая система Composefs"  +/
Сообщение от какая разница (?), 03-Дек-22, 06:52 
> Он поди был видным представителем черепичных

WD Purple никогда не были с записью SMR, подробнее здесь
https://u.to/5CJ4HA
> отступить от партишн тэйбла немного чтобы оставить его в покое гражданин не догадался

NTFS это не требует и все работает
> ext4 никогда и не делали с прицелом на надежность

Из версии в версию постоянные улучшения в ядре по файловым системам, а как ломается - "это вы сами"..

Ответить | Правка | Наверх | Cообщить модератору

160. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 04-Дек-22, 04:17 
> WD Purple никогда не были с записью SMR, подробнее здесь

Забавный зверек. Если бы не было написано CMR я бы подумал что ОНО именно черепица: здоровенный буфер, солидная емкость, характерные атрибуты черепичных на месте. Отдельный тролфейс на уточнение про окисление компонентов. Я знаю о чем WD говорит, экономисты фиговы, теперь вот даже в буклетиках отмазываются :)

> NTFS это не требует и все работает

Вобще-то в винде не так давно был клевый баг, когда оно как раз могло урыть файлуху в хлам. И кстати, по-моему, партишн как раз прекрасно выносило, заодно с MFT - чтобы не скучно было. Так что-то типа wrap после хвоста накопителя было, со всеми вытекающими.

А вот для линуха я такого никогда не встречал, там подобные грабли оказываются именно проблемами оборудования.

> Из версии в версию постоянные улучшения в ядре по файловым системам, а
> как ломается - "это вы сами"..

В дизайне EXT4 просто нет каких-то специальных фич против разрушения. Если сравнивать с другими, типа btrfs'а какого. В самых последних версиях правда сделали чексумы журнала, кажется, чтобы оно совсем уж вдрызг не дестроило ФС при отклонении от идеала. Но если у кого партишн слетел, там дело явно не в ФС. Ну вот не трогают ФС партишн при нормальной работе. Незачем оно им. Значит что-то пошло сильно не так на другом уровне.

Ответить | Правка | Наверх | Cообщить модератору

107. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Admino (ok), 29-Ноя-22, 20:48 
А ext4 тут причём, если диск сдох? Ты можешь доказать, что ext4 убила диск? Ждём твои сенсационные заявления в багтрекере ядра.
Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

111. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Некто (??), 30-Ноя-22, 02:54 
Ты криворучка. Ехт4 вполне тупая фс, которую можно вручную без драйвера разобрать, не говоря уже о  photorec. Ещё у неё суперблок бекапится в разных частях диска. Зная где, можно примонтировать с бекапом.
Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

119. "Для Linux предложена файловая система Composefs"  +/
Сообщение от какая разница (?), 30-Ноя-22, 07:56 
Диск не определяется в этих ваших "супер программах" типа photorec и testdisk! Как узнать где этот суперблок?
Ты лучше бы читать научился..
Ответить | Правка | Наверх | Cообщить модератору

121. "Для Linux предложена файловая система Composefs"  +2 +/
Сообщение от Аноним (121), 30-Ноя-22, 13:57 
>Теперь диск, отработавший всего 1022 часа, отправится в мусор

Т.е., в основе проблема аппаратная? Тогда вопросы к произодителю диска.

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

125. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от какая разница (?), 30-Ноя-22, 15:32 
Диск отработавший 1022 часа через "безопасное отключение" стал raw вместо ext4 и теперь программами testdisk и dmde не находится даже суперблок, не говоря уж о резервном загрузчике..
Ответить | Правка | Наверх | Cообщить модератору

162. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 04-Дек-22, 04:31 
> Диск отработавший 1022 часа через "безопасное отключение" стал raw вместо ext4 и
> теперь программами testdisk и dmde не находится даже суперблок, не говоря
> уж о резервном загрузчике..

Так на диске то что в результате? Таблица разделов есть? Какие-то правдоподобные данные остались? Если б вы NTFS сказали - окей, для него MS не так давно признавал такой факап, требующий определенных условий, их дожали после того как у юзеров сыпучка стала массово случаться. Но в линухе вот именно такой грабли не припоминается. Там откровенная сыпучка разве что у вон тех энтерпрайзников бездумно кладущие кеши на SSD, а когда тот протирается и продалбывает несколько крупных блоков - ну, ок, это превышает допущения большинства ФС и там это еще можно понять.

Ответить | Правка | Наверх | Cообщить модератору

164. "Для Linux предложена файловая система Composefs"  +/
Сообщение от какая разница (?), 04-Дек-22, 08:34 
> MS не так давно признавал такой факап, требующий определенных условий

Ссылка на источник тоже имеется?
> откровенная сыпучка разве что у вон тех энтерпрайзников бездумно кладущие кеши на SSD

WD никогда не выпускала SSD под маркой Purple. Пометь уже там в своей методичке..

Ответить | Правка | Наверх | Cообщить модератору

132. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Брат Анон (ok), 30-Ноя-22, 16:29 
Т.е. у тебя умер контроллер, но виновата ext4?.... Ок
Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

149. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 01-Дек-22, 18:52 
> Зачем? Вы ext4 надёжней сделайте.

И запретите производить сыпучие диски, да?

> Есть терабайтный диск с ext4, которая стала raw. Testdisk не нашел даже
> загрузочной записи,

И как тебе ext4, интересно, виноват в том что у тебя, буратины, таблица разделов слетела? Это проблема на твоей стороне, либо на стороне девайса. То-есть либо у тебя железо фигню творит и вот так вот запросто может таблицу разделов снести, либо это был SSD и ты очень глупо разложил ФС на нем - не сделав отступ от таблицы разделов хотя-бы мега на 32, чтобы оставить партишн в "холодном" блоке флеша который ФС при нормальной работе не трогает. А когда контроллер SSD полез ворочать огромный блок флеша и облажался, он не только что-то от ФС продолбал но и таблицу разделов заодно. EXT4 про это все вообще ничего не знал, разумеется.

Вариантов у тебя немного. Ты либо можешь пересоздать таблицу разделов ручками, точно угадав границы. Или если кишка тонка, развлекайся photorec'ом или коммерческими утилитами выковыривая уже продвинутым сканированием. В любом случае это косяк тебя и твоего железа. Таблица разделов слетать не должна и от надежности EXT4 это не зависит - EXT4 сам по себе таблицу разделов не трогает вообще.

> Теперь диск, отработавший всего 1022 часа, отправится в мусор, а вы так
> и будете клепать новые файловые системы..

И что характерно, файловые системы вообще таблицы разделов не трогают в общем случае. Не их прерогатива.

Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

152. "Для Linux предложена файловая система Composefs"  +/
Сообщение от какая разница (?), 02-Дек-22, 07:04 
WD не изобрела ещё SSD под маркой Purple..
Это все, что нужно знать о местных экспертах..
Ответить | Правка | Наверх | Cообщить модератору

157. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 03-Дек-22, 01:11 
> WD не изобрела ещё SSD под маркой Purple..

Увы, сообщения нельзя редактировать, я про Purple позже нашел. Оно, вроде, черепица, так что идея почему оно могло слететь - похожая. Неудачный GC в области с партишном - и гудбай партишн.

> Это все, что нужно знать о местных экспертах..

Ну вы то покажете мастеркласс?

Ответить | Правка | Наверх | Cообщить модератору

159. "Для Linux предложена файловая система Composefs"  +/
Сообщение от какая разница (?), 03-Дек-22, 06:57 
> Оно, вроде, черепица

Все ответы здесь https://u.to/5CJ4HA
> Ну вы то покажете мастеркласс?

Ну если вы не знаете, что WD никогда не выпускала SSD под маркой Purple и что WD Purple не выпускались с записью SMR, то это говорит, что вы не очень-то и разбираетесь - все на предположениях..

Ответить | Правка | Наверх | Cообщить модератору

163. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 04-Дек-22, 04:35 
Теоретически, оттуда следует что это обычный диск с 4К секторами. Не очень понятно как и почему он партишн потерял, или что под "raw диском" имелось в виду?

> то это говорит, что вы не очень-то и разбираетесь - все на предположениях..

WD понаплодили линеек, да. А то было похоже на "крупноблочный облом". Но видимо не оно. В природе много странной ерунды, однако я уверен что слет партишна не является нормальным состоянием дел и EXT4 в этом не замечен. Как и вообще в внезапных харакири без причин. Если б вы это про NTFS сказали - там MS удалось вычислить в определенном случае, после начала массовых осыпонов. Но вон то является чем-то довольно нетипичным. И больше всего похоже на кривую работу железа.

Ответить | Правка | Наверх | Cообщить модератору

154. "Для Linux предложена файловая система Composefs"  +/
Сообщение от какая разница (?), 02-Дек-22, 07:07 
А чё с лицом?
https://www.cnews.ru/news/top/razrabotchiki_ubuntu_priznali_...
Ответить | Правка | К родителю #149 | Наверх | Cообщить модератору

75. "Для Linux предложена файловая система Composefs"  +8 +/
Сообщение от Пахом (?), 29-Ноя-22, 14:18 
Файловые системы в век SSD не нужны! SSD вполне себе может работать по принципу RAM.
Ответить | Правка | Наверх | Cообщить модератору

77. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от Аноним (52), 29-Ноя-22, 15:59 
Программы в век компьютеров не нужны! Компьютеры вполне себе могут работать по принципу ЦПУ.
Ответить | Правка | Наверх | Cообщить модератору

95. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от _kp (ok), 29-Ноя-22, 19:50 
А без файловой системы Вы файлы то куда деваете?

А cо стиранием страницами и ограниченным ресурсом SSD может работать по принципу RAM весьма недолго, для избежания чего и нужны оптимизированные для SSD файловые системы.

Ответить | Правка | К родителю #75 | Наверх | Cообщить модератору

102. "Для Linux предложена файловая система Composefs"  +5 +/
Сообщение от Пахом (?), 29-Ноя-22, 20:34 
Речь не про твоё старьё на SATA интерфейсе. Речь про нормальный человеческий NVMe.
Ответить | Правка | Наверх | Cообщить модератору

122. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (121), 30-Ноя-22, 14:00 
>А без файловой системы Вы файлы то куда деваете?

Раз SSD в качестве RAM, то в RAM создаётся рамдиск :)

Ответить | Правка | К родителю #95 | Наверх | Cообщить модератору

124. "Для Linux предложена файловая система Composefs"  +2 +/
Сообщение от Пахом (?), 30-Ноя-22, 15:29 
Не стыдно сидеть на компьютерном форуме и не знать как компьютер работает с памятью? Наверное все твои знания сводятся к командам git и npm.
Ответить | Правка | Наверх | Cообщить модератору

144. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от Аноним (144), 01-Дек-22, 15:13 
А тебе лень глаза вверх на несколько постов поднять, чтоб сообразить, на какую заяву был ответ?
Ответить | Правка | Наверх | Cообщить модератору

127. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от _kp (ok), 30-Ноя-22, 16:04 
>>А без файловой системы Вы файлы то куда деваете?
> Раз SSD в качестве RAM, то в RAM создаётся рамдиск :)

Рамдиск тоже  требует созданния на нём какой нибудь файловой системы.
И требует файловой системы везде, и на Linux, Windows, и на микроконтроллере, и даже на древнем ZX Spectrum.
Иначе останется блочным устройством для RAW операций :)


Ответить | Правка | К родителю #122 | Наверх | Cообщить модератору

150. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 01-Дек-22, 18:56 
> Файловые системы в век SSD не нужны! SSD вполне себе может работать
> по принципу RAM.

А отсылать в конкретный файл как предлагается? Прямо по физическому/логическому адресу? Даешь hexspeak в массы! :)

Ответить | Правка | К родителю #75 | Наверх | Cообщить модератору

88. "Для Linux предложена файловая система Composefs"  +/
Сообщение от zog (??), 29-Ноя-22, 17:32 
Объясните олдскульщику, зачем нужна файловая система, которая постоянно считает хеши? Она ведь будет тормозить, а в случае коллизии, гарантии от которой нет никакой, накроется тазом.
Ответить | Правка | Наверх | Cообщить модератору

91. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от qetuo (?), 29-Ноя-22, 18:05 
Она не считает хеши. Вернее, считает, но в основном использует готовые хеши из индекса. При этом она иммутабельная, так что пересчитывать ничего не нужно.
Ответить | Правка | Наверх | Cообщить модератору

93. "Для Linux предложена файловая система Composefs"  +1 +/
Сообщение от Аноним (52), 29-Ноя-22, 19:09 
> пересчитывать ничего не нужно

обновил мету в фильме - ой... оказывается, надо.

Ответить | Правка | Наверх | Cообщить модератору

113. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (112), 30-Ноя-22, 03:43 
> для монтирования образов в режиме только для чтения
> обновил мету в фильме

Новость не читай, сразу коммент пиши! Эксперды опеннета в своём обычном амплуа.

Ответить | Правка | Наверх | Cообщить модератору

96. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от _kp (ok), 29-Ноя-22, 19:52 
Для Flatpak, чтоб все данные в одну гигантскую кучу намешать.
Ответить | Правка | К родителю #88 | Наверх | Cообщить модератору

103. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от Аноним (-), 29-Ноя-22, 20:35 
Она не постоянно их считает. Почитайте про принцип contrnt-adressable, в этом подходе мы заранее знаем что хотим, и запрашиваем вот именно это самое, окончательным идентификатором является хэш контента. Ну то-есть abcd.so -> (имя файла) a1b2c3....ef -> данные.

А то что кто-то там сто лет назад посчитал хэш(данные) и разложил его в файло с именем a1b2c3....ef потому что хэш такой, не обязывает его пересчитывать постоянно.

Ответить | Правка | К родителю #88 | Наверх | Cообщить модератору

133. "Для Linux предложена файловая система Composefs"  +4 +/
Сообщение от Брат Анон (ok), 30-Ноя-22, 16:33 
Объясняю школьному одскульщику: ФС в режиме "только для чтения" не имеет изменяющихся частей. Хэш посчитали за тебя и даже не на твоём компьютере. Твои затраты минимальны. А выигрышь по занимаемому месту -- может оказаться от десятков процентов до кратных величин. ИМХО, не плохая прибавка к пенсии.
Ответить | Правка | К родителю #88 | Наверх | Cообщить модератору

141. "Для Linux предложена файловая система Composefs"  –2 +/
Сообщение от Jxtym (?), 01-Дек-22, 10:27 
Только вот сделана эта фс специально под fs-verify который будет хэши считать постоянно.
Ответить | Правка | Наверх | Cообщить модератору

167. "Для Linux предложена файловая система Composefs"  +3 +/
Сообщение от Брат Анон (ok), 05-Дек-22, 13:34 
> Только вот сделана эта фс специально под fs-verify который будет хэши считать
> постоянно.

Для чего хэши считать постоянно? Ещё раз: эта файловая система монтируется в режиме "только для чтения".

Ответить | Правка | Наверх | Cообщить модератору

169. "Для Linux предложена файловая система Composefs"  –1 +/
Сообщение от Jxtym (?), 06-Дек-22, 13:25 
>> Только вот сделана эта фс специально под fs-verify который будет хэши считать
>> постоянно.
> Для чего хэши считать постоянно? Ещё раз: эта файловая система монтируется в
> режиме "только для чтения".

Для валидации данных очевидно. Все данные на оригинальной фс остаются в режиме записи.

Посмотрев на авторов становится очевидно что composefs скрестят с ostree хранилищем и получат подписанные образы на базе произвольного стора, которые можно будет встроить в secureboot цепочку(тут валидация и становится актуальной). Всё это актуально для silverblue подобных дистров.

Ответить | Правка | Наверх | Cообщить модератору

135. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аномин (?), 30-Ноя-22, 17:09 
Flatpak критиковали за прожерливость диска, вот решение. И мне нравятся контейнеры, когда приложение не "размазывается" по всей системе и можно ограничить доступ, к сети, каталогам, дискам и тд.
Тот же Steam по этим соображениям лучше ставить в контейнер, чтобы игры не шарились где непоподя. У меня 2 стима, один из пакетов, второй во flatpak, там устанавливаю все подряд, ибо встроенные зловреды в игры вполне реальная вещь.
Ответить | Правка | Наверх | Cообщить модератору

139. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Jxtym (?), 01-Дек-22, 10:25 
На размер данных на диске это никак не повлияет.
Ответить | Правка | Наверх | Cообщить модератору

140. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Jxtym (?), 01-Дек-22, 10:26 
*для флатпака
Ответить | Правка | Наверх | Cообщить модератору

142. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (142), 01-Дек-22, 14:23 
Проблема всяких паков не только в том, что место транжирится, но и в том что либы не обновляются.
Ответить | Правка | К родителю #135 | Наверх | Cообщить модератору

138. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (138), 30-Ноя-22, 20:31 
Зачем, если есть exet4?
Ответить | Правка | Наверх | Cообщить модератору

143. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (142), 01-Дек-22, 14:24 
Круто. Давно пора. И с торрентами скрестить чтобы публично-доступные файлы было можно искать и качать по хэшу.
Ответить | Правка | Наверх | Cообщить модератору

151. "Для Linux предложена файловая система Composefs"  +/
Сообщение от Аноним (-), 01-Дек-22, 18:58 
> Круто. Давно пора. И с торрентами скрестить чтобы публично-доступные файлы было можно
> искать и качать по хэшу.

Это eMule/aMule называлось и вот именно публиковало файло из дир по вот именно их хэшу, при том все кто с одинаковыми файлами автоматически находились :)

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру