Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Для Linux предложена файловая система Composefs, opennews (??), 28-Ноя-22, (0) [смотреть все] Так то идея хорошая, но если скажем в файле 80 блоков как у соседа, блочная дед, Аноним (-), 23:06 , 28-Ноя-22, (1) +1   // Ты понимаешь как работает хэш Например, SHA-256 , Брат Анон (ok), 16:21 , 30-Ноя-22, (128)   // Да Можно делать независимый хэш на каждый блок ФС При обнаружении совпадения с, Аноним (-), 18:17 , 01-Дек-22, (145)   // Читай внимательно хэш считается у блоков Если меняется какая-то часть -- тольк, Брат Анон (ok), 13:37 , 05-Дек-22, (168) +1   Опять херню, которая нужна 0 01 пользователей, запихают в ядро, чтоб в следующ, ИмяХ (?), 23:14 , 28-Ноя-22, (2) +17 // Ничего не говорит Ясно же, вся эта штука для того чтоб шарить файлы между пакет, Аноним (6), 23:29 , 28-Ноя-22, (6) +15 // shared library Ой, где-то мы это уже слышали , Аноним (52), 08:12 , 29-Ноя-22, (52) +2 // Слышал звон Вначале разберитесь, что такое FlatPak и по какому принципу он раб, Аноним (83), 16:20 , 29-Ноя-22, (83) по такому, который не нужен, лютый ж.... (?), 16:42 , 29-Ноя-22, (85) –6 Да, в описании flatpak , Admino (ok), 20:42 , 29-Ноя-22, (104) Нет Не шаред мемори Речь идёт про дедупликацию файлов с одинаковым содержимым,, Брат Анон (ok), 16:23 , 30-Ноя-22, (129) Ну как бы если кому не надо а жирнота парит - может модуль с ней и не собирать , Аноним (12), 00:15 , 29-Ноя-22, (12) +4 новость монтирование образов контейнеров иксперт опеннет херню, которая нужна, Аноним (15), 00:27 , 29-Ноя-22, (15) +9 // Так и есть , псевдонимус (?), 13:50 , 29-Ноя-22, (73) –1 Интересно, а как вы используете ядро, и нововведения влияют на лично ваше исполь, Аноним (23), 01:04 , 29-Ноя-22, (23) // внутривенно, Котофалк (?), 11:46 , 05-Дек-22, (166) Контейнеры, атомарные дистрибутивы, flatpak snap Все что сейчас на хайпе у ава, Аноним (50), 08:06 , 29-Ноя-22, (50) –1 Он скорее будет как модуль ядра, как и все стопитсот драйверов от всего что угод, . (?), 10:16 , 29-Ноя-22, (63) Если эта херня уменьшит размер тех же флатпаков - уже плюс Понятно, что растек, Константавр (ok), 12:43 , 29-Ноя-22, (72) +2 // не работай где это требуют ну можно какую-нибудь хиппочухню навроде mailcow или, лютый ж.... (?), 16:44 , 29-Ноя-22, (86) –1 // Очередной эксперт опеннет, отрицающий реальность , Аноним (112), 03:33 , 30-Ноя-22, (112) +3 Отменяющий реальность , Брат Анон (ok), 16:25 , 30-Ноя-22, (130) +1 а ты не в кол-ве пользователей меряй, в доходах от продажи продуктов, для которы, mos87 (ok), 06:44 , 30-Ноя-22, (115) Бинго , ip1982 (ok), 23:23 , 28-Ноя-22, (3) –2 // Скажи спасибо что не snap-а , Skullnet (ok), 23:32 , 28-Ноя-22, (7) +8 // Сорта, Аноним (60), 09:30 , 29-Ноя-22, (60) +3 Для подобной фичи ZFS требуется дофига памяти , ip1982 (ok), 23:24 , 28-Ноя-22, (4) –3 // в zfs блочная дедупликация, тут всего файла целиком 1 бит отличается на 100 мба, Аноним (11), 00:04 , 29-Ноя-22, (11) +6 // Нет В ZFS хешируются записи, которые имеют дефолтный размер до 128кб, но могут б, Минона (ok), 07:38 , 29-Ноя-22, (47) // В btrfs по минимуму можно и 4К блоками офлайн дедуп сделать Если вас не задолба, Аноним (-), 18:37 , 01-Дек-22, (146) Ну и зачем ты всё это писал Речь идёт про zfs , Минона (ok), 07:05 , 02-Дек-22, (153) Захайлайтить достоинства дизайна относительно ZFS - пойдет , Аноним (-), 00:58 , 03-Дек-22, (155) не пойдёт, в ZFS и 512 байт можно , Минона (ok), 10:51 , 05-Дек-22, (165) Я не спец по ZFS, но мне кажется там речь шла про онлайн-дедупликацию А тут деду, Гентушник (ok), 00:17 , 29-Ноя-22, (13) +5 // Он просто тупо хейтит не разобравшись , Аноним (33), 03:24 , 29-Ноя-22, (33) // А что, можно было как-то по-другому , Аноним (40), 05:35 , 29-Ноя-22, (40) +1 Можно было хейтить разобравшись , Аноним (58), 09:25 , 29-Ноя-22, (58) +2 Слишком сложно, так никто не делает , Аноним (40), 09:51 , 29-Ноя-22, (61) А давайте вы не будете говорить за всех, Разбираюсь и хейчу (?), 10:13 , 29-Ноя-22, (62) +1 Так не бывает , Admino (ok), 20:43 , 29-Ноя-22, (105) 171 при сборке образа 187 Речь идёт о дедупликации между образами , pashev.ru (?), 08:09 , 29-Ноя-22, (51) И спроси себя сам а нахрена для этого нужна новая ФС на стороне ядра , ip1982 (ok), 16:20 , 29-Ноя-22, (82) // Для скорости и минимума оверхеда Файловые операции реализует ядро , Аноним (-), 18:38 , 01-Дек-22, (147) –1 Для btrfs есть офлайн дедупалки с куда более разумным потреблением, но это не , Аноним (-), 00:39 , 29-Ноя-22, (17) +1 Для какой фичи Ты, наверное, имел ввиду дедупликацию, но по незнанию сморозил фи, Минона (ok), 07:33 , 29-Ноя-22, (45) Слишком много компотфсов В погоне за копеечной экономией места на хранилках осн, Аноним (8), 23:36 , 28-Ноя-22, (8) –2 // Люблю эти разговоры о месте и памяти В комментариях их всегда навалом и они все, Аноним (14), 00:17 , 29-Ноя-22, (14) +2 // Какая она нафиг дорогая, её сейчас просто задом есть можно, ну, если на электрон, Аноним (8), 00:40 , 29-Ноя-22, (20) –3 // Когда не знаешь, что кроме десктопов есть ещё огромный рынок серверов и ДЦ, Самый умный из вас (?), 01:16 , 29-Ноя-22, (26) +3 Я как раз про серверы и ДЦ, т к они мне ближе, чем десктопы , Аноним (8), 15:57 , 29-Ноя-22, (76) –2 Любитель позапускать электроны на серверах , Самый умный из вас (?), 16:17 , 29-Ноя-22, (81) +2 Скрыто модератором, Макакокодеров вон из профессии (?), 10:23 , 29-Ноя-22, (66) +9 Скрыто модератором, ПАНК программист а не кодер (?), 12:09 , 29-Ноя-22, (70) –2 Скрыто модератором, Аноним (136), 20:29 , 30-Ноя-22, (136) Скрыто модератором, Аноним (136), 20:30 , 30-Ноя-22, (137) Это не тебе решать, а энтерпрайзу, которому чем больше потребление памяти у быдл, Аноним (71), 12:19 , 29-Ноя-22, (71) –1 gt оверквотинг удален Именно так Приятно видеть адекватного брата Анонима на о, Анонимский Аноним (?), 00:00 , 30-Ноя-22, (110) иксперт опеннет шагнули куда-то совсем не туда значит все правильно делают, Аноним (15), 00:29 , 29-Ноя-22, (16) +3 // А, да пользуйтесь, не обляпайтесь только , Аноним (8), 00:40 , 29-Ноя-22, (18) Фейспалм Прочти новость и о назначение этой read only файловой системы , Аноним (33), 03:30 , 29-Ноя-22, (34) // Так ты сам разобрался зачем низачем она тебе , Аноним (67), 10:50 , 29-Ноя-22, (67) У меня тут файл на пару терабайт, и я в него иногда пару байтиков дописываю О да, None (??), 00:40 , 29-Ноя-22, (19) // Да ладно, главное ж - еканомия , Аноним (8), 00:41 , 29-Ноя-22, (21) Кстати с дозаписью запросто решается сохранением промежуточных стейтов, главное , Аноним (8), 00:42 , 29-Ноя-22, (22) +1 // Скользящий хеш вроде Рабина спасет гиганта мысли , Аноним (40), 05:39 , 29-Ноя-22, (41) // А если совсем делать нехрен то что-то типа меркловского дерева сильно ограничит , Аноним (-), 19:56 , 29-Ноя-22, (98) А тебя заставили эту fs использовать А, не, погоди, ты же не умеешь выбирать fs, Аноним (23), 01:06 , 29-Ноя-22, (25) +3 Всё нормально будет дедуплицироваться, Composefs работает в режиме read only, а, Аноним (46), 07:35 , 29-Ноя-22, (46) +1 Ага, давайте хранить террабийтные файлы в fs узкого назначения, Аноним (55), 08:44 , 29-Ноя-22, (55) Ох уж эти опеннет иксперты 8482 , another_one (ok), 10:19 , 29-Ноя-22, (64) +1 // Для того эксперта могу сказать что на btrfs это вполне нормально работает Можно, Аноним (-), 19:59 , 29-Ноя-22, (99) И ты для этого собираешься использовать файловую систему, сделанную специально д, Admino (ok), 20:45 , 29-Ноя-22, (106) +2 Про сквошФС ты, конечно, строку пропустил , Брат Анон (ok), 16:27 , 30-Ноя-22, (131) +1 И дальше можно не читать Знак антикачества , истина в последней инстанции (?), 01:28 , 29-Ноя-22, (27) –3 // это ты еще snap не видел, Аноним (55), 08:42 , 29-Ноя-22, (54) +3 // Вот это инновации, SNAP удаляет уязвимые эти самые 128558 , iPony129412 (?), 12:03 , 29-Ноя-22, (69) +1 Думаю, полезно и не для контейнеров Хочу shuashfs с дедупликацией для архивов и, mikhailnov (ok), 02:44 , 29-Ноя-22, (30) // https github com restic restic blob master doc design rstНе оно , edo (ok), 05:24 , 29-Ноя-22, (38) // Нельзя примонтировать, как сквош Можно в принципе сделать файл-образ BTRFS, а в, mikhailnov (ok), 05:33 , 29-Ноя-22, (39) // И даже можно сделать ридонли базу, например оформив как seed-девайс Или просто , Аноним (-), 20:02 , 29-Ноя-22, (100) DWARFShttps github com mhx dwarfs, qetuo (?), 18:03 , 29-Ноя-22, (90) +1 // Охренеть, список зависимостей на экран не лезет, и они имеют наглость вперев все, Аноним (-), 20:04 , 29-Ноя-22, (101) // Сравнение с squashfs проводится по производительности и степени сжатия данных М, qetuo (?), 05:40 , 30-Ноя-22, (114) +1 Вообще-то очень информативно squashfs мы прикрутить к вон тому роутеру можем, и, Аноним (-), 18:44 , 01-Дек-22, (148) Используй Borg Без шуток , T (?), 21:26 , 29-Ноя-22, (108) Зато проц нагнёт, нормальная такая экономия ресурсов , Аноним (31), 03:06 , 29-Ноя-22, (31) // С чего бы, если дедуплицируется один раз при монтировании , another_one (ok), 10:22 , 29-Ноя-22, (65) +1 Т е эта экономия не про место на жёстком диске , а только про оперативку Если , EuPhobos (ok), 07:04 , 29-Ноя-22, (44) // Каждый образ в Composefs состоит из двух частей - сам образ только с метаданными, Аноним (46), 07:39 , 29-Ноя-22, (48) // basedir нужно весь целиком держать с самого начала или можно пополнять по мере н, Аноним (50), 07:47 , 29-Ноя-22, (49) и много есть образов с большими одинаковыми файлами на _одном_ физическом носите, Аноним (52), 16:03 , 29-Ноя-22, (79) // Да Например, в NixOS оптимизируется хардлинками , да и в любой OSTree-like иер, Аноним (112), 16:57 , 30-Ноя-22, (134) Вспоминая про безопасность контейнеров, очень быстро найдутся умельцы которые , Аноним (55), 08:42 , 29-Ноя-22, (53) // Оно ещё в релиз не пошло, а вы уже палите, нехорошо , Аноним (31), 08:50 , 29-Ноя-22, (56) +1 Как они потянутся, если у них будет свой собственный уникальный хеш, который не , Аноним (-), 09:17 , 29-Ноя-22, (57) +3 // Остапа понесло хepню сморозил каюсь, Аноним (55), 11:36 , 29-Ноя-22, (68) +1 Для NixOS по идее тоже должно работать , Аноним (59), 09:27 , 29-Ноя-22, (59) Зачем Вы ext4 надёжней сделайте Есть терабайтный диск с ext4, которая стала raw, какая разница (?), 14:09 , 29-Ноя-22, (74) –1 // Рейд-контроллер без барьеров и батарейки - мечта мазохиста , Аноним (8), 15:59 , 29-Ноя-22, (78) // Рейд для одного диска , какая разница (?), 16:04 , 29-Ноя-22, (80) Ядро 5 19 Если нет, то кто производитель диска , . (?), 18:01 , 29-Ноя-22, (89) // WD PurpleИспользовался только для хранения видео, какая разница (?), 18:25 , 29-Ноя-22, (92) // ссзб кмк, wd пихают хлам как диски для видеонаблюдения маленьким шрифтом подпис, анон (?), 15:35 , 30-Ноя-22, (126) Да явно диск плохой Я практически не пользуюсь безопасными отключениями ext4, и, _kp (ok), 19:43 , 29-Ноя-22, (94) // Точно Диск виноват Только под windows и с ntfs диск работал без проблем, а в l, какая разница (?), 07:05 , 30-Ноя-22, (118) // Говорили мне не выноси мусор на ночь, примета плохая Не послушал Теперь и войн, _kp (ok), 13:07 , 30-Ноя-22, (120) Давно ли WD стала выпускать SSD под маркой WD Purple , какая разница (?), 15:28 , 30-Ноя-22, (123) Он поди был видным представителем черепичных, как большинство современных винчей, Аноним (-), 01:09 , 03-Дек-22, (156) WD Purple никогда не были с записью SMR, подробнее здесьhttps u to 5CJ4HANTFS , какая разница (?), 06:52 , 03-Дек-22, (158) Забавный зверек Если бы не было написано CMR я бы подумал что ОНО именно черепи, Аноним (-), 04:17 , 04-Дек-22, (160) А ext4 тут причём, если диск сдох Ты можешь доказать, что ext4 убила диск Ждём, Admino (ok), 20:48 , 29-Ноя-22, (107) +1 Ты криворучка Ехт4 вполне тупая фс, которую можно вручную без драйвера разобрат, Некто (??), 02:54 , 30-Ноя-22, (111) +1 // Диск не определяется в этих ваших супер программах типа photorec и testdisk К, какая разница (?), 07:56 , 30-Ноя-22, (119) Т е , в основе проблема аппаратная Тогда вопросы к произодителю диска , Аноним (121), 13:57 , 30-Ноя-22, (121) +2 // Диск отработавший 1022 часа через безопасное отключение стал raw вместо ext4 и, какая разница (?), 15:32 , 30-Ноя-22, (125) –1 // Так на диске то что в результате Таблица разделов есть Какие-то правдоподобные, Аноним (-), 04:31 , 04-Дек-22, (162) Ссылка на источник тоже имеется WD никогда не выпускала SSD под маркой Purple П, какая разница (?), 08:34 , 04-Дек-22, (164) Т е у тебя умер контроллер, но виновата ext4 Ок, Брат Анон (ok), 16:29 , 30-Ноя-22, (132) +1 И запретите производить сыпучие диски, да И как тебе ext4, интересно, виноват в , Аноним (-), 18:52 , 01-Дек-22, (149) // WD не изобрела ещё SSD под маркой Purple Это все, что нужно знать о местных экс, какая разница (?), 07:04 , 02-Дек-22, (152) // Увы, сообщения нельзя редактировать, я про Purple позже нашел Оно, вроде, череп, Аноним (-), 01:11 , 03-Дек-22, (157) Все ответы здесь https u to 5CJ4HAНу если вы не знаете, что WD никогда не выпу, какая разница (?), 06:57 , 03-Дек-22, (159) Теоретически, оттуда следует что это обычный диск с 4К секторами Не очень понят, Аноним (-), 04:35 , 04-Дек-22, (163) А чё с лицом https www cnews ru news top razrabotchiki_ubuntu_priznali_oshibku, какая разница (?), 07:07 , 02-Дек-22, (154) Файловые системы в век SSD не нужны SSD вполне себе может работать по принципу , Пахом (?), 14:18 , 29-Ноя-22, (75) +8 // Программы в век компьютеров не нужны Компьютеры вполне себе могут работать по п, Аноним (52), 15:59 , 29-Ноя-22, (77) –1 А без файловой системы Вы файлы то куда деваете А cо стиранием страницами и огр, _kp (ok), 19:50 , 29-Ноя-22, (95) +1 // Речь не про твоё старьё на SATA интерфейсе Речь про нормальный человеческий NVM, Пахом (?), 20:34 , 29-Ноя-22, (102) +5 Раз SSD в качестве RAM, то в RAM создаётся рамдиск , Аноним (121), 14:00 , 30-Ноя-22, (122) // Не стыдно сидеть на компьютерном форуме и не знать как компьютер работает с памя, Пахом (?), 15:29 , 30-Ноя-22, (124) +2 А тебе лень глаза вверх на несколько постов поднять, чтоб сообразить, на какую з, Аноним (144), 15:13 , 01-Дек-22, (144) –1 Рамдиск тоже требует созданния на нём какой нибудь файловой системы И требует ф, _kp (ok), 16:04 , 30-Ноя-22, (127) –1 А отсылать в конкретный файл как предлагается Прямо по физическому логическому , Аноним (-), 18:56 , 01-Дек-22, (150) Объясните олдскульщику, зачем нужна файловая система, которая постоянно считает , zog (??), 17:32 , 29-Ноя-22, (88) // Она не считает хеши Вернее, считает, но в основном использует готовые хеши из и, qetuo (?), 18:05 , 29-Ноя-22, (91) –1 // обновил мету в фильме - ой оказывается, надо , Аноним (52), 19:09 , 29-Ноя-22, (93) +1 // Новость не читай, сразу коммент пиши Эксперды опеннета в своём обычном амплуа , Аноним (112), 03:43 , 30-Ноя-22, (113) Для Flatpak, чтоб все данные в одну гигантскую кучу намешать , _kp (ok), 19:52 , 29-Ноя-22, (96) –1 Она не постоянно их считает Почитайте про принцип contrnt-adressable, в этом по, Аноним (-), 20:35 , 29-Ноя-22, (103) –1 Объясняю школьному одскульщику ФС в режиме только для чтения не имеет изменяю, Брат Анон (ok), 16:33 , 30-Ноя-22, (133) +4 // Только вот сделана эта фс специально под fs-verify который будет хэши считать по, Jxtym (?), 10:27 , 01-Дек-22, (141) –2 // Для чего хэши считать постоянно Ещё раз эта файловая система монтируется в реж, Брат Анон (ok), 13:34 , 05-Дек-22, (167) +3 Для валидации данных очевидно Все данные на оригинальной фс остаются в режиме з, Jxtym (?), 13:25 , 06-Дек-22, (169) –1 Flatpak критиковали за прожерливость диска, вот решение И мне нравятся контейне, Аномин (?), 17:09 , 30-Ноя-22, (135) // На размер данных на диске это никак не повлияет , Jxtym (?), 10:25 , 01-Дек-22, (139) // для флатпака, Jxtym (?), 10:26 , 01-Дек-22, (140) Проблема всяких паков не только в том, что место транжирится, но и в том что либ, Аноним (142), 14:23 , 01-Дек-22, (142) Зачем, если есть exet4 , Аноним (138), 20:31 , 30-Ноя-22, (138) Круто Давно пора И с торрентами скрестить чтобы публично-доступные файлы было , Аноним (142), 14:24 , 01-Дек-22, (143) // Это eMule aMule называлось и вот именно публиковало файло из дир по вот именно и, Аноним (-), 18:58 , 01-Дек-22, (151) 1,2,3,4,8,19,27,30,31,44,53,59,74,75,88,135,138,143

Сообщения

[Сортировка по времени | RSS]

1. "Для Linux предложена файловая система Composefs"	+1 +/–
Сообщение от Аноним (-), 28-Ноя-22, 23:06
> первичным идентификатором является не имя файла, > а хэш от содержимого файла. Так то идея хорошая, но если скажем в файле 80% блоков как у соседа, блочная дедупликация их уберет, а вон то разумеется в пролете, файло должно точно совпадать.
Ответить | Правка | Наверх | Cообщить модератору

	128. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от Брат Анон (ok), 30-Ноя-22, 16:21
	Ты понимаешь как работает хэш? Например, SHA-256?
	Ответить | Правка | Наверх | Cообщить модератору

	145. "Для Linux предложена файловая система Composefs"	+/–
	Сообщение от Аноним (-), 01-Дек-22, 18:17
	> Ты понимаешь как работает хэш? Например, SHA-256? Да. Можно делать независимый хэш на каждый блок ФС. При обнаружении совпадения с другим заменять на реф. Чем дедубликаторы и занимаются в ФС которые умеют в cow. Отсюда жор памяти онлайн дедупом: для скорости записи список хешей известных блоков должен быть в RAM. Офлайн дедубликаторы могут позволить себе хранить это в скоростной БД, . Когда у файла 80% блоков совпадает, эти блоки БУДУТ заменены на референсы. Это прекрасно работает с образами виртуалок из 1 шаблона, разными версиями данных с общим предком и проч. А если в имени файла закодирован весь хэш всего файла - глобальный sha файлов все же разный, вон то уже не сработает. Будет 2 полностью разных файла.
	Ответить | Правка | Наверх | Cообщить модератору

	168. "Для Linux предложена файловая система Composefs"	+1 +/–
	Сообщение от Брат Анон (ok), 05-Дек-22, 13:37
	> Когда у файла 80% блоков совпадает, эти блоки БУДУТ заменены на референсы. > Это прекрасно работает с образами виртуалок из 1 шаблона, разными версиями > данных с общим предком и проч. А если в имени файла > закодирован весь хэш всего файла - глобальный sha файлов все же > разный, вон то уже не сработает. Будет 2 полностью разных файла. Читай внимательно: хэш считается у блоков. Если меняется какая-то часть -- только это блок будет посчитан заново и ссылка будет заменена новым хэшем. Все остальные блоки (и хэши) останутся прежними). Если 80% блоков общие -- откуда жор памяти? А таблица страниц памяти -- жор в памяти не устраивает?
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема