The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Arch Linux перешёл на использование алгоритма zstd для сжати..., opennews (??), 05-Янв-20, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


23. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –2 +/
Сообщение от EuPhobos (ok), 05-Янв-20, 14:28 
xz ведь может в многопоточности распаковываться. Стоило ли того, этот переход?
Ответить | Правка | Наверх | Cообщить модератору

30. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Анонец (?), 05-Янв-20, 15:21 
А сколько нужно потоков, чтобы получить ускорение в 13 раз?
Ответить | Правка | Наверх | Cообщить модератору

32. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (22), 05-Янв-20, 15:40 
> А сколько нужно потоков, чтобы получить ускорение в 13 раз?

18. В первом приближении.

Ответить | Правка | Наверх | Cообщить модератору

56. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –3 +/
Сообщение от фёдор (?), 05-Янв-20, 21:36 
13?
Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

31. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +2 +/
Сообщение от Аноним (31), 05-Янв-20, 15:39 
Дело в том, что у xz нет преимуществ. Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне, и быстрее при этом. Время распаковки это конечно основное (что вы там распаковывать в несколько потоков собираетесь?), но всё же. А как формат, xz тоже не очень подходит для архивного хранения, поскольку менее устойчив к повреждениям, чем тот же gz.
Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

35. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (35), 05-Янв-20, 15:48 
>Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне

та ладно! где пруфы? что он лучше жмет? бинарники?

Ответить | Правка | Наверх | Cообщить модератору

36. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (31), 05-Янв-20, 16:01 
Бинарники лучше сжимает zpaq, но вообще да, я сравнивал их на профиле вайна, так что бинарники.
Ответить | Правка | Наверх | Cообщить модератору

70. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (69), 06-Янв-20, 12:09 
Спасибо теперь все запаковал теперь ничего не распаковывается что делать?
Ответить | Правка | Наверх | Cообщить модератору

79. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (31), 06-Янв-20, 17:44 
> Спасибо теперь все запаковал теперь ничего не распаковывается что делать?

Запаковал zpaq? Как именно то? Там у разных фильтров разная эффективность, поэтому я возможно не сталкивался с битыми файлами (использовал только наиболее эффективные). А он точно целый, а не побился в процессе? Сам zpaq собран из исходников?

Ответить | Правка | Наверх | Cообщить модератору

37. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (4), 05-Янв-20, 16:03 
>Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне, и быстрее при этом.

Это не так. zstd очень тормозной. Особенно если использовать расшаренный словарь. Использую его только потому, что в других либах нет API для создания оптимального словаря.

Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

38. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (31), 05-Янв-20, 16:08 
>>Скажем, на максимальном уровне сжатия zstd сжимает лучше xz на максимальном уровне, и быстрее при этом.
> Это не так. zstd очень тормозной. Особенно если использовать расшаренный словарь. Использую
> его только потому, что в других либах нет API для создания
> оптимального словаря.

Разве? 22 уровня уже не достаточно? Может у вас там памяти не хватает и оно свопится, в таком случае используйте однопоточный режим.

Ответить | Правка | Наверх | Cообщить модератору

42. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –1 +/
Сообщение от Аноним (4), 05-Янв-20, 17:23 
>Может у вас там памяти не хватает и оно свопится, в таком случае используйте однопоточный режим.

8 гигов не хватает для сжатия жалких 100 мегов?

>22 уровня уже не достаточно

Недостаточное. лзма 2 лучше.

Ответить | Правка | Наверх | Cообщить модератору

44. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (31), 05-Янв-20, 17:26 
>не хватает

Мне не хватало для сжатия 600, так что это вполне вероятно. 1 поток 6 гигабайт что ли был.

Ответить | Правка | Наверх | Cообщить модератору

58. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +2 +/
Сообщение от НяшМяш (ok), 05-Янв-20, 22:08 
Глянул на оффтопике в 7-Zip требования по памяти для упаковки с алгоритмом LZMA2 на "нормальном" уровне сжатия.

Стандартный 16-мегабайтный словарь требует 1376 мегабайт для упаковки.
Словарю в 128 мегабайт уже нужно 7456 мегабайт оперативки.

Ответить | Правка | К родителю #42 | Наверх | Cообщить модератору

33. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +4 +/
Сообщение от Shevchuk (ok), 05-Янв-20, 15:47 
Стоило. При прочих равных xz, может, и сжимает чуть-чуть лучше, но сильно медленнее в распаковке. Когда сжимаешь один раз, а распаковываешь много раз — очевидно, что оптимизмровать стоит именно последнее.

Та же проблема у snap, кстати, из-за чего все ругают его за медленный первый запуск приложений — уверен, они в итоге тоже придут к zstd по дефолту или как минимум в качестве опции.

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

62. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  –3 +/
Сообщение от Аноним (61), 06-Янв-20, 00:21 
сжимаешь 1 раз дистрибутив, распаковываешь 1 раз дистрибутив. да ты интеллектуал.
Ответить | Правка | Наверх | Cообщить модератору

63. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Shevchuk (ok), 06-Янв-20, 00:32 
Сколько пользователей ставят/обновляют пакет, столько раз и распаковывается. Если у вашего дистрибутива один пользователь, то вам лично разрешаю распаковывать один раз, да.
Ответить | Правка | Наверх | Cообщить модератору

41. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +2 +/
Сообщение от Аноним84701 (ok), 05-Янв-20, 17:16 
> xz ведь может в многопоточности распаковываться. Стоило ли того, этот переход?

"Да. Но пока нет." ©

man xz из xz-utils
> Threaded decompression hasn't been  implemented  yet. It will only work on files that contain multiple blocks with size information in block headers.  

Ну и есть некоторые сомнения, что запуск 18 (как тут советовали выше) потоков на 2-4-8 физ. ядрах выдаст ожидаемый 13+ кратный "буст".

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

50. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +/
Сообщение от Аноним (22), 05-Янв-20, 19:01 
>> xz ведь может в многопоточности распаковываться. Стоило ли того, этот переход?
> "Да. Но пока нет." ©
> man xz из xz-utils
>> Threaded decompression hasn't been  implemented  yet. It will only work on files that contain multiple blocks with size information in block headers.

И ещё там же интересен предшествующий абзац о сжатии, из которого следует вывод, что при разбивке на блоки сжатие ухудшится (насколько -- это другой вопрос).

> Ну и есть некоторые сомнения, что запуск 18 (как тут советовали выше)
> потоков на 2-4-8 физ. ядрах выдаст ожидаемый 13+ кратный "буст".

Это там имелось ввиду 18 аппаратных потоков, конечно же. Виноват, что непонятно написал. То есть 13-ти (ядер) недостаточно для 13-ти кратного ускорения -- из-за нелинейности роста производительности при распараллеливании.

Ответить | Правка | Наверх | Cообщить модератору

52. "Arch Linux перешёл на использование алгоритма zstd для сжати..."  +1 +/
Сообщение от Аноним (31), 05-Янв-20, 20:14 
Оно действительно ухудшается, в этом можно убедится лично. Самое неприятное конечно, что файл будет отличаться от другого такого же файла и они не воспроизводимые. При кодировании в 1 поток хотя бы можно быть уверенным, что из одинаковых файлов получится одинаковый результат.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру