- А почему бы не исолпльзовать tar с zstd Ну и для 7z где-то были эксперименты с , Guest (??), 12:51 , 25-Мрт-24 (1) +4
А почему бы не исолпльзовать tar с zstd? Ну и для 7z где-то были эксперименты с zstd.
- Победил 7z Пофиг, что затратил 54 2 с, зато сильнее всех пожмакал , Аноним (2), 12:55 , 25-Мрт-24 (2) +5
Победил 7z. Пофиг, что затратил 54.2 с, зато сильнее всех пожмакал.
- В современных реалиях быстрее будет чуть больше скачать, но быстрее распаковать, Аноним (28), 14:07 , 25-Мрт-24 (28) +8 [^]
- Сомнительное соотношение скорости сжатия к размеру файла и скорости скачивания , Аноним (42), 17:11 , 25-Мрт-24 (42) +2
- Тогда уж xz Только там еще дольше , Аноним (60), 20:06 , 25-Мрт-24 (60)
- 7z не дедуплицирует данные, поэтому годится только для маленьких и скучных набор, Аноним (62), 20:08 , 25-Мрт-24 (61) –1
- Джипеги же жали, да , Аноним (3), 12:58 , 25-Мрт-24 (3)
- rar одного размера с zip Подозрительно rar обычно лучше сжимает , GhostX (?), 13:00 , 25-Мрт-24 (4)
rar одного размера с zip? Подозрительно. rar обычно лучше сжимает.
- В отрыве от возможностей в мейнстриме это всё весело, но довольно бессмысленно О, Аноним (3), 13:04 , 25-Мрт-24 (5)
В отрыве от возможностей в мейнстриме это всё весело, но довольно бессмысленно. Отдельно интересно посмотреть бенчмарк всех этих весёлых алгоритмов на разных типах данных и на разных выборках (например, что если нужно извлечь только один файл из сета, либо обновить один файл)
- С одной стороны соглашусь, с другой нет SQLite поставляется во всех массовых ди, человек (??), 13:19 , 25-Мрт-24 (14) +2
- Скулайт он как питон, второй лучший вариант в любой сфере Только тут задачи при, Аноним (18), 13:35 , 25-Мрт-24 (18) +1
- Отлично, давайте использовать везде pickle, зачем нам какие-то JSON, CBOR, npy, , Аноним (84), 02:38 , 26-Мрт-24 (84) –1
- Тут нечего смотреть Бенчи Сыкулита будут 177 1 от того архиватора, который п, Аноним (53), 18:27 , 25-Мрт-24 (54)
- Вообще они немножко опоздали, таких штук было уже наваломhttps github com phir, Аноним (3), 13:06 , 25-Мрт-24 (6) –1
- Душнила Весь кайф поломал D, YetAnotherOnanym (ok), 13:10 , 25-Мрт-24 (9) –1
- В новости речь про воссоздание архиватора на базе SQLite, а sqlite-zstd - дополн, Аноним (13), 13:17 , 25-Мрт-24 (13) +3
- Ну раз пошла такая пьянка https codeberg org KOLANICH-libs Cache py, Аноним (27), 13:47 , 25-Мрт-24 (27)
- жду реализации для http-статики в духе времени будет, Аноним (7), 13:09 , 25-Мрт-24 (7)
жду реализации для http-статики =) в духе времени будет
- Подозреваю, первым замерили скорость zip, и файлы он читал с диска, а после него, YetAnotherOnanym (ok), 13:09 , 25-Мрт-24 (8) +6 [^]
> При сжатии каталога с 81 тысячей файлов, общим размером 1.25 ГБ, pack оказался быстрее утилиты ZIP в 112 раз, выполнив операцию за 1.3 секунды против 146 секунд у ZIPПодозреваю, первым замерили скорость zip, и файлы он читал с диска, а после него запустили pack и файлы он брал из кэша. Ничем другим такую разницу объяснить невозможно.
- тест с zip был запущен при холодном кэше, а остальные тесты при прогретом Серьё, Аноним (11), 13:15 , 25-Мрт-24 (11) +5
"тест с zip был запущен при холодном кэше, а остальные тесты при прогретом" Серьёзно? Это ведь эпичнейшая фейспальма!
- Скрыто модератором, Аноним (12), 13:16 , 25-Мрт-24 (12) [---]
Безумству храбрых поём мы песню.
- Разве это не просто альтернативная реализация идеи https www sqlite org sqlar , Аноним (15), 13:24 , 25-Мрт-24 (15) +2
Разве это не просто альтернативная реализация идеи https://www.sqlite.org/sqlar/doc/trunk/README.md ? > This repository contains sources for the "SQLite Archiver" program. This program (named "sqlar") operates much like "zip", except that the compressed archive it builds is stored in an SQLite database instead of a ZIP archive.Причём sqlar аж 2014 года.
- Скулайт итак мало для чего пригоден, так он теперь ещё и плохой архиватор , Аноним (18), 13:32 , 25-Мрт-24 (17) –4 [V]
Скулайт итак мало для чего пригоден, так он теперь ещё и плохой архиватор.
- SQLite by design умеет исполнять произвольный код, поэтому даже просто открывать, Аноним (20), 13:37 , 25-Мрт-24 (20)
>предпринял попытку создания формата для архивирования файлов, построенного на базе библиотеки SQLiteSQLite by design умеет исполнять произвольный код, поэтому даже просто открывать недоверенные SQLite-базы небезопасно.
- Напоминаю - zip -это контейнер, и туда могут быть добавлены произвольные компрес, Аноним (27), 13:40 , 25-Мрт-24 (21)
>сжатию библиотекой libzstdНапоминаю - zip -это контейнер, и туда могут быть добавлены произвольные компрессоры. Просто большинство реализаций не смогут распаковать архивы с компрессией, отличными от zlib, lzma и lzma2.
- А где сравнение с утилитой zstd , Аноним (22), 13:41 , 25-Мрт-24 (22)
А где сравнение с утилитой zstd?
- Есть такой проект, Pigz называется, тотже gzip, но распаралленый Быстро работае, Аноним (23), 13:42 , 25-Мрт-24 (23)
Есть такой проект, Pigz называется, тотже gzip, но распаралленый. Быстро работает.
- Лучше пользоваться https github com mhx dwarfs И сжимает мощно, и вместо расп, topin89 (ok), 14:56 , 25-Мрт-24 (35) +1
> При сжатии каталога с 81 тысячей файлов, общим размером 1.25 ГБЛучше пользоваться https://github.com/mhx/dwarfs. И сжимает мощно, и вместо распаковки можно просто смонтировать. Можно и lrzip или lrzip-next. Если бы в Pack был бы precomp или аналоги -- это уже было бы круто, и позволило бы сжать джипеги процентов на 20. Очень не хватает подобной штуки в потребительских архиваторах. А так вообще непонятно, чем именно оно лучше tar+zstd.
- Эксперимент с использованием SQLite в качестве контейнера дл..., Аноним (38), 15:21 , 25-Мрт-24 (38)
- Прежде всего тем, что может вытащить ЛЮБОЙ файл за минимальное время , Аноним (47), 17:54 , 25-Мрт-24 (47) +1
- А этот dwarfs в качестве хранилки библиотеки сойдет , непонятка (?), 06:26 , 27-Мрт-24 (104)
- Давно ищу архиватор способ чтоб в архиве сохранялась дата создания через stat эт, Аноним (-), 16:44 , 25-Мрт-24 (39) +1
Давно ищу архиватор/способ чтоб в архиве сохранялась дата создания(через stat это Birth) и изменения файлов(через stat это Modify), дописывать в имена файлов не вариант. В "окошках" все популярные форматы это умеют, а в более продвинутой ОС это не работает. Да ну не может быть подумал я .. какая же это была ошибка, ну вот нет такого.Долгие поиски и.. последняя надежда на 7z после выкатывания исходников для сборки от автора, но он продолжил стандартную "подлянку" с "Change" вместо "Birth", автору писал "не баг, а фича". Я пытался разобраться в исходниках и сделать нормальное поведение, как заявлено в документации, нуу и не смог.. Если кто-то знает где это правится, поделитесь пожалуйста, можно патчем. Или может другой способ какой рабочий.
- Если сам формат файла хранит только ОДНУ дату, вряд ли ты сможешь туда засунуть , Аноним (47), 17:53 , 25-Мрт-24 (46)
- Это в какой именно более продвинутой А то у лапчатых например Birth был долго, Аноним (48), 18:00 , 25-Мрт-24 (48)
- Не так и давно, поддержку birth иноды не столь и полезная для архивации информа, Аноним (62), 19:54 , 25-Мрт-24 (57)
- Я тут уже лет 10 пишу, что с появлением твердотельников будущее за файловыми сис, Аноним (42), 17:09 , 25-Мрт-24 (41) +2
Я тут уже лет 10 пишу, что с появлением твердотельников будущее за файловыми системами на основе хешей и БД.
- Это имеет смысл только на конкретных юзкейсах имеем один большой архив и период, Аноним (47), 17:51 , 25-Мрт-24 (45)
> чтению данных, сжатию библиотекой libzstd и выполнению SQL-операций по добавлению сжатых данных в файл с БД SQLiteЭто имеет смысл только на конкретных юзкейсах "имеем один большой архив и периодически обновляем там некоторые файлы". Для простых бэкапов (где критична степень сжатия) нужен сжимальщик, который учитывает ВЕСЬ контент - типа 7z (solid архивы).
- Оверинженеринг, Аноним (49), 18:02 , 25-Мрт-24 (49)
- Здравствуйте,I am the author of Pack, and I am happy to see you all interested i, O (?), 18:56 , 25-Мрт-24 (55) +8 [^]
Здравствуйте,I am the author of Pack, and I am happy to see you all interested in Pack. I am sorry for writing in English; my understanding of Russian is limited to that Здравствуйте. I try to answer most of the comments here, but if you have any further questions or comments, let me know or email me (you can find it in the linked post). Warm or Cold: On the linked post (https://pack.ac/note/pack), there is a line noting the test condition: "All corresponding official programs were used in an out-of-the-box configuration at the time of writing in a warm state." Please note that for ZIP, the official tool is WinZip and I tried the test many times to find the best warm time and remove any file system and disk interference. As noted in the post, you should test it for yourself. The numbers were not as "Look, others are bad". They are great; my point was, "Look what we can do if we update our design and code" Random access (extracting one): You can do that with Pack: `pack -i ./test.pack --include=/a/file.txt` or a couple files and folders at once: `pack -i ./test.pack --include=/a/file.txt --include=/a/folder/` Use `--list` to get a list of all files: `pack -i ./test.pack --list` Such random access using `--include` is very fast. As an example, if I want to extract just a .c file from the whole codebase of Linux, it can be done (on my machine) in 30 ms, compared to near 500 ms for WinRAR or 2500 ms for tar.gz. And it will just worsen when you count encryption. For now, Pack encryption is not public, but when it is, you can access a file in a locked Pack file in a matter of milliseconds rather than seconds. Is it a compressed database?: No. It is a container for files and raw data. Projects like sqlite-zstd are for any database for your projects. They are not made for files.
sqlar: Pack is a new format. sqlar inspired me to create Pack as a new improved solution. Here is the latest sqlar result on Linux source code on the same test machine in warm state: sqlar: 268 MB, 30.5 s Pack: 194 MB, 1.3 s SQLite security: It is one, if not the most secure, library out there. It is very hard to crack it, and it will not allow running any harmful code on a machine. It is used in almost anything with a computer, partially because of its security and reliability. File system: Noted projects like dwarfs are file systems. It is read-only; Pack is not. Update and delete are not just public yet, as I wanted people to get the taste first. It is clearly focused on archiving, rather than Pack wanting to be a container option for people who want to pack some files/data and store or send them with no privacy dangers.
Big files instead of many small files: Reading many files (81K in this test) is way slower than reading just one big file. For bigger files, Pack is much faster. Here is a link to some results from a kind contributor: https://forum.lazarus.freepascal.org/index.php/topic,66281.msg507177.html#msg507177 (Too long to post here) tar.zst: As requested, here are some numbers on tar.zst of Linux source code (the test subject in the note): tar.zst: 196 MB, 5420 ms (using out-of-the-box config and -T0 to let it use all the cores. Without it, it would be, 7570 ms. And it is done in two steps: first creating tar and then compression.) Pack: 194 MB, 1300 ms Slightly smaller size, and more than 4X faster. (Again, it is on my machine; you need to try it for yourself.) Honestly, ZSTD is great. Tar is slowing it down (because of its old design and being one thread). Pack does all the steps (read, check, compress, and write) together, and this weaving helped achieve this speed and random access. Rate of compression: 7-Zip and other similar tools are focused on compression rate. Pack is on another chart, which is why I proposed CompressedSpeed [2]. The speed of getting to compression needs to be accounted for. You can store anything on an atom if you try hard enough, but hard work takes time. Deduplication step may get added, but in Hard Press [3]. RAR compression speed is great too. Many times, it can do better than Pack. My argument is that does it worth the wait? After all, if you can use Pack for those cases too,. Hard Press [3] creates a more compressed pack for cases of pack once, unpack many. [1] CompressedSpeed = (InputSize / OutputSize) * (InputSize / Speed). Materialized compression speed. [2] You can choose --press=hard to ask for better compression. Even with Hard Press, Pack does not try to eat your hardware just to get a little more; it goes the optimized way I described. User experience: Pack value comes from user experience, and speed is being one. I was not following the best speed or compression; I wanted an instantaneous feeling for most files. I wanted a better API, an easier CLI, improved OS integration (soon), and more safety and reliability. On a final note, I suggest trying Pack for yourself and on your machine. I will be glad to hear more about your experience. Thank you
- Предпочитаю squashfs для архивирования У него встроенное сжатие, но главное мож, BrainFucker (ok), 21:52 , 25-Мрт-24 (67)
Предпочитаю squashfs для архивирования. У него встроенное сжатие, но главное можно примонтировать и читать файлы с произвольным доступом без необходимости распаковывать весь архив.
- 128077 прект наебалго, разница скорости между Ним и 7zip zstd примрено 15 , DZgas (?), 11:39 , 26-Мрт-24 (88) –1
👍 прект наебалго, разница скорости между Ним и 7zip zstd примрено 15% по скорости, то есть, проект pack не создаёт ни хэша файла, ни фаловой иерархии внутри. И поэтому на примерно 15% быстрее
- В 7z мне не хватает CRC , Аноним (103), 06:15 , 27-Мрт-24 (103)
- некорректный дизайн теста паскаль no comments, mumu (ok), 16:01 , 28-Мрт-24 (107)
некорректный дизайн теста. паскаль. no comments
|