Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Эксперимент с использованием SQLite в качестве контейнера для архивирования файлов, opennews (??), 25-Мрт-24, (0) [смотреть все] А почему бы не исолпльзовать tar с zstd Ну и для 7z где-то были эксперименты с , Guest (??), 12:51 , 25-Мрт-24, (1) +4 // Степени сжатия 7z можно достичь, используя xz, который по-умолчанию обычно уже е, Lui Kang (?), 19:07 , 25-Мрт-24, (56) +2 // tar умеет создавать всё и всегда tar -c 124 xz file txz - , _oleg_ (ok), 13:46 , 26-Мрт-24, (95) +1 // тем временем -J, --xz c mode only Compress the resulting arch, гыгы (?), 14:00 , 28-Мрт-24, (105) Что ты этим хотел сказать , _oleg_ (ok), 15:16 , 28-Мрт-24, (106) а ты догадайся подсказка tar 1 означает что скопировано из General Commands Ma, гыгы (?), 13:34 , 03-Апр-24, (109) FACEPALM Возьми с полки пирожок Дальше-то что Раскрой свою мысль Или тебя п, _oleg_ (ok), 13:40 , 03-Апр-24, (110) Похвали, конечно Трудно что ли , Аноним (111), 15:26 , 03-Апр-24, (111) Да что это я, действительно Молодец , _oleg_ (ok), 15:39 , 03-Апр-24, (112) мысль проста вые ся нужно уметь ты - не умеешь хотя, если ты из банды cat som, гыгы (?), 11:19 , 04-Апр-24, (113) Аха - Мда Скопировал кусок man а, выдал какую-то невероятную мысль Что хоте, _oleg_ (ok), 12:59 , 16-Апр-24, (114) Это тоже самое , anonymous (??), 21:01 , 31-Мрт-24, (108) Победил 7z Пофиг, что затратил 54 2 с, зато сильнее всех пожмакал , Аноним (2), 12:55 , 25-Мрт-24, (2) +5 // В современных реалиях быстрее будет чуть больше скачать, но быстрее распаковать, Аноним (28), 14:07 , 25-Мрт-24, (28) +8 // Да не факт Вы что, из америки где везде есть интернет, электричество и паркинг, Аноним (53), 18:21 , 25-Мрт-24, (53) –9 // Мы из России Тут интернет плохой в небольших удаленных поселках Но 1МБ с -- эт, tty0 (?), 23:23 , 25-Мрт-24, (75) +1 Сомнительное соотношение скорости сжатия к размеру файла и скорости скачивания , Аноним (42), 17:11 , 25-Мрт-24, (42) +2 Тогда уж xz Только там еще дольше , Аноним (60), 20:06 , 25-Мрт-24, (60) // Там тот же lzma только в формате потока, поточные компрессоры всегда будут дават, Аноним (62), 20:11 , 25-Мрт-24, (62) 7z не дедуплицирует данные, поэтому годится только для маленьких и скучных набор, Аноним (62), 20:08 , 25-Мрт-24, (61) –1 // Ему это не надо, он это умеет на уровне алгоритма словаря с параметром qs Если , fuggy (ok), 22:46 , 25-Мрт-24, (72) // Если словарь достаточного размера Типичный архив в него не влезает, кроме того,, Аноним (62), 22:50 , 25-Мрт-24, (73) Джипеги же жали, да , Аноним (3), 12:58 , 25-Мрт-24, (3) rar одного размера с zip Подозрительно rar обычно лучше сжимает , GhostX (?), 13:00 , 25-Мрт-24, (4) // Разный же 253 и 235 Мб, ануснимус (?), 13:14 , 25-Мрт-24, (10) +5 В отрыве от возможностей в мейнстриме это всё весело, но довольно бессмысленно О, Аноним (3), 13:04 , 25-Мрт-24, (5) // С одной стороны соглашусь, с другой нет SQLite поставляется во всех массовых ди, человек (??), 13:19 , 25-Мрт-24, (14) +2 // Скулайт он как питон, второй лучший вариант в любой сфере Только тут задачи при, Аноним (18), 13:35 , 25-Мрт-24, (18) +1 Отлично, давайте использовать везде pickle, зачем нам какие-то JSON, CBOR, npy, , Аноним (84), 02:38 , 26-Мрт-24, (84) –1 Тут нечего смотреть Бенчи Сыкулита будут 177 1 от того архиватора, который п, Аноним (53), 18:27 , 25-Мрт-24, (54) Вообще они немножко опоздали, таких штук было уже наваломhttps github com phir, Аноним (3), 13:06 , 25-Мрт-24, (6) –1 // Душнила Весь кайф поломал D, YetAnotherOnanym (ok), 13:10 , 25-Мрт-24, (9) –1 В новости речь про воссоздание архиватора на базе SQLite, а sqlite-zstd - дополн, Аноним (13), 13:17 , 25-Мрт-24, (13) +3 Ну раз пошла такая пьянка https codeberg org KOLANICH-libs Cache py, Аноним (27), 13:47 , 25-Мрт-24, (27) жду реализации для http-статики в духе времени будет, Аноним (7), 13:09 , 25-Мрт-24, (7) // Для веб-архивирования Как раз есть аддон SingleFile, который выгружает все ресу, Алкоголизм (?), 15:02 , 25-Мрт-24, (37) +1 https wiki openzim org wiki ZIM_file_format со сжатием, есть просмотрщики При, fuggy (ok), 15:41 , 26-Мрт-24, (97) // Только нет вменяемых средств создания , merv (?), 21:59 , 26-Мрт-24, (102) Подозреваю, первым замерили скорость zip, и файлы он читал с диска, а после него, YetAnotherOnanym (ok), 13:09 , 25-Мрт-24, (8) +6 // То, что Pack оказался настолько быстрее Zip-а, конечно, подозрительно, но пусть , Аноним (86), 09:06 , 26-Мрт-24, (86) тест с zip был запущен при холодном кэше, а остальные тесты при прогретом Серьё, Аноним (11), 13:15 , 25-Мрт-24, (11) +5 // Чтобы дропнуть кэши надо записать 1 байт в специальный файл, очень сложно Да и , Аноним (62), 13:27 , 25-Мрт-24, (16) +1 Это очень важный пункт эксперимента Он наглядно демонстрирует, насколько стоит д, тоже Аноним (ok), 13:44 , 25-Мрт-24, (25) +2 // Не на то смотришь Если в намеренных данных не указаны ни доверительные интервал, Аноним (-), 14:15 , 25-Мрт-24, (30) Хорошо хоть что сами дали себе явную оценку в тестах Хотя по результата и так я, Аноним (44), 17:22 , 25-Мрт-24, (44) Скрыто модератором, Аноним (12), 13:16 , 25-Мрт-24, (12) Разве это не просто альтернативная реализация идеи https www sqlite org sqlar , Аноним (15), 13:24 , 25-Мрт-24, (15) +2 Скулайт итак мало для чего пригоден, так он теперь ещё и плохой архиватор , Аноним (18), 13:32 , 25-Мрт-24, (17) –4 // в докер надо засунуть, тогда будет норм, Аноним (12), 13:35 , 25-Мрт-24, (19) +1 // libsql, Алексей (??), 14:32 , 25-Мрт-24, (31) // systemd-sqlited, НяшМяш (ok), 14:44 , 25-Мрт-24, (32) +1 SQLite by design умеет исполнять произвольный код, поэтому даже просто открывать, Аноним (20), 13:37 , 25-Мрт-24, (20) // Извините, но что это за uдuотская фича - исполнять код Это в смысле брешь в , Аноним (53), 18:19 , 25-Мрт-24, (52) // Споткнулся и выполнил, Прадед (?), 21:29 , 25-Мрт-24, (64) Штатная фича - https www sqlite org lang_createview html VIEW - эта такая ти, Аноним (84), 22:32 , 25-Мрт-24, (71) // Вы меня пугаете Программные хуки в SQLite выполняются софтом , tty0 (?), 23:27 , 25-Мрт-24, (77) Хромому они не помогли , Аноним (84), 23:52 , 25-Мрт-24, (79) Напоминаю - zip -это контейнер, и туда могут быть добавлены произвольные компрес, Аноним (27), 13:40 , 25-Мрт-24, (21) // даже PPMD очень не везде поддерживается В качестве реализации рекомендую https , Аноним (27), 13:44 , 25-Мрт-24, (24) // ppmd уже давно поддерживается в 7z Или ты смешивает ppmd и zstd , fuggy (ok), 14:10 , 25-Мрт-24, (29) // в 7z - да, а вот во многих других реализациях помимо store и zlib в лучшем случа, Аноним (33), 14:45 , 25-Мрт-24, (33) По скорее бы завезли zstd в info-zip, уже много лет как zip поддерживает zstd в, Аноним (62), 19:59 , 25-Мрт-24, (59) Мне плевать на тормозной до тех пор, пока замедление адекватно сжатию У lzma2, Аноним (84), 21:53 , 25-Мрт-24, (68) Чего не хватает в 7z так это больше фильтров для разных типов файла как в winrar, fuggy (ok), 22:55 , 25-Мрт-24, (74) Так у 7z тот же brunsli для картинок есть уже много лет Как по мне, главная фич, Аноним (62), 23:24 , 25-Мрт-24, (76) Я хочу это чтобы было в стандартной поставке Стратегии это по сути и есть препр, fuggy (ok), 23:34 , 25-Мрт-24, (78) А где сравнение с утилитой zstd , Аноним (22), 13:41 , 25-Мрт-24, (22) Есть такой проект, Pigz называется, тотже gzip, но распаралленый Быстро работае, Аноним (23), 13:42 , 25-Мрт-24, (23) // Плохо, что всё время забываешь -I pigz к tar подкидывать Его уже надо бы по-умо, НяшМяш (ok), 14:49 , 25-Мрт-24, (34) // Сделай его системным , Аноним (36), 15:01 , 25-Мрт-24, (36) pbzip2 тоже, но чуть лучше жмёт и при распаковке контрольную сумму проверяет m, Аноним (40), 16:44 , 25-Мрт-24, (40) Лучше пользоваться https github com mhx dwarfs И сжимает мощно, и вместо расп, topin89 (ok), 14:56 , 25-Мрт-24, (35) +1 // Эксперимент с использованием SQLite в качестве контейнера дл..., Аноним (38), 15:21 , 25-Мрт-24, (38) Прежде всего тем, что может вытащить ЛЮБОЙ файл за минимальное время , Аноним (47), 17:54 , 25-Мрт-24, (47) +1 // Не, нужно так писать, Аноним (44), 18:11 , 25-Мрт-24, (51) А этот dwarfs в качестве хранилки библиотеки сойдет , непонятка (?), 06:26 , 27-Мрт-24, (104) // В целом да Но если данные сами по себе плохо сжимаются, то проще как есть в пап, topin89 (ok), 13:04 , 17-Апр-24, (115) Давно ищу архиватор способ чтоб в архиве сохранялась дата создания через stat эт, Аноним (-), 16:44 , 25-Мрт-24, (39) +1 // Если сам формат файла хранит только ОДНУ дату, вряд ли ты сможешь туда засунуть , Аноним (47), 17:53 , 25-Мрт-24, (46) Это в какой именно более продвинутой А то у лапчатых например Birth был долго, Аноним (48), 18:00 , 25-Мрт-24, (48) // Тьфу, 4 там лишняя Но пингвинячий stat таки традиционно не поддерживает b_tim, Аноним (48), 18:06 , 25-Мрт-24, (50) Не так и давно, поддержку birth иноды не столь и полезная для архивации информа, Аноним (62), 19:54 , 25-Мрт-24, (57) // Неужели вы до сих пор путаете архиватор с компрессором Использую для архивации , Аноним (66), 21:49 , 25-Мрт-24, (66) –1 // Обрати внимание на быстрый произвольный доступ к сжатым данным , Аноним (70), 22:09 , 25-Мрт-24, (70) Я тут уже лет 10 пишу, что с появлением твердотельников будущее за файловыми сис, Аноним (42), 17:09 , 25-Мрт-24, (41) +2 Это имеет смысл только на конкретных юзкейсах имеем один большой архив и период, Аноним (47), 17:51 , 25-Мрт-24, (45) Оверинженеринг, Аноним (49), 18:02 , 25-Мрт-24, (49) // Прелестный эксперимент Чтоб подумать над результатом , Аноним (58), 19:57 , 25-Мрт-24, (58) +1 Здравствуйте,I am the author of Pack, and I am happy to see you all interested i, O (?), 18:56 , 25-Мрт-24, (55) +8 // https www blackhat com docs us-17 wednesday us-17-Feng-Many-Birds-One-Stone-Ex, Аноним (84), 21:23 , 25-Мрт-24, (63) // And forgot to add For the purpose of this paragraph let s assumme that SQLite , Аноним (84), 21:32 , 25-Мрт-24, (65)   // All are an will be statically linked They are not considered a shared library t, O (?), 00:55 , 26-Мрт-24, (80)   Noone sane uses statically-linked libs and sane distros would never accept anyth, Аноним (84), 02:21 , 26-Мрт-24, (82) –3   Ты просто не пользовался скулайтом, он примерно всегда бандлится Или не заметил, Аноним (62), 10:43 , 26-Мрт-24, (87)   У неадекватов всё подряд бандлится, причём с обоснованием уровня а вот я тут гл, Аноним (89), 13:07 , 26-Мрт-24, (89)   Дело не в этом Лучше смотри на это с позиции когда мейнтенеры не будут возиться, Аноним (62), 13:24 , 26-Мрт-24, (93)   Да, есть такая проблема И это проблема в том числе самого SQLite Слишком много, Аноним (96), 14:40 , 26-Мрт-24, (96)   HeyI am sorry that you think like that Not much tracking, rather shared with me, O (?), 13:12 , 26-Мрт-24, (90)   I can give you a simple advice that will fix all issues in your format just adm, Аноним (89), 13:30 , 26-Мрт-24, (94)   Some moar things I forgot to add If this format gets adoption, insecure implem, Аноним (84), 02:33 , 26-Мрт-24, (83) // Thank you for the interest - As long as they use the official work, it will be s, O (?), 13:24 , 26-Мрт-24, (92) The fast variant doesn t guarantee cleanup The slow one results in additional I, Аноним (98), 15:58 , 26-Мрт-24, (98) Предпочитаю squashfs для архивирования У него встроенное сжатие, но главное мож, BrainFucker (ok), 21:52 , 25-Мрт-24, (67) // Рекомендую dwarfs, он лучше, Аноним (100), 18:13 , 26-Мрт-24, (100) // Ок, подождём лет десять, как появится в репах дистрибутивов и если проект не буд, BrainFucker (ok), 20:33 , 26-Мрт-24, (101) 128077 прект наебалго, разница скорости между Ним и 7zip zstd примрено 15 , DZgas (?), 11:39 , 26-Мрт-24, (88) –1 // File hierarchy is implemented using recursive ID In Item table, every Item gets, O (?), 13:17 , 26-Мрт-24, (91) +1 В 7z мне не хватает CRC , Аноним (103), 06:15 , 27-Мрт-24, (103) некорректный дизайн теста паскаль no comments, mumu (ok), 16:01 , 28-Мрт-24, (107) 1,2,3,4,5,6,7,8,11,15,17,20,21,22,23,35,39,41,45,49,55,67,88,103,107

Сообщения

[Сортировка по времени | RSS]

	65. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от Аноним (84), 25-Мрт-24, 21:32
	And forgot to add: * For the purpose of this paragraph let's assumme that SQLite when built with maximum hardening is secure ... Even if you use maximum source-level hardening options of SQLite, it would limit your software to 2 options: statically linking the SQLite lib with thisenoptions, or dynamically linking an additional variant of SQLite lib living in a separate package. Some distro maintainers can forget about this security measure and just link the usual distrowise SQLite lib optimized for performance and special tasks like schema manipulation ... creating this way a vulnerability. So mere using SQLite for the task it is unsuitable for introduces a weak point.
	Ответить | Правка | Наверх | Cообщить модератору

	80. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от O (?), 26-Мрт-24, 00:55
	All are an will be statically linked. They are not considered a shared library to the program, but part of the source.
	Ответить | Правка | Наверх | Cообщить модератору

	82. "Эксперимент с использованием SQLite в качестве контейнера дл..."	–3 +/–
	Сообщение от Аноним (84), 26-Мрт-24, 02:21
	Noone sane uses statically-linked libs and sane distros would never accept anything using statically linked libs. It is unmaintainable shit. If a yet another critical RCE vulnr is found in your precious SQLite, then the lib in the distro will be upgraded, but your archiver (needed by nobody sane and kept only to make a check mark that they have it in the repo, if it got enough adoption) with statically linked SQLite will stay vulnerable. We have enough pain in the ass with Python's pickle, which should be considered a backdoor. If your archiver gets any adoption, there will be a yet another backdoor. Yes, I consider your archive format as a backdoor, and the attempt to forcibly promote it, to the point you are tracking mentions of it on websites in foreign languages, as an attempt to promote a hard-to-remove (if it got adoption and there would be enough archives of your format with valuable unique content in the Internet, so users would have no other option, but to either use SQLite and tolerate the risk, or create an own impl of SQLite specifucally designed to deal with malicious databases securely) backdoor.
	Ответить | Правка | Наверх | Cообщить модератору

	87. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от Аноним (62), 26-Мрт-24, 10:43
	Ты просто не пользовался скулайтом, он примерно всегда бандлится. Или не заметил. Ну и все мейнтейнеры жрут, что им навалят разрабы, странный аргумент. Потому что шляпа вроде ffmpeg или libvpx регулярно ломает совместимость, но узнаешь ты об этом только когда пользователи начнут ныть (подход компилируется значит работает очень популярный у мейнтенеров). Или другой пример именно статически линкуемого компонента неизвестной версии это zlib.
	Ответить | Правка | Наверх | Cообщить модератору

	89. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от Аноним (89), 26-Мрт-24, 13:07
	>Ты просто не пользовался скулайтом, он примерно всегда бандлится У неадекватов всё подряд бандлится, причём с обоснованием уровня "а вот я тут главный, хочу так, и ниипёт". Некоторые доходят до того, чтш используют Rust или поставляют свои программы в формате Snap или Docker-контейнеров. zlib и sqlite вообще отличаются довольно стабильным API и очень широко используются, я не помню, чтобы хоть раз какой-либо софт сломался из-за этих либ, прилинкованных динамически. Вот пример адекватного пакетирования https://packages.debian.org/sid/python3.12-minimal , https://packages.debian.org/sid/libzip4t64 , https://packages.debian.org/sid/libarchive13t64 , https://packages.debian.org/ru/sid/libxft-dev , https://packages.debian.org/buster/libsvn-dev (остальное найдёшь сам, меня забанили в Гугле. zlib1g AND -inurl:zlib1g AND -inurl:lib32z1 AND -inurl:lib64z1 AND -inurl:search AND -inurl:search_contents AND -inurl:zlib AND site:packages.debian.org) - зависит от https://packages.debian.org/sid/zlib1g https://packages.debian.org/sid/libpython3.12-stdlib - зависит от https://packages.debian.org/sid/libsqlite3-0 А свои сказки про то, что всегда бандлится ... я уже сказал, бандлится только у неадекватов, которым лень разобраться в работе CMake, поэтому у которых всё на git-подмодулях или вообще просто скопировано в дерево исходников.
	Ответить | Правка | Наверх | Cообщить модератору

	93. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от Аноним (62), 26-Мрт-24, 13:24
	Дело не в этом. Лучше смотри на это с позиции когда мейнтенеры не будут возиться с разбандливанием и разгребанием багов в каждой поделке (а они там будут). Если говорить о скулите, то дистрибутивная версия может быть собрана без secure-delete (потому что это угрожает производительности), а та, что поставляется, например, с браузером, компилируется с этим флагом. Версии, поставляемые с браузером,  во многих случаях будут более новые, либо с применёнными (иными) патчами. В целом, особенно актуальны вопросы совместимости для программ на плюсах, сишные в значительной мере совместимы. Но всё равно нельзя взять и подсунуть произвольную версию и только разрабы знают какая подходит и почему, не мейнтейнеры. Куда чаще проблема не в том, что разрабы не разбираются, а в том, что мейнтейнеры разбираются недостаточно хорошо.
	Ответить | Правка | Наверх | Cообщить модератору

	96. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от Аноним (96), 26-Мрт-24, 14:40
	Да, есть такая проблема. И это проблема в том числе самого SQLite. Слишком многое там конфигурируется во время компиляции флагами компиляции. Потому что нефиг на Си писать. Писать надо было на плюсах и юзать шаблоны, создавая где очень критично к производительности 2 версии кода, и не через макросы, а через ifы/switchи, где в каждом варианте все ветви кроме гдной будут выоптимизированы компилятором. Ещё проблем добавляет модель разработки SQLite - "мы не будем брать ваши патчи, мы возьмём только заказ на работу и гонорар за его исполнение". Костыльный вариант решения я вижу таким — запакетировать несколько бинарных вариантов либы под распространённые use case и линковать приложения к нужному варианту. >Но всё равно нельзя взять и подсунуть произвольную версию и только разрабы знают какая подходит Поэтому в программы и либы приходится пихать рантайм-диагностику, анализирующую флаги сборки и фичи, где целесообразно - включающую fallbackи и генерирующую рекомендации о том, какие флаги нужны.
	Ответить | Правка | Наверх | Cообщить модератору

	90. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от O (?), 26-Мрт-24, 13:12
	Hey I am sorry that you think like that. Not much tracking, rather shared with me on the Lazarus forum (IDE I sued for developing Pack), and I thought clearing some points may help some others. I can explain more and correct your mistaken statements, but because of your way of talking, I think it won't help.
	Ответить | Правка | К родителю #82 | Наверх | Cообщить модератору

	94. "Эксперимент с использованием SQLite в качестве контейнера дл..."	+/–
	Сообщение от Аноним (89), 26-Мрт-24, 13:30
	I can give you a simple advice that will fix all issues in your format: just admit that it was an extremily bad idea to promote it as an archive format and put noticable warnings about that everywhere: on official webpages, in git repo, etc. For the uses that don't promote it as an archive format, but as a key-value store for a local use only in a pretty trusted setup ... there are plenty of solutions, and no hype around them.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема