The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Релиз системы резервного копирования BorgBackup 1.1.0, opennews (??), 10-Окт-17, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


1. "Релиз системы резервного копирования BorgBackup 1.1.0"  +6 +/
Сообщение от Анонимм (??), 10-Окт-17, 09:03 
Вот если бы сжатие кто сделал многопоточным...  так грустно смотреть в 21 веке, когда процесс бекапа грузит одно ядро, а 100500 простаивают
(PS сам попытку такое сделать уже предпринимал на основе pigz, но как-то не доделал)
Ответить | Правка | Наверх | Cообщить модератору

3. "Релиз системы резервного копирования BorgBackup 1.1.0"  +/
Сообщение от Аноним (-), 10-Окт-17, 10:20 
И как ты, интересно, собрался распараллеливать lz4? Вот lzma2 отлично распараллеливается.
Ответить | Правка | Наверх | Cообщить модератору

4. "Релиз системы резервного копирования BorgBackup 1.1.0"  +/
Сообщение от Анонимм (??), 10-Окт-17, 10:24 
да хоть бы распараллелили то, что уже параллелится.
Вот gzip и lzma2 уже - и большинству бы админов хватило такого выбора с головой
Ответить | Правка | Наверх | Cообщить модератору

12. "Релиз системы резервного копирования BorgBackup 1.1.0"  +/
Сообщение от Аноним (-), 10-Окт-17, 12:49 
gzip тоже не параллелится. Подтянул бы матчасть прежде чем хотелки хотеть.
Ответить | Правка | Наверх | Cообщить модератору

13. "Релиз системы резервного копирования BorgBackup 1.1.0"  +/
Сообщение от Аноним (-), 10-Окт-17, 13:37 
pigz?
Ответить | Правка | Наверх | Cообщить модератору

15. "Релиз системы резервного копирования BorgBackup 1.1.0"  –1 +/
Сообщение от Аноним (-), 10-Окт-17, 14:26 
нет. pigz не параллелит декомпрессию
Ответить | Правка | Наверх | Cообщить модератору

14. "Релиз системы резервного копирования BorgBackup 1.1.0"  +5 +/
Сообщение от Аноним (-), 10-Окт-17, 14:03 
И вообще, что значит не параллелится? Больше одного файла - вот и параллельте :)
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

23. "Релиз системы резервного копирования BorgBackup 1.1.0"  +/
Сообщение от Анонимм (??), 10-Окт-17, 18:14 
> gzip тоже не параллелится. Подтянул бы матчасть прежде чем хотелки хотеть.

даже если бы gzip не параллелился, то это не повод этого не хотеть.
Когда то и огонь приходилось часами выжимать из двух деревяшек, и это тоже была матчасть.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

11. "Релиз системы резервного копирования BorgBackup 1.1.0"  +/
Сообщение от Аноним (-), 10-Окт-17, 12:20 
> Вот lzma2 отлично распараллеливается.

к сожалению, не декомпрессия! На терабайтном архиве 4 кратная разница во времени при распаковке (в зависимости от количества ядер, но потом, конечно, упирается в диск) заставляет пользоваться bzip2. Он умеет.

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

17. "Релиз системы резервного копирования BorgBackup 1.1.0"  +2 +/
Сообщение от mumu (ok), 10-Окт-17, 14:51 
zstd? brotli? Всё открытое, жмет в районе 1 Гб/сек при приемлемом уровне сжатия и возможности распараллеливания.
Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

27. "Релиз системы резервного копирования BorgBackup 1.1.0"  –1 +/
Сообщение от Аноним (-), 12-Окт-17, 15:52 
> И как ты, интересно, собрался распараллеливать lz4?

На сжатие можно, если высокие уровни: запустил несколько тредов да фигарь там разные куски. У lz4 адресуемое смещение мелкое, степень сжатия от независимой паковки не испортится. На распаковку LZ4 может быть скоростью RAM подперт и там смысла в потоках мало. Можешь разжать небольшой кусок из одного и того же src в dst, посмотреть до какого космоса LZ4 разгоняется если память быстрая.

> Вот lzma2 отлично распараллеливается.

Но его скорость работы весьма скромная и никакие потоки ему не помогут.

Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

6. "Релиз системы резервного копирования BorgBackup 1.1.0"  +1 +/
Сообщение от infector (?), 10-Окт-17, 10:49 
Многопоточность на версию 1.2 заплонирована
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

7. "Релиз системы резервного копирования BorgBackup 1.1.0"  +/
Сообщение от Анонимм (??), 10-Окт-17, 10:56 
о, отличные новости!
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру