The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Система резервного копирования Obnam прекращает своё существование

15.08.2017 20:27

Ларс Вирзениус (Lars Wirzenius), один из студенческих товарищей Линуса Торвальдса, вовлечённый в развитие Linux с первых дней существования проекта (создатель Linux Documentation Project и один из первых мэйнтенеров в дистрибутиве Debian), объявил о сворачивании проекта Obnam, в рамках которого с 2006 года развивалась система резервного копирования, основанная на идее оптимизации хранения резервных копий за счёт использования репозитория со встроенной поддержкой дедупликации данных.

По словам Ларса он прекращает разработку после того, как осознал, что имеющиеся проблемы можно устранить лишь полностью переписав проект с нуля, но он не собирается этого делать. В частности, из хобби проект превратился в обузу из-за невозможности преодолеть проблемы с расширяемостью, производительностью и потреблением ресурсов. Попытки исправить что-то приводили к появлению других проблем, например, всплывали непредвиденные провалы в производительности или повышалось потребление памяти.

Пользователям Obnam рекомендуется перейти на другие инструменты резервного копирования. Переход необходимо совершить до конца года, после чего сопровождение кодовой базы и устранение возможных уязвимостей будет полностью прекращено. Разработчикам Debian будет направлен запрос на удаление Obnam из репозиториев unstable и testing (Obnam не войдёт в состав Debian 10). Сайт и репозиторий проекта останутся доступны, но список рассылки будет переведён на систему премодерации. Тем не менее, проект имеет шанс остаться на плаву, если найдётся желающий подхватить разработку и заняться решением имеющихся проблем.

  1. Главная ссылка к новости (https://blog.liw.fi/posts/2017...)
  2. OpenNews: Выпуск системы резервного копирования Obnam 1.7
  3. OpenNews: Новая версия системы резервного копирования Obnam
  4. OpenNews: Представлена система резервного копирования Obnam 1.0, поддерживающая снапшоты и дедупликацию
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/47029-obnam
Ключевые слова: obnam, backup
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (42) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, anomymous (?), 20:32, 15/08/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –10 +/
    Правильно его с самого начала в Obman между собой переименовали...
     
  • 1.2, Аноним (-), 20:35, 15/08/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > По словам Ларса он прекращает разработку после того, как осознал, что имеющиеся проблемы можно устранить лишь полностью переписав проект с нуля, но он не собирается этого делать. В частности, из хобби проект превратился в обузу из-за невозможности преодолеть проблемы с расширяемостью, производительностью и потреблением ресурсов. Попытки исправить что-то приводили к появлению других проблем, например, всплывали непредвиденные провалы в производительности или повышалось потребление памяти.

    Плохой танцор - хороший папа!

     
  • 1.3, Аноним (-), 20:49, 15/08/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    borgbackup легко заменит сие творение.
     
     
  • 2.18, пох (?), 23:06, 15/08/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > borgbackup легко заменит сие творение.

    автор сего творения превзошел многих, снабдив его fsck - которая, якобы, даже позволяет иногда отремонтировать побившееся хранилище.
    у авторов борг - "пока еще не ломалось".

    и да, для "дедуплицирующих" бэкапилок поломка фатальна - в отличие от old-school incremental backup, у них навернется именно все и сразу.

     
     
  • 3.21, anonymous (??), 05:44, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > и да, для "дедуплицирующих" бэкапилок поломка фатальна - в отличие от old-school incremental backup, у них навернется именно все и сразу.

    Посадите их на рейд. Или воспользуйтесь ФС с возможность восстановления битых данных. Каждая утилита должна делать хорошо одно дело. Если нужно большее - стекайте утилиты

     
     
  • 4.22, YetAnotherOnanym (ok), 07:44, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Утилиту для бэкапа, которая теряет все данные из-за одной локальной ошибки Вы называте хорошей только за то, что она не умеет в дополнение к этому варить кофе?
     
     
  • 5.36, пох (?), 15:46, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Утилиту для бэкапа, которая теряет все данные из-за одной локальной ошибки Вы
    > называте хорошей только за то, что она не умеет в дополнение
    > к этому варить кофе?

    у борга набор фильтров для кофеварки, в общем, похожий - но вот это "пока не ломалось" лично меня пугает.

     
  • 5.49, Аноним (-), 11:20, 20/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    urbackup хранит файлы внезапно в виде файлов в фс и использует снепшоты. Пока фс не навернется, данные доступны. Правда. сам урбакап ломается, а после перустановки данных не видит, но бекапы по факту есть.
     
  • 4.51, scorry (ok), 18:04, 20/08/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Посадите их на рейд.

    Вы хотя бы уровень рейда упоминайте, что ли.

     
  • 3.46, stalker (??), 09:40, 17/08/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> borgbackup легко заменит сие творение.
    > автор сего творения превзошел многих, снабдив его fsck - которая, якобы, даже
    > позволяет иногда отремонтировать побившееся хранилище.
    > у авторов борг - "пока еще не ломалось".
    > и да, для "дедуплицирующих" бэкапилок поломка фатальна - в отличие от old-school
    > incremental backup, у них навернется именно все и сразу.

    я это пытаюсь преодолеть через бэкап репозитория borg-а на другой сервер borg-ом же. У меня таким образом есть ревизии оригинального репозитория.

     

  • 1.6, Андрей (??), 21:39, 15/08/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    > Тем не менее, проект имеет шанс остаться на плаву, если найдётся желающий подхватить разработку и заняться решением имеющихся проблем.

    Решать? Только переписывать же:
    > имеющиеся проблемы можно устранить лишь полностью переписав проект с нуля

    И было бы неплохо!

    И уже не на питоне, а трушно на Си, или в крайнем случае на Go.

     
     
  • 2.12, Аноним (-), 22:05, 15/08/2017 [^] [^^] [^^^] [ответить]  
  • –7 +/
    Go? Гарбидж коллектор и нестрогая типизация. Отстой. Для перемалывания петабайт данных только Си!
     
     
  • 3.16, asdasdas (?), 22:49, 15/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    А в C она ппц какая строгая! Во первых, в Go она не строгая, а утиная, это разные вещи.
    А что до C, в нем можно что угодно преобразовать к чему угодно, а помешать этому может только компилятор, а не стандарт.
     
     
  • 4.17, A.Stahl (ok), 23:01, 15/08/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >в нем можно что угодно преобразовать к чему угодно

    Можно, но это нужно делать специально. Только вот зачем специально делать такое?
    А Питон это как Си с void* вместо всех типов и с жутким синтаксисом.

     
  • 4.19, Аноним (-), 23:49, 15/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Тут, видимо, имелся в виду тот факт, что Go умеет сам определять, что ему подсовывают в переменную. Но тут есть нюанс: это не то же самое, что в языках с действительно нестрогой типизацией, где в одной переменной может оказаться как расстояние от Земли до Луны, так и слон (как объект). Просто Go умеет отличить строку от целого числа при присвоении значения переменной, и сам под капотом назначит переменной нужный тип. Но это не значит, что типа там нет.
     
  • 3.27, Аноним (-), 10:48, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Go?
    > нестрогая типизация

    О великий теоретик, ты go вообще видел?

     
  • 2.45, Аноним (-), 02:39, 17/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    https://github.com/restic/restic
     

  • 1.7, ыы (?), 21:42, 15/08/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    >идее оптимизации хранения резервных копий за счёт использования репозитория со встроенной поддержкой дедупликации данных.

    Купил дисковую полку от HP и осознал что эта идея давно уже в железе?

     
     
  • 2.13, Аноним (-), 22:06, 15/08/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Да ты прям суперманька, и вендусом торгуешь тут, и орацлем, и хп. И всё это на одном форуме.
     
  • 2.15, пох (?), 22:43, 15/08/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Купил дисковую полку от HP и осознал что эта идея давно уже в железе?

    дисковая полка хепе умеет сама залезать на неведомые ей сервера и бэкапать оттуда данные?

    какая хорошая у HP...трава.

     
     
  • 3.24, ыы (?), 08:49, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Зачем? Не царское это дело.
    Но ПО бэкапа нет необходимости заботится о дедупликации. все дедуплицируется на более низком уровне. Причем не только при использовании бэкапа, а про любом использовании. например разворачивание виртуальных машин на таком устройстве хранения-сильно экономит пространство.
     
     
  • 4.29, none_first_ (?), 12:08, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Зачем? Не царское это дело.
    > Но ПО бэкапа нет необходимости заботится о дедупликации. все дедуплицируется на более
    > низком уровне. Причем не только при использовании бэкапа, а про любом
    > использовании. например разворачивание виртуальных машин на таком устройстве хранения-сильно
    > экономит пространство.

    ога и сгоревший чип делает всех счастливыми обладателями мусора вместо бэкапов

     
     
  • 5.33, Аноним (-), 15:22, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    ладно бы сгоревший чип, а то офигенное обновление прошивки от вендора
     
  • 5.39, ыы (?), 18:43, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >> Зачем? Не царское это дело.
    >> Но ПО бэкапа нет необходимости заботится о дедупликации. все дедуплицируется на более
    >> низком уровне. Причем не только при использовании бэкапа, а про любом
    >> использовании. например разворачивание виртуальных машин на таком устройстве хранения-сильно
    >> экономит пространство.
    > ога и сгоревший чип делает всех счастливыми обладателями мусора вместо бэкапов

    Вы когда нибудь вообще, серверное железо хотябы издали видели в живую?

     
     
  • 6.47, пох (?), 13:07, 17/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Вы когда нибудь вообще, серверное железо хотябы издали видели в живую?

    о йуный падаван, знал бы ты, сколько я ентого вендорского железа видел сдохшим от совершенно невероятных причин. Причем подобная ситуация совершенно невозможна с аналогичной мощности хреновиной, собранной из подручных средств, если вгрохать этих средств на ту же самую сумму, этого не делают вовсе не из соображений надежности. Потому что там ты хоть примерно _знаешь_ что и как может развалиться, и какие действия безопасны, а каких лучше избегать. А не вынужден доверять вендору.

    Про очевидное-невероятное начинающим вступать в вендорскую лепеху рекомендую гуглить sun и solar wind. Оно было настолько анекдотичное, что наверняка еще что-то где-то должно было остаться. Вендорское железо за гигабаксы, физическая изоляция компонент на уровне платформы, процессор в плату заталкивается винтами с динамометрическим ключом...
    Ну и отдельно подумать - а что, собственно, делать-то в подобном случае, счастливому приобретателю за чужие деньги?

    А хепе еще и известный любитель пихать в свои брендовые поделки relabeled мусор, который приличный человек и в домашний писюк ставить бы побрезговал. (впрочем, с тех пор как делл пожрал emc, бечь стало в общем и некуда, ни за какие деньги и нигде не купишь обоснованную, а не промытую сэйлзами, уверенность в том, что оно действительно будет работать, и действительно тебе помогут, если вдруг случится нечто)

     
     
  • 7.50, Аноним (-), 11:31, 20/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >> какие действия безопасны, а каких лучше избегать

    Безопасно хранить несколько копий файлов в разных пк а ext3, а все эти zfs и дедуприкации небезопасны. Но как это знание помогает решить тебе проблему экономии денег, пространства и всякой унификации хранилища?

     
  • 4.30, Аноним (-), 13:19, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    интересная идея особенно если перед посылкой бэкапа по сети каждый раз его сжимать с выскоким уровнем сжатия, остаётся только догадываться как среди архивных файлов ваша полка будет находить похожие куски...
     
     
  • 5.35, пох (?), 15:42, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > интересная идея особенно если перед посылкой бэкапа по сети каждый раз его
    > сжимать с выскоким уровнем сжатия

    а зачем вы это делаете? Я очень сомневаюсь, что в своей, "дешевенькой" 10G сети выиграю что-то заметное глазом даже от сжатия эффективным lz4. А если у вас нет даже 10G - вы чем полку-то подключать собирались, и зачем было выкидывать на нее столько денег, если после полки хватило только на прямой fc-проводок до сервера?

    > , остаётся только догадываться как среди архивных
    > файлов ваша полка будет находить похожие куски...

    разожмите на том, к чему подключена полка, тоже мне, фокус. Скорость записи скорее всего только вырастет, dedup обычно быстрее чем диски.

    речь-то о совсем другом - полка нифига не заменяет бэкап (архив заменить как-то может, если в ней есть снапшоты, но этот архив сам надо бэкапать куда-то)

     
     
  • 6.38, ыы (?), 18:31, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >речь-то о совсем другом - полка нифига не заменяет бэкап (архив заменить как-то может, если в ней есть снапшоты, но этот архив сам надо бэкапать куда-то)

    Странная мысль.
    Вы говорите что хотите бэкапить бэкапы? ну..тоже хорошая идея в общем...
    А можно забэкапить бэкапы бэкапов...

     
     
  • 7.42, пох (?), 18:58, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Вы говорите что хотите бэкапить бэкапы?

    это смотря для чего у вас полка. Если, как я подозреваю, для рабочих данных - то снапшоты таки надо куда-то бэкапать (лучше бы, конечно, не снапшоты, а данные, но выбор редко есть), оставшись в полке они защитят от рукожопа, развалившего рабочую копию, но не защитят от ухода полки целиком.

    если полка для бэкапов онли - что вообще-то очень странное решение, потому что все равно нужен нетривиальный софт, а он обычно умеет все то же самое на дешевом железе, да, можно не бэкапить, а просто молиться - поскольку опять же дедап в полке означает потерю всего, нажитого непосильным трудом (во всяком случае потерю веры, что там внутри именно данные, а не случайная мешанина байтиков), от сравнительно мелких проблем.
    А поскольку бэкап почти всегда используется как архив, будет немного неудобно отвечать "пол-второго" на просьбу дать состояние самой нужной базы на прошлый вторник, а то там, кажется, прошла очень неудачная транзакция, но вовремя не заметили.

    обычно владельцы полок бэкапятся куда-нибудь на ленты, именно что неспешно сливая туда снапшоты - оно, чаще всего, никогда и низачем будет не надо, но в случае аварии полки - архив будет можно достать обратно.

     
     
  • 8.43, ыы (?), 19:07, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    gt оверквотинг удален Да, мысль понятна Но ленточки вызывают у меня идиосинкр... текст свёрнут, показать
     
     
  • 9.48, пох (?), 13:21, 17/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    мы ж не на свои гуляем иначе бы была zfs, а кто-то получил бы новую порцию нену... текст свёрнут, показать
     
  • 5.37, Аноним (-), 17:12, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > интересная идея особенно если перед посылкой бэкапа по сети каждый раз его
    > сжимать с выскоким уровнем сжатия, остаётся только догадываться как среди архивных
    > файлов ваша полка будет находить похожие куски...

    У него в мурзилке ответа на это нет, но премию за август он уже заработал на вендусе, так что пофиг.

     
  • 5.41, ыы (?), 18:58, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > интересная идея особенно если перед посылкой бэкапа по сети каждый раз его
    > сжимать с выскоким уровнем сжатия,

    Кого сжимать? Куда сжимать? Зачем сжимать? 24 порта FC...
    Вы вообще.. представляете  себе о каком оборудовании идет речь?

     
  • 4.34, пох (?), 15:36, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Но ПО бэкапа нет необходимости заботится о дедупликации. все дедуплицируется на более
    > низком уровне.

    на блочном. Блок большой, поэтому вполне возможно, что вы изрядно проиграете этой древней поделке даже на объеме хранения.
    Но поделка еще и не _передает_ на хранилку ненужные данные, поскольку знает, какие именно блоки у нее уже есть. А вам придется опять изобретать велосипед - искать нечто, что умеет инкрементальные бэкпапы, проверять что оно делает с метаинформацией (selinux context? acl ? банальный atime?) и из полутора получившихся инвалидов еще искать того, который при всем этом работает хотя бы не черепашьи-медленно, а просто медленно.

    так-то у нас систем с дедупликацией и нахаляв...ой, опенсорсных есть - диски, правда, почему-то нельзя скачать из интернета (закачать - можно, но либо мало, либо дорого), поэтому халява оставляет во рту какой-то привкус.

    А чинить рассыпавшуюся полку (со всеми танцами вокруг платного саппорта) и рассыпавшийся zvol (с поисками давно забытых решений в вебархиве), в общем-то хрен редки не слаще...

     
     
  • 5.40, ыы (?), 18:47, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    > изобретать велосипед - искать нечто, что умеет инкрементальные бэкпапы, проверять что
    > оно делает с метаинформацией (selinux context? acl ? банальный atime?) и
    > из полутора получившихся инвалидов еще искать того, который при всем этом
    > работает хотя бы не черепашьи-медленно, а просто медленно.
    > так-то у нас систем с дедупликацией и нахаляв...ой, опенсорсных есть - диски,
    > правда, почему-то нельзя скачать из интернета (закачать - можно, но либо
    > мало, либо дорого), поэтому халява оставляет во рту какой-то привкус.
    > А чинить рассыпавшуюся полку (со всеми танцами вокруг платного саппорта) и рассыпавшийся
    > zvol (с поисками давно забытых решений в вебархиве), в общем-то хрен
    > редки не слаще...

    Когда имеешь дело с оборудованием промышленного класса- самодеятельность  быстро улетучивается из головы. Конечно саппорт платный. И рассыпавшееся такое устройство хранения- это из области страшилок про черную черную улицу с черным черным гробом который ищет тебя- напугать самого себя - можно.. а реальность- она иная на самом деле.

     
     
  • 6.44, пох (?), 19:10, 16/08/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Когда имеешь дело с оборудованием промышленного класса- самодеятельность  быстро
    > улетучивается из головы.

    это до поры. Пока не попадете в патовую ситуацию, что саппорт не мычит и тупо тянет время, а кровь из носу надо чтоб сработало прямщас.
    Рано или поздно оно со всеми происходит, (и вот хрен ли я после 19 на работе, спросите).

    > Конечно саппорт платный. И рассыпавшееся такое устройство хранения- это
    > из области страшилок про черную черную улицу с черным черным гробом

    ровно наоборот.
    "такого" в нем ничего особенного и нет (тем более от хепе, все "такого", что диск без лейбака не всунешь, да и рельсы под него не найдешь, жди пока саппорт прочухает и привезет), те же индусы на удаленке и пишут, и поддерживают, сложность конструкции высокая, счастливых пользователей кот наплакал из-за цены и неудобств с приобретением, поэтому всякие странные проблемы вылезают легко и непринужденно.

    (тьфу-тьфу-тьфу, тут тоже полки от того же чудо-вендора, и как-то подорительно давно ничего не происходило)

     

  • 1.8, vitalif (ok), 21:56, 15/08/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Он zbackup наверно просто увидел
     
  • 1.9, vitalif (ok), 21:56, 15/08/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    То ли Obnal, то ли Obman
     
  • 1.14, EHLO (?), 22:22, 15/08/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Дайте угадаю, Питон?
     
  • 1.28, Аноним (-), 10:57, 16/08/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Use veeam free!
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру