форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение		[ Отслеживать ]

"Инкрементальный бэкап данных через короткие промежутки време..."		+/–
Сообщение от Raye (ok) on 17-Июл-09, 23:44
Задача: обеспечить инкрементальный бэкап данных общим объемом около 600-700 гб, с очень маленькими промежутками по времени, например, раз в 2 часа. Хранить — неделю. Данные представляют из себя кипу относительно мелких файлов, вроде doc, xls и разнообразных картинок. Изменяются практически постоянно, двумя-тремя десятками пользователей. Цель — обеспечить защиту от случайной потери данных, весьма часто возникающей по причине криволапости пользователей. Весь объем (при необходимости) можно разнести на три части — две по ~300 гб и одну - остатки. Держать все предполагается на полусофтварном или полностью софтварном Raid5, общим объемом 1,8 тб (возможности поставить приличный рейд в ближайшее время не предвидется, но есть в планах). Предпочтительная ОС — FreeBSD 7.0. Другие варианты рассматриваются со скрипом, в виду неуживчивости контроллера рейда. Доп. условия: виндовый домен, т. е. на сервере будет samba. Внимание, вопрос! Как бы это поэффективнее реализовать? Склоняюсь в сторону снапшотов, но не знаю, средствами чего. UFS от такого количества умирает, LVM — не дружит с FreeBSD. ZFS? Другие варианты так же принимаются с радостными воплями! Очень надеюсь на помощь.
Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
Сообщение от alex nop on 18-Июл-09, 03:23
Навскидку могу предложить 2 варианта: 1. Серьезный. Bacula, которая все делает на локальных хранилищах, вместо лент. Плюсы: легко переехать на ленты в будущем, хорошая масштабируемость (добавить клиентов или устройств записи). Минус: достаточно громоздкая конструкция, которая заточена под сетевое резервирование на ленты. Придется потратить какое-то количество времени на "разобраться/поэкспериментировать/потренироваться" 2. Дешево и сердито. Rsync, локально. Тут несколько вариантов: а) одна большая свалка с инкрементальными копиями (если не удалять файлы в "каталоге-получателе"). От тупого удаления файла спасает. Есть минус - отсутсвует версионность инкрементов (т.е. если пользователь открыл файл, внутри него исправил цифры и сохранил, то мы в архиве получим точно такой же файл и откопать старые цифры уже нельзя). б) свалка не одна, а несколько. Место будет жрать пропрорциональко количесву необходимых версий инкрементов. Придется корябать скрипты самому на основе тех, что уже валяются в сети. Хотя вариант не шибко сложный. Со снапшотами хорошо дружит только NetApp со своим WAFL, но это уже совсем другая песня.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	4. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
	Сообщение от Raye (ok) on 18-Июл-09, 15:38
	Bacula не пройдет. Многие юзера работают со своих ноутов, и ловить их, чтобы поставить клиент - дело довольно сложное. Или я что-то путаю? Версионность нужна. Так что пока остановлюсь на версии с много свалок и скриптами.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	11. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
	Сообщение от anonymous (??) on 19-Июл-09, 16:39
	>Bacula не пройдет. Многие юзера работают со своих ноутов, и ловить их, >чтобы поставить клиент - дело довольно сложное. Или я что-то путаю? Бэкапить хранилище, а не отдельных клиентов.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
Сообщение от Аноним (??) on 18-Июл-09, 03:59
rdiff-backup ?
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
Сообщение от XAnder (ok) on 18-Июл-09, 13:48
Может быть rsnapshot сгодится? Я использую примерно для таких же целей - защита от "Оёёй! Вот тут мегаважный файлик случайно (а бывало, что и специально) потёрли! Как бы вернуть?" :-) В целом доволен. Правда, объёмы данных у меня почти на порядок меньше (ок. 100G).
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	5. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
	Сообщение от Raye (ok) on 18-Июл-09, 16:56
	А у него есть какие-нибудь требования к среде обитания? Гугл на эту тему помалкивает...
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	6. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
	Сообщение от XAnder (ok) on 18-Июл-09, 18:17
	>А у него есть какие-нибудь требования к среде обитания? Гугл на эту >тему помалкивает... Собственно, на сайте этой проги можно посмотреть: http://www.rsnapshot.org/ У меня она обитает на сервере, сделанном из самого обычного компа с двумя дисками SATA 250G. На первом система FreeBSD с Самбой и файлы пользователей, а второй полностью отдан под хранение резервных копий, которые делает rsnapshot. Одновременно держу 6 "часовых" копий, 7 "дневных" и 4 "недельных". При этом, что приятно, на втором диске занято места лишь на 10% больше, чем на первом.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	7. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
	Сообщение от Raye (ok) on 18-Июл-09, 19:23
	>[оверквотинг удален] >>тему помалкивает... > >Собственно, на сайте этой проги можно посмотреть: http://www.rsnapshot.org/ > >У меня она обитает на сервере, сделанном из самого обычного компа с >двумя дисками SATA 250G. На первом система FreeBSD с Самбой и >файлы пользователей, а второй полностью отдан под хранение резервных копий, которые >делает rsnapshot. Одновременно держу 6 "часовых" копий, 7 "дневных" и 4 >"недельных". При этом, что приятно, на втором диске занято места лишь >на 10% больше, чем на первом. Немного запутался в хавту и манах. 6 "часовых" копий - это 24/6, т.е. копии раз в 4 часа, или 6 копий, сделанных с промежутком раз в час?
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	8. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
	Сообщение от XAnder (ok) on 18-Июл-09, 19:36
	>Немного запутался в хавту и манах. 6 "часовых" копий - это 24/6, >т.е. копии раз в 4 часа, или 6 копий, сделанных с >промежутком раз в час? Нет, немного не так. Процесс управляется кроном. В /etc/crontab у меня прописано вот что: 10    6,9,12,15,18,21 * *    *    root    rsnapshot hourly 20    22    *    *    *    root    rsnapshot daily 40    22    *    *    7    root    rsnapshot weekly А в конфиге: interval    hourly    6 interval    daily    7 interval    weekly    4 Часовые копии делаются в 6:10, 9:10, 12:10, 15:10, 18:10 и 21:10. Вполне возможны и другие часы с минутами и количество копий на свой вкус. Сервер обслуживает контору, которая по ночам не работает, поэтому и резервные копии по ночам делать смысла нет, а с 6 до 21 часа делаются каждые три часа. Вечерком подбивается дневная копия (очень быстро из соответствующей часовой), а в конце недели - точно так же недельная (из дневной).
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	9. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
	Сообщение от Raye (ok) on 19-Июл-09, 07:41
	>[оверквотинг удален] >interval daily 7 >interval weekly 4 > >Часовые копии делаются в 6:10, 9:10, 12:10, 15:10, 18:10 и 21:10. Вполне >возможны и другие часы с минутами и количество копий на свой >вкус. Сервер обслуживает контору, которая по ночам не работает, поэтому и >резервные копии по ночам делать смысла нет, а с 6 до >21 часа делаются каждые три часа. Вечерком подбивается дневная копия (очень >быстро из соответствующей часовой), а в конце недели - точно так >же недельная (из дневной). Спасибо за помощь! Завел, пока что в тестовом режиме. Если все пройдет гладко при таком объеме данных - перенесу на постоянку.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

	10. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
	Сообщение от ALex_hha (ok) on 19-Июл-09, 15:20
	>А у него есть какие-нибудь требования к среде обитания? Гугл на эту >тему помалкивает... Судя по описанию с сайта rsnapshot is written entirely in Perl. It should work on any reasonably modern UNIX compatible OS, including: Debian GNU/Linux, Red Hat Linux, Fedora Linux, SuSE Linux, Gentoo Linux, Slackware Linux, FreeBSD, OpenBSD, NetBSD, Solaris, Mac OS X, and even IRIX. никаких проблем не должно быть ибо perl ;) Не забудь поделиться впечатлением, интересно. У самого объемы бекапа достигают 500-600 Гб.
	Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "Инкрементальный бэкап данных через короткие промежутки време..."		+/–
Сообщение от Raye (ok) on 01-Окт-09, 21:21
Решено. Rsnapshot.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема