Представлен (https://forum.rclone.org/t/rclone-1-39-released/4485) выпуск утилиты rclone 1.39 (http://rclone.org/), которая представляет собой аналог rsync, предназначенный для копирования и синхронизации данных между локальной системой и различными облачными хранилищами, такими как Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfiles, Google Cloud Storage и Яндекс.Диск. Код проекта написан на языке Go и распространяется (https://github.com/ncw/rclone/) под лицензией MIT.Основные особенности rclone:
- Контроль целостности передаваемых данных при помощи хэшей MD5/SHA1;
- Сохранение исходного времени модификации и создания файлов;
- Поддержка режима частичной синхронизации, при которой копируются только изменившиеся в файле данные;
- Режим копирования на целевую систему новых и изменившихся файлов;
- Режим синхронизации для обеспечения идентичного состояния двух директорий на разных системах;
- Режим проверки для сверки контрольных сумм;
- Возможность синхронизации между двумя облачными хранилищами;
- Поддержка шифрования передаваемых потоков данных;
- Режим "rclone mount", позволяющий примонтировать внешнее хранилище в качестве части локальной ФС при помощи FUSE;
В новой версии:
- Добавлены новые бэкенды:
- WebDAV для хранения в nextcloud, owncloud и put.io9;
- Pcloud для одноимённого облачного хранилища;
- cache для организации кэширования доступа к другим бэкендам;
- Добавлена команда "serve" с подкомандами "serve webdav" (реализация сервера webdav для любых внешних хостов с rclone) и "serve http" (реализация http-сервера для взаимодействия с внешними rclone-системами по HTTP);
- Добавлена команда "config" с подкомандами create, delete, dump, edit, file, password, providers, show и update для полноценного управления файлами конфигурации;
- Добавлена команда "touch" для создания файла или обновления времени его модификации;- При указании опции "--stats" обеспечен показ процента выполненной операции, размер переданных данных, сведения о пропускной способности и прогноз времени завершения;
- Добавлена опция "--exclude-if-present" для исключения каталога из резервной копии только если присутствует указанный файл;- В команду rmdirs добавлена опция "--leave-root";
- В команду move добавлена опция "--delete-empty-src-dirs" для удаление каталогов после их перемещения;- Добавлена опция "--dump";
- Документированы коды возврата при различных видах сбоев;
- В бэкенд записи на внешние носители (mount) добавлена опция "--vfs-cache" для повышения надёжности записи через кэширование файлов на диске;
- В бэкенде Dropbox переработан код для кусочной передачи больших файлов;
- В бэкенде S3 налажена работа с хранилищами Digital Ocean;
- В бэкенд SFTP добавлена опция для включения шифра aes128-cbc;
- В бэкенд crypt добавлена опция для шифрования или оставления в открытом виде имён каталогов.URL: https://forum.rclone.org/t/rclone-1-39-released/4485
Новость: http://www.opennet.me/opennews/art.shtml?num=47803
а что, вполне интересно.
А версии Fuse нет что бы подмонтировать к ущербным системам большие хранилища )
Режим "rclone mount", позволяющий примонтировать внешнее хранилище в качестве части локальной ФС при помощи FUSE;
хост сам копирует данные в хранилище резервных копий, доступное на чтение-запись? уносите
> хост сам копирует данные в хранилище резервных копий, доступное на чтение-запись? уноситеЭто единственно верный с точки зрения безопасности вариант. Если левый сервер бэкапа имеет полный доступ к файловой системе всех резервируемых хостов, то это огромная дыра. Достаточно скомпрометировать сервер бэкапа и вся инфраструктура будет скомпрометирована.
петя пошифровал в бухгалтерии базы задницы одина, приходит мальчик размахивая жёстким диском "смотрите! у меня бекапы!", суёт жёсткий диск в сервер с базами, петя шифрует все бекапыэто твой единственно верный с точки зрения безопасности вариант, а теперь отправляйся следом за этим хламом
Хост может только записать новый бэкап, без возможности трогать уже сделанные. Если всё сваливается в одну кучу и можно перезаписывать прошлые бэкапы, то это клинический случай.
> петя пошифровал в бухгалтерии базы задницы одина, приходит мальчик размахивая жёстким диском
> "смотрите! у меня бекапы!", суёт жёсткий диск в сервер с базами,
> петя шифрует все бекапы
> это твой единственно верный с точки зрения безопасности вариант, а теперь отправляйся
> следом за этим хламомВы хотите сказать, что между двумя этими проявлениями "" резервного копирования, должна быть третье проявление "" резервного копирования, который в простом понимании этого термина будет "понимать" правильно ли "ведут" себя рядом стоящие "" резервного копирования, и которой Вы сможете "доверять" безоговорочно?
Не нагромождайте. Лучше, для начала, приберитесь на рабочем месте (и вдохните немного больше кислорода ;)
> Это единственно верный с точки зрения безопасности вариант.Господи, кто ж вас таких выращивает-то, а?
Очень годная вещь. Что фоточки синхронизировать, что небольшие (шифрованные) бэкапы.
Жаль, что патч для работы с mega.nz в эту версию протащить не успели.
а чо, так можно было?
Фичреквест на Github давно есть и патч есть, даже обсуждалось, что он в 1.39 войдёт. Благо вся документация по API у mega.nz доступна ещё с ранней беты и обновляется по мере развития.
> Код проекта написан на языке Go
> которая представляет собой аналог rsyncРасходимся, это очередной nih.
Впрочем если запилят модуль к fuse для всего перечисленного облачного г, чтобы можно было лазить туде НЕ ТОЛЬКО этой нескучной поделкой, это будет куда полезнее.
Да где ж вы такие берётесь. В коробке он там. А ещё - на амазоновское облако (которое amazon cloud, не s3), допустим, это вообще единственный плюс-минус вмеяемый клиент.
> Да где ж вы такие берётесь. В коробке он там. А ещё
> - на амазоновское облако (которое amazon cloud, не s3), допустим, это
> вообще единственный плюс-минус вмеяемый клиент.А зачем вообще пользоваться какими-то амазоновскими облаками для которых нормальных клиентов нет и не работают нормальные утилиты?
1) До 18 декабря там был безлимит $60/год. Да и сейчас при ряде условий это выгодно. Клиент у них есть, но на кой мне проприетарный клиент? А этот я даже правил под свои чуток экзотические задачи, даром что Go не знаю - сишно-плюсовых аналогий хватило.
2) И, собственно, ничего особо ненормального в этой штуке я не вижу. Вполне приличный комбайн.
> 1) До 18 декабря там был безлимит $60/год. Да и сейчас при
> ряде условий это выгодно.Ах, оказывается, это была всего лишь замануха, анлим оказался не совсем анлимным, а карета становится тыквой в полночь 18 декабря.
> мне проприетарный клиент? А этот я даже правил под свои чуток
> экзотические задачи, даром что Go не знаю - сишно-плюсовых аналогий хватило.Делать народу не...й - клиенты под черти-какие протоколы править. И халява получается какая-то условная, потому что с какого рожна время програмера бесплатное?
> 2) И, собственно, ничего особо ненормального в этой штуке я не вижу.
> Вполне приличный комбайн.Да просто какой-то #$%нутый хипстерский подход: сперва создать себе 20 дурных проблем, потом с героическими визгами их решать.
Анлим держался два года, о его прекращении с НГ Амазон оповестил в июле. Соответственно, два года у меня не было никаких проблем с бэкапом всего барахла (где-то 4 терабайта). в течение полугода после отказа от их услуг я могу выкачивать данные, но не могу заливать. Времени для миграции - вагон. Но вы, конечно, можете возмущаться дальше вместо использования плюшек когда они есть.Кто не хочет - не правит. собственно, большинству нужды не было. Мне пришлось, потому что часть файлов имела имена длиной больше 65000 байт (сами имена адовые + шифрование их удлинняет). Нормальный опенсорсный подход - тот, у кого экзотические проблемы, их решает сам. Скорее всего, мне придётся что-то колдовать в этом плане, куда бы я не бэкапился. Чисто теоретически можно, конечно, считать, что за это время можно было бы что-то нафрилансить. На практике - из этой пары часов я бы больше возился с регистрацией и переговорами с заказчиком. На фиг не нужно.
Чужие проблемы без знания конкретных условий некоторым кажутся дурными. С опытом проходит.
Что такого есть в rclone, чего нет в rsync?
так ради этого все и затевается. радужные таблицы давно сгенерированы...
вам надо просто "доверить"(профукать) свои данные облачному оператору...
> Что такого есть в rclone, чего нет в rsync?Синкани-ка мне на s3 или b2 rsync-ом.
Ну и сделали бы коммит в rsync. Зачем новые сущности плодить?
Ну как, хипстерский ЯП и поддержка всякой вендорлокнутой гадости в которую вляпались убогие.
Берётся три разных "вендорлокнытых гадости". бесплатных, коих в списке поддерживаемых половина или больше. Бэкапится туда самое ценное - в шифрованном виде, разумеется - практически идентчиными командами. Спится после этого куда как спокойнее.А язык... Да и хрен бы с ним, не страшнее (и не лучше) питона, практически с любым бэкграундом правится тривиально. Что ещё надо?
Любитель проприетарщины должен страдать.
Ну и где ты тут любовь к проприетарщине увидел?
> Ну и где ты тут любовь к проприетарщине увидел?Наверное в черти-каких сервсисах с левыми протоколами, где хренсгары решает что для тебя удобно и не грохнуть ли вообще твои бэкапы вместе с аккаунтом.
И? Шансы на то, что три независимых сервиса одновременно прибьют мои аккаунты близки к нулю. А с протоколами (вполне публично доступными, кстати) авторы rclone разбираются, и вполне успешно.
поехавший принтер может прибить доступ к твоим аккаунтам каждую минуту
Может. Но не ко всем, не всегда и не отовсюду. И крайне маловероятно, что это совпадёт со смертью основной машины и местного бэкапа. В общем, как домашнее решение - очень живой вариант. А на большее я и не претендую.
> Может. Но не ко всем, не всегда и не отовсюду.Проблема в том что все это надо будет караулить. Иначе в время X окажется что бэкапы давно превратились в тыкву.
> И крайне маловероятно, что это совпадёт со смертью основной машины и местного бэкапа.
Зато это придется или мониторить на предмет живости аккаунтов и работы чужих протоколов, или потом будет мучительно больно. Т.е. надо еще половину энтерпрайзного мониторинга поднять, при том ремотный сервер на этот счет некооперативен и придется самому как-то извращаться косвенными способами.
> В общем, как домашнее решение - очень живой вариант. А на
> большее я и не претендую.Не, конечно прикольно следить не посадили ли Кима Доткома и все такое. Но это какой-то канительный вариант.
Не смеши, всё это мониторится попыткой получения списка файлов с помощью того же rclone и отсылкой письма если что не так. Ну и сама неуспешная поппытка бэкапа, разумеется.
А зачем бэкапаться на три вендорлокнутых гадости? У тебя своих дисков и серверов для бэкапа нет, чтоли, чтобы юзать любой удобный протокол? Или тебе приципиально хочется взять что-нибудь максимально кривое, чтобы потом гадать вообще выкачается ли после кучи мытарств бэкап и не сломают ли хипстеры протокол и плагин?А что надо? Не, вот знаешь, если надо раскатать бэкап, последнее что при этом надо - так это за хипстерами код править. Надо наверное решение которое не сломается в ответственный момент и не оставит без бэкапа. А вот простота его правки при этом - дело хренадцатое, с любым бэкграундом.
> своих дисков"свои диски" не менее вендорлокнутые гадости, сохранность данных на которых никто не гарантирует. Не надо лицемерия. Именно шифрование позволяет использовать хоть стену твоего туалета для хранения данных третьих лиц без проблем с безопасностью.
> "свои диски" не менее вендорлокнутые гадости, сохранность данных на которых никто не
> гарантирует. Не надо лицемерия. Именно шифрование позволяет использовать хоть стену твоего
> туалета для хранения данных третьих лиц без проблем с безопасностью.Свои диски не заблокируют аккаунт и не сменят протокол. А вероятность их отказа ... ээ ... а что, есть добрые волшебники, которые хранят чужие терабайты годами и даже обязуются их не терять, и все это бесплатно?
А кто говорил о бесплатных терабайтах? Только "самого нужного" я, пожалуй, и на 10 гиг не наберу. А уж в таких объёмах бесплатного места - валом. А гарантии их как раз потому и нафиг не нужны, что есть автоматические тулзы, которые сами всё загрузят в несколько хранилищ, проверят и в случае чего - маякнут о проблемах. Большая часть того, что rclone поддерживает, работает не первый год, так что интервал получится неслабый.
Откуда у меня дома три географически распредделённых системы бэкапов возьмутся, да ещё и на халяву?И существует эта штука, если ты не знал, не первый день, без особых эксцессов. Но если вдруг начудят - возьму старую версию, делов то.
И если возможность правки кода не нужна - какое тебе дело, на чём оно написано?
> Откуда у меня дома три географически распредделённых системы бэкапов возьмутся, да ещё и на халяву?Догадайся. Хотя для недогадливых - не возьмутся.
> И существует эта штука, если ты не знал, не первый день, без
> особых эксцессов. Но если вдруг начудят - возьму старую версию, делов то.Старая версия не обязана работать с новым модным протоколом внедренным по желанию левой пятки.
> И если возможность правки кода не нужна - какое тебе дело, на чём оно написано?
Мне скорее дело до того чтобы иметь возможность вынуть бэкап. Желательно предсказуемо и без постоянного окарауливания - не заблочат ли мне аккаунт или не сменят ли протокол. Да и сколько времени эти "добродетели" готовы хранить данные и в каком объеме?
Ну так и вынешь, какие проблемы? Ну не сломается доступ ко всем трём облакам одновременно. Не говоря о том, что это бэкап надо понятной тулзой автоматом делать, вытащить можно и родным крап-софтом хоть даже и на винде - дело однократное и редкое.
> А зачем
> А что надо?
> Не, вот знаешь, если надо
> последнее что при этом надо
> Надо наверное
> а вот … дело хренадцатоеДа кто бы сомневался, что анонимный аноним знает, что, кому и как именно правильно надо…
> Надо наверное решение которое не сломается в ответственный момент и не оставит без бэкапа.
А подумать о том, что это может быть не основной бэкап, а лишь крайняя страховка (благо бесплатно) на случай наводнения, пожара, ЭМИ, обчищенной квартиры, нашествия тараканов и прочих форс-мажоров совсем никак?
Если что - это вообще подразумевается. Понятно, что бэкап на местную железку удобнее, так что облака - это на крайний случай.
Как одно исключает другое? У меня есть свои диски на трёх разных континентах, но это мне не мешает бэкапиться ещё и на проприетарные сервисы, раз уж есть халявный доступ.К слову сказать, когда меняли один из датацентров в Азии на другой, оказалось, что быстрее качать с Амазона из-за накладок с подключением в новом ДЦ. Сэкономил себе пару часов.
MEGA.nz планируют поддержать?