The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск утилиты для резервного копирования rclone 1.59"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от opennews (??), 10-Июл-22, 10:03 
Опубликован выпуск утилиты rclone 1.59, которая представляет собой аналог rsync, предназначенный для копирования и синхронизации данных между локальной системой и различными облачными хранилищами, такими как Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfiles, Google Cloud Storage, Mail.ru Cloud и Яндекс.Диск. Код проекта написан на языке Go и распространяется под лицензией MIT...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=57482

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Выпуск утилиты для резервного копирования rclone 1.59"  –11 +/
Сообщение от Аноним (1), 10-Июл-22, 10:03 
А чем rsync не устроил, если те же облака замонтировать как разделы?
Rclone нарушает unix-way
Ответить | Правка | Наверх | Cообщить модератору

2. "Выпуск утилиты для резервного копирования rclone 1.59"  +1 +/
Сообщение от Аноним (2), 10-Июл-22, 10:27 
А если облако невозможно замонтировать?
Ответить | Правка | Наверх | Cообщить модератору

3. "Выпуск утилиты для резервного копирования rclone 1.59"  +1 +/
Сообщение от Stanislavvv (?), 10-Июл-22, 10:31 
Как смонтировать яндекс.диск так, чтобы аплоадить файлы по несколько десятков мегабайт без боли и проприетарщины?
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

4. "Выпуск утилиты для резервного копирования rclone 1.59"  –3 +/
Сообщение от knike (?), 10-Июл-22, 10:35 
webdav же
Ответить | Правка | Наверх | Cообщить модератору

5. "Выпуск утилиты для резервного копирования rclone 1.59"  +1 +/
Сообщение от Аналним (?), 10-Июл-22, 10:48 
Ждем гайд
Ответить | Правка | Наверх | Cообщить модератору

6. "Выпуск утилиты для резервного копирования rclone 1.59"  +1 +/
Сообщение от Виктор Гогю (?), 10-Июл-22, 10:52 
У Яндекса нет WebDav, они его давно убрали
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

7. "Выпуск утилиты для резервного копирования rclone 1.59"  –1 +/
Сообщение от EuPhobos (ok), 10-Июл-22, 10:53 
https://yandex.ru/dev/disk/webdav/
Ответить | Правка | Наверх | Cообщить модератору

11. "Выпуск утилиты для резервного копирования rclone 1.59"  +3 +/
Сообщение от Container memory (?), 10-Июл-22, 11:45 
Сразу видно человека который рассуждает о том, чем не пользуется.
Яндекс несколько лет назад ограничили скорость по webdav до нескольких десятых мегабайтов в секунду. Можно ли это назвать "не отключили"? Ну может быть, если тебе нравится аплоадить файлы в 10 мегабайт за сутки.
Ответить | Правка | Наверх | Cообщить модератору

20. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от жявамэн (ok), 10-Июл-22, 12:31 
Они и на платных тарифах вебдав урезали псы.
Потому только майлру. Для заливки зашифрованых бацкупов
Ответить | Правка | Наверх | Cообщить модератору

34. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (-), 10-Июл-22, 13:34 
Вроде и на г диске также я лет 3-5 назад загрузил как тест на их диск 2гб с скортью 100 мбит за пару минут и скачал за паруминут видимо им поплохело и быльше 100 я не увидел. Я г диском не пользуюсь для файлов, но почта в размер диска вхит письма. Перепроверять надо давно было и я проверяял пару раз один раз 100 и через пару дней ещё раз уже неприемлемо было низкая скорость. Больше на использовал диск как загрузил, скачал файлы. Оно и понятно некакх хранилищ не хватит если всем и на большой скорости дать использовать.
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

36. "Выпуск утилиты для резервного копирования rclone 1.59"  –1 +/
Сообщение от Аноним (-), 10-Июл-22, 13:36 
вхит - входит
Ответить | Правка | Наверх | Cообщить модератору

57. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (-), 10-Июл-22, 16:10 
Я думаю ты не прав: вхит - это не входит, а выходит.
Ответить | Правка | Наверх | Cообщить модератору

62. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Онаним (?), 10-Июл-22, 17:15 
Вхит - это втоп.
Ответить | Правка | Наверх | Cообщить модератору

67. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Михрютка (ok), 10-Июл-22, 19:21 
коллеги, это одному мне кажется, что вообще пользоваться облачными сервисами яндекса - это приблизительно как хостить видео на рутубе?
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

71. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (71), 10-Июл-22, 19:25 
Рутуб, ютуб, гугель, яндекс - сорта этогосамого.
Ответить | Правка | Наверх | Cообщить модератору

74. "Выпуск утилиты для резервного копирования rclone 1.59"  –5 +/
Сообщение от Михрютка (ok), 10-Июл-22, 19:38 
ну некоторые почему-то думают, что если этосамое свое, родное - то оно и не пахнет, и его можно деревянной хохломской ложкой наворачивать за обе щеки.
Ответить | Правка | Наверх | Cообщить модератору

75. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (75), 10-Июл-22, 20:00 
Нет, урезали скорость - это, видимо, позже. Это ещё нормально. А перед этим, они попросту сломали протокол. Типа "WebDav" работал только с их закрытым клиентом, а открытые решения зависали по таймаутам.
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

14. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (14), 10-Июл-22, 12:09 
Никак. И rclone в этом не поможет.
Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

10. "Выпуск утилиты для резервного копирования rclone 1.59"  +2 +/
Сообщение от Аноним (10), 10-Июл-22, 11:19 
Тогда пользуйся рсинком и наслаждайся своим юниксвеем, вантузятник.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

22. "Выпуск утилиты для резервного копирования rclone 1.59"  +29 +/
Сообщение от freehckemail (ok), 10-Июл-22, 12:33 
> Rclone нарушает unix-way

Не нарушает. В rsync нет нативного бэкенда для синхронизации с S3, а rclone именно под него заточен.

> А чем rsync не устроил, если те же облака замонтировать как разделы?

Суть не в rsync, а скорее в том, что s3 нельзя представить в виде полноценной файловой системы. В частности, вы не можете записать или прочитать файл частично. Потому можете забыть про флаг -no-W, например: передача дельт работать не будет. А она кстати включена по умолчанию, когда источник с таргетом у rsync-а локальные. И когда вы монтируете, у вас все пути именно такими и будут: rsync-у не ведомо, что по одному из путей -- сетевая фс.

Плюс к тому, если вы смонтируете s3-бакет и попытаетесь с ним работать при помощи rsync, всплывёт куча удивляющих вещей. Например, многие не знают, что при синхронизации файла rsync по умолчанию создаёт part-файл, куда и ведёт загрузку новой версии, а когда завершит, перемещает part-файл по целевому пути. В случае с s3 это приведёт к двум загрузкам одного и того же файла (и ещё, кажется, одной выгрузке).

И это ещё не все нюансы. Оно конечно всё фиксится флагами rsync-а, но их целая куча, и их ещё пойди подбери, плюс тебе ещё надо монтировать s3fs через fuse... Очень много телодвижений, прям беда: за всем этим нужно следить, и ошибиться проще некуда. А rclone взял, указал источник с таргетом -- и всё. В общем, специализированный инструмент тут как раз надёжнее. К тому же он неплохо параллелится.

А облачный s3 штука нужная и востребованная, так что никуда от него не деться: это же фактически бесконечное хранилище, где вы платите только за занятое место. Плюс к тому, есть очень много кейсов, когда функции ФС в полной мере не нужны: любое хранилище артефактов например. Вам нужно много места, вам нужно туда загружать файлы целиком, и точно также выгружать их оттуда целиком. Собственно, s3 для того и создавался.

PS: суть этого поста не в "rclone хорош" (я сам пользуюсь s3cmd sync); Суть в том, что "rsync для s3 не удобен".

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

49. "Выпуск утилиты для резервного копирования rclone 1.59"  +5 +/
Сообщение от Ононимдва (?), 10-Июл-22, 15:14 
Хоспидяй, адекватный чувак на опеннете, которому не влом все по полочкам разложить.
Респект и уважуха. (без сарказма)
Ответить | Правка | Наверх | Cообщить модератору

52. "Выпуск утилиты для резервного копирования rclone 1.59"  +3 +/
Сообщение от Аноним (52), 10-Июл-22, 16:04 
Он просто притворяется, а на самом деле он такой же как и все тут.  
Ответить | Правка | Наверх | Cообщить модератору

79. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (79), 11-Июл-22, 03:36 
Кстати да, довольно часто троллит людей, на личности переходит и т.п. Но бывают и хорошие посты, вот как этот.
Ответить | Правка | Наверх | Cообщить модератору

60. "Выпуск утилиты для резервного копирования rclone 1.59"  –3 +/
Сообщение от Онаним (?), 10-Июл-22, 17:13 
"это же фактически бесконечное хранилище"
Законы физики немножечко против.
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

76. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Михрютка (ok), 10-Июл-22, 20:06 
> PS: суть этого поста не в "rclone хорош" (я сам пользуюсь s3cmd sync); Суть в том, что "rsync для s3 не удобен".

тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.

это приблизительно как на нетаппах вафельных серий разворачивать vmfs. не, оно будет работать. но будет работать так плохо и так печально...

Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

88. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (71), 12-Июл-22, 12:21 
> тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.

Скажите это разработчикам ceph, у которых блочное хранилище и ФС строятся поверх объектного хранилища.

Ответить | Правка | Наверх | Cообщить модератору

90. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Михрютка (ok), 12-Июл-22, 21:22 
>> тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.
> Скажите это разработчикам ceph, у которых блочное хранилище и ФС строятся поверх
> объектного хранилища.

на проксмоксовых форумах им ето говорит практически любой, кто сдуру задеплоился на ceph-based хранилище.

и про скорости записи, и про латентность.

толку-то.

я вообще старый пень, как только в разговорах с заказчиком слышу "мы планируем использовать ceph хранилище" или "необходима поддержка ceph хранилища", сразу быстренько извиняюсь и заканчиваю разговор.

Ответить | Правка | Наверх | Cообщить модератору

93. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от freehckemail (ok), 12-Окт-22, 21:29 
> не следует сувать блочне данне в объектное хранилище

Не согласен.

Если рассматривать один блок ФС за объект, то всё должно быть нормально, особенно с учётом того, что jumbo-фреймы ethernet-а позволяют спокойно передавать дейтаграммы размером до 8К.

Ответить | Правка | К родителю #76 | Наверх | Cообщить модератору

78. "Выпуск утилиты для резервного копирования rclone 1.59"  –1 +/
Сообщение от microsoft (?), 10-Июл-22, 23:09 
Ууух, s3 хорошо тебе промыли голову.
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

81. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от анонимз (?), 11-Июл-22, 07:40 
"А облачный s3 штука нужная и востребованная, так что никуда от него не деться" именно. хотя Amazon намного большее зло чем Microsoft, но избавиться от них труднее
Ответить | Правка | К родителю #22 | Наверх | Cообщить модератору

82. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от 1 (??), 11-Июл-22, 10:32 
Чем больше зло - тем труднее избавляться
Ответить | Правка | Наверх | Cообщить модератору

28. "Выпуск утилиты для резервного копирования rclone 1.59"  +1 +/
Сообщение от Аноним (28), 10-Июл-22, 13:00 
А чем casync не устроил, если те же облака замонтировать как разделы?
Rsync нарушает unix-way
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

37. "Выпуск утилиты для резервного копирования rclone 1.59"  –6 +/
Сообщение от Онаним (?), 10-Июл-22, 14:03 
Ну оно же на игогошечке.
Штобыбыло, почесать чсв, наспех склеив 100500 лефтпадов.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

40. "Выпуск утилиты для резервного копирования rclone 1.59"  +1 +/
Сообщение от Аноним (71), 10-Июл-22, 14:22 
Кстати, а вы Java от JavaScript отличаете?
Ответить | Правка | Наверх | Cообщить модератору

46. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (1), 10-Июл-22, 14:33 
А в чем разница? И там и там интерпретируемые языки. И там и там репозиторий вредоносных пакетов. И там и там пишут монкей
Ответить | Правка | Наверх | Cообщить модератору

56. "Выпуск утилиты для резервного копирования rclone 1.59"  +6 +/
Сообщение от Аноним (56), 10-Июл-22, 16:09 
На Java пишут interprise monkeys
Ответить | Правка | Наверх | Cообщить модератору

80. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (79), 11-Июл-22, 03:39 
А interprise - это типа международный приз?
Ответить | Правка | Наверх | Cообщить модератору

59. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Онаним (?), 10-Июл-22, 17:09 
А вы Java от ECMAScript?
Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

65. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (71), 10-Июл-22, 19:18 
Остроумно, интеллектуально. Хвалю.
Ответить | Правка | Наверх | Cообщить модератору

91. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от pfg21 (ok), 12-Июл-22, 23:50 
rclone работает напрямую с облаком и к примеру может запросить хеш файла из облака в том формате который используется в облаке и сравнить его с посчитанным хешом локального файла.  
рсинк для подсчета хеша файла, должен его будет полностью скачать и посчитать хеш.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

8. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от pashev.ru (?), 10-Июл-22, 11:02 
rdiff-backup и зашифрованный диск — мой выбор.
Ответить | Правка | Наверх | Cообщить модератору

16. "Выпуск утилиты для резервного копирования rclone 1.59"  –3 +/
Сообщение от Аноним (16), 10-Июл-22, 12:16 
Бэкапилка на питоне - может проще сразу сделать dd из /dev/urandom?
Ответить | Правка | Наверх | Cообщить модератору

47. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (1), 10-Июл-22, 14:37 
Хорошо хоть не на джава со встроенным лефтпадом
Ответить | Правка | Наверх | Cообщить модератору

68. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (71), 10-Июл-22, 19:21 
А лефтпад разве не эксклюзивно сишная фича?
Ответить | Правка | Наверх | Cообщить модератору

35. "Выпуск утилиты для резервного копирования rclone 1.59"  +2 +/
Сообщение от Аноним (35), 10-Июл-22, 13:35 
Видимо и быстрее и надежнее будет попробовать zfs send/receive с шифрованными датасетами
Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

12. "Выпуск утилиты для резервного копирования rclone 1.59"  –4 +/
Сообщение от Аноним (12), 10-Июл-22, 11:59 
>> Добавлены бэкенды для хранения

Ясно понятно добавили новые бекдоры.  

Ответить | Правка | Наверх | Cообщить модератору

19. "Выпуск утилиты для резервного копирования rclone 1.59"  +2 +/
Сообщение от Аноним (-), 10-Июл-22, 12:22 
А ты чем пользуешься? CTRL-C, CTRL-V? :D
Ответить | Правка | Наверх | Cообщить модератору

24. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (24), 10-Июл-22, 12:36 
А ты пользуешься новыми бекдорами?
Ответить | Правка | Наверх | Cообщить модератору

27. "Выпуск утилиты для резервного копирования rclone 1.59"  +2 +/
Сообщение от Shevchuk (ok), 10-Июл-22, 12:42 
Годно, нужно.
В комментах опять половина теоретики и луддиты, рукалицо.
Ответить | Правка | Наверх | Cообщить модератору

43. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (71), 10-Июл-22, 14:28 
Просто далёкие от IT люди, который однажды поставили Void на виртуалку вмвари под виндой и теперь дофига одмины-линуксоиды :)
Ответить | Правка | Наверх | Cообщить модератору

50. "Выпуск утилиты для резервного копирования rclone 1.59"  –1 +/
Сообщение от Аноним (50), 10-Июл-22, 15:17 
А ты используешь надёжное шифрование перед заливкой данных дяде в "облака"? Если нет - то ты в сто раз хуже этих "теоретиков и луддитов".
Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

55. "Выпуск утилиты для резервного копирования rclone 1.59"  –1 +/
Сообщение от Аноним (52), 10-Июл-22, 16:07 
Да это очередной комментатор из разряда. У меня нет антивируса, значит нет вируса. Ни один майор ко мне не приходил, значит мои данные в корповом облаке полностью защищены.  

Как вообще перестать с таких орать?

Ответить | Правка | Наверх | Cообщить модератору

89. "Выпуск утилиты для резервного копирования rclone 1.59"  +1 +/
Сообщение от Аноним (71), 12-Июл-22, 12:26 
А как перестать орать с админов мамкиного борща, у которых единственное возможное использование rclone - заливать супер-секретные фоточки своих котиков к дяде в облако?

У взрослых дядек собственные s3-совместимых хранилища (minio или ceph) используются для серьезных задач — хранить загружаемый контент, WAL-ы для БД, логи (boltdb-shipper).
И чтобы бэкапить оттуда данные на обычную дисковую полку — rclone подходит отлично.

Ответить | Правка | Наверх | Cообщить модератору

77. "Выпуск утилиты для резервного копирования rclone 1.59"  +1 +/
Сообщение от Аноним (77), 10-Июл-22, 21:31 
В rclone всё замечательно шифрует.
Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

84. "Выпуск утилиты для резервного копирования rclone 1.59"  +1 +/
Сообщение от Вы забыли заполнить поле Name (?), 11-Июл-22, 18:19 
А ты не используешь надёжное шифрование для локальных данных?
Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

83. "Выпуск утилиты для резервного копирования rclone 1.59"  +/
Сообщение от Аноним (83), 11-Июл-22, 18:00 
Чем оно лучше borg или restic?
Ответить | Правка | Наверх | Cообщить модератору

85. "Выпуск утилиты для резервного копирования rclone 1.59"  +1 +/
Сообщение от Alex (??), 11-Июл-22, 23:38 
Это бэкенд к сервисам, а restic - это типа Git для бэкапов. Сам пестик всего что Rclone умеет сам не может, но может через Rclone. А Rclone только создавать и удалять в клубах может, версионность не может.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру