Опубликован выпуск утилиты rclone 1.59, которая представляет собой аналог rsync, предназначенный для копирования и синхронизации данных между локальной системой и различными облачными хранилищами, такими как Google Drive, Amazon Drive, S3, Dropbox, Backblaze B2, One Drive, Swift, Hubic, Cloudfiles, Google Cloud Storage, Mail.ru Cloud и Яндекс.Диск. Код проекта написан на языке Go и распространяется под лицензией MIT...Подробнее: https://www.opennet.me/opennews/art.shtml?num=57482
А чем rsync не устроил, если те же облака замонтировать как разделы?
Rclone нарушает unix-way
А если облако невозможно замонтировать?
Как смонтировать яндекс.диск так, чтобы аплоадить файлы по несколько десятков мегабайт без боли и проприетарщины?
webdav же
Ждем гайд
У Яндекса нет WebDav, они его давно убрали
https://yandex.ru/dev/disk/webdav/
Сразу видно человека который рассуждает о том, чем не пользуется.
Яндекс несколько лет назад ограничили скорость по webdav до нескольких десятых мегабайтов в секунду. Можно ли это назвать "не отключили"? Ну может быть, если тебе нравится аплоадить файлы в 10 мегабайт за сутки.
Они и на платных тарифах вебдав урезали псы.
Потому только майлру. Для заливки зашифрованых бацкупов
Вроде и на г диске также я лет 3-5 назад загрузил как тест на их диск 2гб с скортью 100 мбит за пару минут и скачал за паруминут видимо им поплохело и быльше 100 я не увидел. Я г диском не пользуюсь для файлов, но почта в размер диска вхит письма. Перепроверять надо давно было и я проверяял пару раз один раз 100 и через пару дней ещё раз уже неприемлемо было низкая скорость. Больше на использовал диск как загрузил, скачал файлы. Оно и понятно некакх хранилищ не хватит если всем и на большой скорости дать использовать.
вхит - входит
Я думаю ты не прав: вхит - это не входит, а выходит.
Вхит - это втоп.
коллеги, это одному мне кажется, что вообще пользоваться облачными сервисами яндекса - это приблизительно как хостить видео на рутубе?
Рутуб, ютуб, гугель, яндекс - сорта этогосамого.
ну некоторые почему-то думают, что если этосамое свое, родное - то оно и не пахнет, и его можно деревянной хохломской ложкой наворачивать за обе щеки.
Нет, урезали скорость - это, видимо, позже. Это ещё нормально. А перед этим, они попросту сломали протокол. Типа "WebDav" работал только с их закрытым клиентом, а открытые решения зависали по таймаутам.
Никак. И rclone в этом не поможет.
Тогда пользуйся рсинком и наслаждайся своим юниксвеем, вантузятник.
> Rclone нарушает unix-wayНе нарушает. В rsync нет нативного бэкенда для синхронизации с S3, а rclone именно под него заточен.
> А чем rsync не устроил, если те же облака замонтировать как разделы?
Суть не в rsync, а скорее в том, что s3 нельзя представить в виде полноценной файловой системы. В частности, вы не можете записать или прочитать файл частично. Потому можете забыть про флаг -no-W, например: передача дельт работать не будет. А она кстати включена по умолчанию, когда источник с таргетом у rsync-а локальные. И когда вы монтируете, у вас все пути именно такими и будут: rsync-у не ведомо, что по одному из путей -- сетевая фс.
Плюс к тому, если вы смонтируете s3-бакет и попытаетесь с ним работать при помощи rsync, всплывёт куча удивляющих вещей. Например, многие не знают, что при синхронизации файла rsync по умолчанию создаёт part-файл, куда и ведёт загрузку новой версии, а когда завершит, перемещает part-файл по целевому пути. В случае с s3 это приведёт к двум загрузкам одного и того же файла (и ещё, кажется, одной выгрузке).
И это ещё не все нюансы. Оно конечно всё фиксится флагами rsync-а, но их целая куча, и их ещё пойди подбери, плюс тебе ещё надо монтировать s3fs через fuse... Очень много телодвижений, прям беда: за всем этим нужно следить, и ошибиться проще некуда. А rclone взял, указал источник с таргетом -- и всё. В общем, специализированный инструмент тут как раз надёжнее. К тому же он неплохо параллелится.
А облачный s3 штука нужная и востребованная, так что никуда от него не деться: это же фактически бесконечное хранилище, где вы платите только за занятое место. Плюс к тому, есть очень много кейсов, когда функции ФС в полной мере не нужны: любое хранилище артефактов например. Вам нужно много места, вам нужно туда загружать файлы целиком, и точно также выгружать их оттуда целиком. Собственно, s3 для того и создавался.
PS: суть этого поста не в "rclone хорош" (я сам пользуюсь s3cmd sync); Суть в том, что "rsync для s3 не удобен".
Хоспидяй, адекватный чувак на опеннете, которому не влом все по полочкам разложить.
Респект и уважуха. (без сарказма)
Он просто притворяется, а на самом деле он такой же как и все тут.
Кстати да, довольно часто троллит людей, на личности переходит и т.п. Но бывают и хорошие посты, вот как этот.
"это же фактически бесконечное хранилище"
Законы физики немножечко против.
> PS: суть этого поста не в "rclone хорош" (я сам пользуюсь s3cmd sync); Суть в том, что "rsync для s3 не удобен".тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.
это приблизительно как на нетаппах вафельных серий разворачивать vmfs. не, оно будет работать. но будет работать так плохо и так печально...
> тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.Скажите это разработчикам ceph, у которых блочное хранилище и ФС строятся поверх объектного хранилища.
>> тарщ капитан, я так тож умею, например: не следует сувать блочне данне в объектное хранилище.
> Скажите это разработчикам ceph, у которых блочное хранилище и ФС строятся поверх
> объектного хранилища.на проксмоксовых форумах им ето говорит практически любой, кто сдуру задеплоился на ceph-based хранилище.
и про скорости записи, и про латентность.
толку-то.
я вообще старый пень, как только в разговорах с заказчиком слышу "мы планируем использовать ceph хранилище" или "необходима поддержка ceph хранилища", сразу быстренько извиняюсь и заканчиваю разговор.
> не следует сувать блочне данне в объектное хранилищеНе согласен.
Если рассматривать один блок ФС за объект, то всё должно быть нормально, особенно с учётом того, что jumbo-фреймы ethernet-а позволяют спокойно передавать дейтаграммы размером до 8К.
Ууух, s3 хорошо тебе промыли голову.
"А облачный s3 штука нужная и востребованная, так что никуда от него не деться" именно. хотя Amazon намного большее зло чем Microsoft, но избавиться от них труднее
Чем больше зло - тем труднее избавляться
А чем casync не устроил, если те же облака замонтировать как разделы?
Rsync нарушает unix-way
Ну оно же на игогошечке.
Штобыбыло, почесать чсв, наспех склеив 100500 лефтпадов.
Кстати, а вы Java от JavaScript отличаете?
А в чем разница? И там и там интерпретируемые языки. И там и там репозиторий вредоносных пакетов. И там и там пишут монкей
На Java пишут interprise monkeys
А interprise - это типа международный приз?
А вы Java от ECMAScript?
Остроумно, интеллектуально. Хвалю.
rclone работает напрямую с облаком и к примеру может запросить хеш файла из облака в том формате который используется в облаке и сравнить его с посчитанным хешом локального файла.
рсинк для подсчета хеша файла, должен его будет полностью скачать и посчитать хеш.
rdiff-backup и зашифрованный диск — мой выбор.
Бэкапилка на питоне - может проще сразу сделать dd из /dev/urandom?
Хорошо хоть не на джава со встроенным лефтпадом
А лефтпад разве не эксклюзивно сишная фича?
Видимо и быстрее и надежнее будет попробовать zfs send/receive с шифрованными датасетами
>> Добавлены бэкенды для храненияЯсно понятно добавили новые бекдоры.
А ты чем пользуешься? CTRL-C, CTRL-V? :D
А ты пользуешься новыми бекдорами?
Годно, нужно.
В комментах опять половина теоретики и луддиты, рукалицо.
Просто далёкие от IT люди, который однажды поставили Void на виртуалку вмвари под виндой и теперь дофига одмины-линуксоиды :)
А ты используешь надёжное шифрование перед заливкой данных дяде в "облака"? Если нет - то ты в сто раз хуже этих "теоретиков и луддитов".
Да это очередной комментатор из разряда. У меня нет антивируса, значит нет вируса. Ни один майор ко мне не приходил, значит мои данные в корповом облаке полностью защищены.Как вообще перестать с таких орать?
А как перестать орать с админов мамкиного борща, у которых единственное возможное использование rclone - заливать супер-секретные фоточки своих котиков к дяде в облако?У взрослых дядек собственные s3-совместимых хранилища (minio или ceph) используются для серьезных задач — хранить загружаемый контент, WAL-ы для БД, логи (boltdb-shipper).
И чтобы бэкапить оттуда данные на обычную дисковую полку — rclone подходит отлично.
В rclone всё замечательно шифрует.
А ты не используешь надёжное шифрование для локальных данных?
Чем оно лучше borg или restic?
Это бэкенд к сервисам, а restic - это типа Git для бэкапов. Сам пестик всего что Rclone умеет сам не может, но может через Rclone. А Rclone только создавать и удалять в клубах может, версионность не может.