Анонсирован (http://www.skylable.com/2014/04/libres3-released/) первый выпуск проекта LibreS3 (http://www.skylable.com/products/libres3/release/0-1/), в рамках которого развивается открытая реализация облачного сервиса хранения Amazon S3 (http://ru.wikipedia.org/wiki/Amazon_S3). LibreS3 позволяет развернуть на своих серверах сервис хранения данных, полностью совместимый (https://wiki.skylable.com/wiki/Main_Page) с клиентскими библиотеками для Amazon S3 и построенными на их основе инструментами, такими как python-boto, s3cmd и DragonDisk. Исходные тексты LibreS3 написаны на языках Си и OCaml, код распространяется (http://gitweb.skylable.com/gitweb/?p=sx.git;a=tree) под лицензией GPLv2 (библиотеки под LGPL). Платформа может быть использована в Linux, OS X и различных BSD-системах.Стоит отметить, что проект развивается командой разработчиков, в своё время покинувших (http://www.opennet.me/opennews/art.shtml?num=34141) проект ClamAV для развития своих новых идей. Среди разработчиков Skylable числятся (http://www.skylable.com/contact/) Томаш Койм (Tomasz Kojm), основатель свободного антивирусного пакета ClamAV, и ещё три разработчика, стоящих у истоков проекта.
Для организации хранения данных на группе серверов применяется распределённое кластерное хранилище Skylable Sx, первый выпуск которого представлен (http://www.skylable.com/2014/04/skylable-sx-beta-released/) одновременно с LibreS3. Skylable Sx также является свободным проектом и берёт на себя выполнение задач по репликации данных между узлами и дедупликации идентичных данных на разных узлах кластера. Skylable Sx позволяет объединить в единое виртуальное хранилище дисковое пространство с нескольких серверов. Для обеспечения отказоустойчивости и сохранности информации наборы данных реплицируются на несколько разных серверов. Число копий, которые будут храниться на разных серверах, определяются администратором при конфигурации системы.
Для защиты данных применяется техника шифрования на стороне клиента, при которой на серверы системы информация поступает уже в зашифрованном виде, что исключает перехват данных в случае получения спецслужб или злоумышленников к серверам хранения. Кроме того, опционально может быть использовано шифрование разделов на серверах, но в этом случае теряется эффективность от использования дедупликации. Обмен данными между клиентом и сервером и между узлами шифруется с использованием HTTPS. Для экономии дискового пространства используется сжатие данных на лету.Skylable Sx состоит из следующих компонентов:
- sxhttpd - демон, обслуживающий запросы по протоколу HTTP, используемому как для обращения клиентов, так и для взаимодействия узлов хранения.
- sx.fcgi - работающий с использованием FastCGI процесс, непосредственно обрабатывающий запросы и распределяющий их среди дочерних процессов-обработчиков:- Менеджер выполнения работ - планирует передачу блоков данных и выполняет команды администрирования);
- Менеджер передачи блоков данных - передаёт данные между узлами хранения и отдаёт данные клиентам;
- Сборщик мусора - выполняет поиск и чистку блоков данных, потерявших актуальность или не связанных с файлами.
<center><iframe width="640" height="360" src="//www.youtube.com/embed/j9okrCYAsFQ?rel=0" frameborder="0" allowfullscreen></iframe></center>URL: http://www.skylable.com/2014/04/libres3-released/
Новость: http://www.opennet.me/opennews/art.shtml?num=39691
Не понял - какая дедупликация, если каждый шифрует данные на своей стороне со своим собственным ключом? И какое вообще "сжатие на лету" для зашифрованных данных? Вроде как зашифрованное не жмётся в принципе?
> Вроде как зашифрованное не жмётся в принципе?С чего это вдруг?
> С чего это вдруг?Ну, вообще-то, Шнайер утверждает, что именно это свойство криптотекста является «маркером» для его поиска в потоке данных – берём поток, пытаемся компрессировать, если не компрессируется – пытаемся распаковать всеми известными нам архиваторами, не распаковывается => ciphertext.
А с математической точки зрения ciphertext не должен компрессироваться для закрытия known plaintext-атак: скажем, если взять DES в режиме Electronic Codebook, тогда ciphertext будет компрессироваться так же, как и исходный файл, но: почему это плохо, наглядно показано здесь: http://en.wikipedia.org/wiki/Electronic_codebook#Electronic_...
Шнайер не писал такой херни
Более того, можно зашифровать а потом избыточности добавить. Забавно, правда? :)
> С чего это вдруг?Чем лучше криптование, тем выше энтропия результирующего потока. Чем выше энтропия входного потока, тем ниже эффективность архивации. В случае максимальной энтропии входного потока эффективность компрессии равна нулю.
> Чем лучше криптование,По таким заявкам сразу видно эксперта в отрасли.
> тем выше энтропия результирующего потока.
Лишь один из критериев, не более. То-есть, если данные после шифрования поддаются отличению от случайных данных - алгоритм "совсем фуфло", завалится на статистическом анализе. Это просто один из начальных критериев отстрела совсем фуфельных алгоритмов, но о стойкости алгоритма мало чего говорит само по себе.
> эффективность компрессии равна нулю.
Это не значит что после шифрования нельзя добавить избыточности, которую получатель просто выбросит.
> С чего это вдруг?Из общей теории информации же. Шифрование - повышение энтропии. Сигнал с высокой энтропией компрессии не поддается.
> Вроде как зашифрованное не жмётся в принципе?Например, текст, зашифрованный шифром Цезаря, сожмется ровно так же, как и оригинал.
А, ну это да, тут не возразишь :D
> А, ну это да, тут не возразишь :DА как насчет такого варианта: шифруем нормальным шифром. Потом дублируем каждый символ 5 раз. На приемнике убиваем 4/5 символов. Да, зашифрованный текст распухнет в 5 раз но будет прекрасно жаться, до 5 раз примерно :)
Тот, кто говорил что плохая сжимаемость признак шифровки, скорее всего имел в виду, что это ОДИН ИЗ МНОГИХ признаков шифровки.
Для чего? Криптостойкость это не повысит, для устойчивости к потерям есть более вменяемые методы (вроде того же Рида-Соломона), размазать по другим данным (стеганография) - тоже не похоже. Специально раздуть массив данных ради возможности его сжать - это какое-то странное упражнение.
> Для чего?Для нагибания детектирования шифрования по сжимаемости, разумеется. А вы что подумали? :)
Велосипед изобрели. OpenStack и ceph уже давно умеют S3.
Построить что-то полезное в openstack слишком трудоёмко. Если недобор по кадрам, нереально.Здесь вот тоже конструктор, похоже.
Тыкали мы этот S3 поверх Swift из OpenStack - реализация не полная и для реальных web-проектов не достаточна, даже после применения дополнительных патчей.
Отличная новость! Ещё и лицензия правильная, да и выбор языков разработки приятен.
Где ссылка на гитхаб?
вот: http://github.com
Что вы, коллега, товарищ просит ссылку на новость на гитхабе.