The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Децентрализованное хранилище LF переведено на открытую лицензию

15.11.2021 10:17

Доступен выпуск LF 1.1.0, децентрализованного реплицируемого хранилища данных в формате ключ/значение. Проект развивается компанией ZeroTier, разрабатывающей виртуальный Ethernet-коммутатор, позволяющий объединить размещённые у разных провайдеров хосты и виртуальные машины в одной виртуальной локальной сети, участники которой обмениваются данными в режиме P2P. Код проекта написан на языке Си. Новый выпуск примечателен переходом на свободную лицензию MPL 2.0 (Mozilla Public License).

Ранее код LF был доступен под лицензией BSL (Business Source License), не являющуюся свободной из-за дискриминации отдельных категорий пользователей. Лицензия BSL была предложена сооснователями MySQL в качестве альтернативы модели Open Core. Суть BSL в том, что код расширенной функциональности изначально доступен для внесения изменений, но в течение какого-то времени может применяться бесплатно только при соблюдении дополнительных условий, для обхода которых требуется приобретение коммерческой лицензии.

LF является полностью децентрализованной системой и позволяет развернуть поверх произвольного числа узлов единое хранилище данных в формате ключ-значение. На всех узлах данные хранятся в синхронизированном состоянии, а все изменения полностью реплицируются между всеми узлами. Все узлы в LF равны между собой. Отсутствие отдельных узлов, координирующих работу хранилища, позволяет избавиться от единой точки отказа, а наличие полной копии данных на каждом узле исключает потерю информации при выходе из строя или отключении отдельных узлов.

Для подключения к сети нового узла не требуется получение отдельных полномочий - любой желающий может запустить свой узел. Модель данных в LF построена на основе ориентированного ациклического графа (DAG), упрощающего синхронизацию и позволяющего применять различные стратегии разрешения конфликтов и обеспечения безопасности. В отличие от систем на основе распределённых хэш-таблиц (DHT), архитектура LF изначально рассчитана на использование в ненадёжных сетях, постоянная доступность узлов в которых не гарантируется. В качестве областей применения LF упоминается создание максимально живучих систем хранения, в которых хранятся относительно небольшие объёмы критически важных данных, которые редко меняются. Например, LF подходит для хранилищ ключей, сертификатов, параметров идентификации, файлов конфигурации, хэшей и доменных имён.

Для защиты от перегрузки и злоупотреблений применяется ограничение интенсивности операций записи в общее хранилище, реализованное на основе доказательства выполнения работы (proof of work) - чтобы получить возможность сохранения данных участник сети хранения должен выполнить определённую задачу, которая легко проверяется, но требует больших ресурсов при вычислении (аналогично организации расширения систем на основе блокчейна и CRDT). Вычисленные значения также применяются в качестве признака при разрешении конфликтов.

В качестве альтернативы в сети может быть запущен удостоверяющий центр для выдачи участникам криптографических сертификатов, дающих право добавления записей без подтверждения работой и предоставляющих приоритет при разрешении конфликтов. По умолчанию хранилище доступно без ограничений для подключения любых участников, но опционально на основе системы сертификатов могут создаваться отгороженные приватные хранилища, участниками которых могут стать только узлы, заверенные владельцем сети.

Основные особенности LF:

  • Простота развёртывания своего хранилища и подключения к существующим публичным сетям хранения.
  • Отсутствие единой точки отказа и возможность вовлечения в поддержание хранилища всех желающих.
  • Высокая скорость доступа ко всем данным и возможность обращения к данным, остающимся на своём узле, даже после нарушения сетевой связности.
  • Универсальная модель безопасности, позволяющая комбинировать различные механизмы разрешения конфликтов (локальная эвристика, вес на основе совершённой работы, учёт уровня доверия других узлов, сертификаты).
  • Гибкий API для запроса данных, допускающий указание нескольких вложенных ключей или диапазонов значений. Возможность привязки нескольких значений к одному ключу.
  • Все данные хранятся в зашифрованном виде, включая ключи, и верифицируются. Система может использоваться для организации хранения конфиденциальных данных не заслуживающих доверия узлах. Записи, ключи к которым не известны, не могут быть определены методом перебора (не зная ключ невозможно получить связанные с ним данные).

Из ограничений отмечается ориентация на хранение небольших редко изменяющихся данных, отсутствие блокировок и гарантированной согласованности данных, высокие требования к CPU, памяти, дисковому пространству и пропускной способности, постоянное увеличение размера хранилища со временем.

  1. Главная ссылка к новости (https://github.com/zerotier/lf...)
  2. OpenNews: Выпуск глобальной децентрализованной файловой системы IPFS 0.9
  3. OpenNews: Первый публичный выпуск децентрализованной платформы совместной разработки Radicle
  4. OpenNews: Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4.0
  5. OpenNews: Выпуск ZeroNet 0.7, платформы для создания децентрализованных сайтов
  6. OpenNews: В libtorrent добавлена поддержка протокола WebTorrent
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/56155-lf
Ключевые слова: lf, zerotier
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (61) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.2, Аноним (2), 11:40, 15/11/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +8 +/
    Ещё одна победа СПО.
     
     
  • 2.13, Аноним (13), 12:19, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • –8 +/
    Это не победа СПО, а это использование СПО для создания открытой массы пользоват... большой текст свёрнут, показать
     
     
  • 3.25, Аноним (2), 13:23, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Да, но ничего не мешает сделать свободный форк версии продукта который был под свободной лицензией. Так что победа!
     
     
  • 4.37, Аноним (13), 16:51, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Да, но ничего не мешает сделать свободный форк версии продукта который был под свободной лицензией.

    Конечно можно, но без программистов развиваться он не будет.
    А чтобы платить программистам, нужен бизнес.

     
     
  • 5.40, Аноним (2), 17:04, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А как же альтруизм?
     
     
  • 6.41, YetAnotherOnanym (ok), 17:24, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Альтруизм - это хорошо. Я люблю, когда вокруг меня много альтруистов
     
  • 3.34, Crazy Alex (ok), 16:21, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    И кого вся эта конспирология (особенно п. 3) волнует? А вот приличное permissionless p2p-хранилище - это всегда хорошо
     
     
  • 4.39, Аноним (13), 16:54, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > И кого вся эта конспирология (особенно п. 3) волнует?

    Никто не говорит про конспирологию.  Речь про самые явные причины перевода продукта в СПО.

    > А вот приличное permissionless p2p-хранилище - это всегда хорошо

    Конечно хорошо.  Самое важное -- находиться среди выгодополучателей.

     
  • 3.76, Аноним (76), 06:14, 23/11/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Детокс

    1. Любой заинтересованный может улучшить проект
    2. Открытый способ разработки и СПО лицензии привлекает более серьезных разработчиков (Андройд это Линукс, а Линукс не Андройд)
    3. Ножом можно резать колбасу, но для статистики бытовых преступлений нож это орудие убийства

    Согласно утверждению Платона "Конец войны видели только мёртвые." мораль: СПО с нами навсегда. А как человечество им воспользуемся зависит только от человечества

     

  • 1.3, Аноним (3), 11:40, 15/11/2021 Скрыто ботом-модератором [﹢﹢﹢] [ · · · ]     [к модератору]
  • –5 +/
     
     
  • 2.6, A.Stahl (ok), 12:00, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • –12 +/
     
     
  • 3.46, Umata (?), 18:51, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 3.67, Аноним (-), 04:23, 16/11/2021 Скрыто ботом-модератором     [к модератору]
  • +10 +/
     
  • 2.7, 41 (?), 12:00, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +11 +/
     
     
  • 3.9, Аноним (9), 12:10, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • –1 +/
     
     
  • 4.10, 41 (?), 12:12, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +3 +/
     
     
  • 5.11, Аноним (11), 12:17, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • –1 +/
     
     
  • 6.14, 41 (?), 12:21, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • –2 +/
     
     
  • 7.15, Аноним (2), 12:30, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • –1 +/
     
  • 5.17, kusb (?), 12:39, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 6.26, Аноним (-), 13:36, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +3 +/
     
     
  • 7.30, Козявка (?), 15:05, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +5 +/
     
     
  • 8.43, Аноним (43), 18:19, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • –4 +/
     
     
  • 9.47, Аноним (-), 19:23, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • –2 +/
     
  • 9.50, Онаним (?), 21:39, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • –1 +/
     
     
  • 10.53, Онаним (?), 21:43, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 11.75, Козявка (?), 12:38, 17/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 10.56, Михрютка (ok), 22:35, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 10.58, Аноним (58), 22:38, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • –1 +/
     
  • 9.57, Аноним (58), 22:36, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 9.60, Аноним (58), 22:42, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 8.59, Аноним (58), 22:40, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • –2 +/
     
  • 5.61, Аноним (58), 22:49, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 6.62, Аноним (62), 23:15, 15/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 6.64, Аноним (58), 01:52, 16/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 6.65, Аноним (58), 01:53, 16/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 6.66, Аноним (58), 01:57, 16/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 7.70, Максим (??), 05:38, 16/11/2021 Скрыто ботом-модератором     [к модератору]
  • +/
     

     ....ответы скрыты (28)

  • 1.12, ryoken (ok), 12:18, 15/11/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    >> хранилище данных в формате ключ-значение

    Подскажите, это тоже, что и .ini-файл?

     
     
  • 2.16, Аноним (16), 12:31, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +/
    ini-файл - это централизованный вариант, а здесь - децентрализованный, а значит намного лучше!
     
     
  • 3.24, kusb (?), 13:15, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    ini файл с возможностью include по http и magnet...
     
  • 2.23, ИмяХ (?), 12:51, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Это тоже что Словарь (dict) в пайтоне
     
     
  • 3.28, 41 (?), 14:49, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +/
    вы не правы, словарь в питоне по ключу содержит ссылку на любой валидный объект произвольной глубины
     
  • 2.38, anonymous (??), 16:52, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Нет.
     
  • 2.54, Онаним (?), 21:44, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Почти. Только распределённый и без секций.
     

  • 1.18, Аноним (18), 12:45, 15/11/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Скоро, надеюсь, типичный ДЦ(Дата-центр) уйдёт в прошлое, или хотя бы займёт второе место в репутации "надёжность". Первое конечно же - децентрализация. А torrent это гениальное изобретение. Капиталистам конечно же это нендравится.
     
     
  • 2.35, Crazy Alex (ok), 16:24, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Как раз капиталистам это вполне нормально, хотя при возможности от использования государственных плюшек никто не откажется. А вот любителям порегулировать, включая государственную монополии на раздачу привилегий типа патентов и копирайтных ограничений - тем децентрализация смерти подобна
     
  • 2.44, Аноним (-), 18:36, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    и что будет транспортом? json поверх протобуфа поверх http поверх ethernet? у датацентров вовсю используются разные протоколы с разными возможностямм масштабирования и обеспечения минимальных задержек и хорошей надёжности. ну можно конечно все обмазать кубитно-квантовым nodejs и получить задержку и надёжность доступа к данным времён gsm gprs.
     
  • 2.55, Онаним (?), 21:46, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Не уйдёт, потому что вся ваша "децентрализация" в итоге стоит в ДЦ.
    Ну и да, про транспорт правильно заметили - ДЦ не только место размещения, но и ценный мех... простите, шустрый транспорт.
     

  • 1.22, Аноним (22), 12:48, 15/11/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > Код проекта написан на языке Си. Новый выпуск примечателен переходом на свободную лицензию MPL 2.0 (Mozilla Public License).

    Приятно осознавать, что ещё пишут свободные проекты на классических языках.

     
     
  • 2.32, Аноним (32), 15:36, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Си — это уже античность. Классика — это Nim. Посмотрите на игру-головоломку Turing Complete, например.
    https://store.steampowered.com/app/1444480/Turing_Complete/
     
     
  • 3.33, Аноним (33), 16:05, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Классика он если только для хипстоты.
     

  • 1.27, ыы (?), 14:01, 15/11/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >На всех узлах данные хранятся в синхронизированном состоянии, а все изменения полностью реплицируются между всеми узлами

    И тут один пользователь заходит через диалап...

     
  • 1.29, Какаянахренразница (ok), 15:01, 15/11/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    > чтобы получить возможность сохранения данных участник сети
    > хранения должен выполнить определённую задачу, которая
    > легко проверяется, но требует больших ресурсов при вычислении

    Хочешь сохранить? Сперва помайни! Это какой-то #@&$...

     
     
  • 2.31, kusb (?), 15:13, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> чтобы получить возможность сохранения данных участник сети
    >> хранения должен выполнить определённую задачу, которая
    >> легко проверяется, но требует больших ресурсов при вычислении
    > Хочешь сохранить? Сперва помайни! Это какой-то #@&$...

    Напомнило BitMessage

     
  • 2.36, Crazy Alex (ok), 16:27, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Увы. Либо платишь (в т.ч. в форме майнинга), либо есть какой-то регулятор либо всё будет завалено спамом. Собственно, вариант с регулятором здесь тоже возможен - но, конечно, для полноценной децентрализации это не годится
     
     
  • 3.49, Аноним (49), 21:38, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Или придумать какой-нибудь относительный рейтинг и прочие сети доверия.
    Или отправлять всё, а клиенты сами решат - скачивать ли им сообщения без POW
     

  • 1.42, YetAnotherOnanym (ok), 17:33, 15/11/2021 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    > виртуальный Ethernet-коммутатор, позволяющий объединить размещённые у разных провайдеров хосты и виртуальные машины в одной виртуальной локальной сети

    Блестящий проект. L2TP на стероидах и глобальная бродкаст-помойка. Лет через дцать они дорастут до разбиения этой "виртуальной локальной сети" на подсети с маршрутизацией между ними.
    > участник сети хранения должен выполнить определённую задачу, которая легко проверяется, но требует больших ресурсов при вычислении

    Какая прелесть - хранишь забесплатно чужие данные, а чтобы сохранить свои - надо помайнить в пользу админа сети.

     
     
  • 2.45, Михрютка (ok), 18:46, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +/
    >>>дорастут до разбиения этой "виртуальной локальной сети" на подсети

    ненене сначала виртуальные vlan

    смех смехом а эта байда уже в штатной фирмвари у некротика

    https://forum.mikrotik.com/viewtopic.php?f=1&t=178063&p=876126

     
  • 2.51, Аноним (49), 21:40, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Майнинг в качестве POW - эта идея мне нравится. Должно сработать.
     
  • 2.52, Аноним (49), 21:41, 15/11/2021 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Броадкаст-помойки - уютные. А подсети можно и позже прикрутить. Или управляемый броадкаст, ибо наша сеть - виртуальная.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру