The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск распределенной системы хранения конфигурации etcd 3.3"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск распределенной системы хранения конфигурации etcd 3.3"  +/
Сообщение от opennews on 05-Фев-18, 15:28 
Проект CoreOS (https://www.opennet.me/opennews/art.shtml?num=40275), на днях купленный (https://www.opennet.me/opennews/art.shtml?num=47992) компанией Red Hat, опубликовал (https://coreos.com/blog/announcing-etcd-3.3) релиз etcd 3.3 (https://coreos.com/etcd/), высоконадёжного распределённого хранилища параметров конфигурации, задаваемых в форме ключ/значение.  Основным назначением etcd является предоставление унифицированного механизма хранения конфигурации и информации о работающих сервисах  для изолированных контейнеров с типовой начинкой.
Например, etcd применяется в платформе оркестровки контейнеров Kubernetes (https://www.opennet.me/opennews/art.shtml?num=47762) для обеспечения хранения данных кластера. Код etcd написан на языке Go и распространяется (https://github.com/coreos/etcd) под лицензией Apache 2.0.


Etcd позволяет организовать единое хранилище конфигурации для группы серверов, которое реплицируются на все узлы и поддерживается в синхронизированном состоянии с использованием протокола Raft (https://github.com/goraft/raft). Наличие копии данных на всех хостах позволяет исключить потерю конфигурации при выходе из строя отдельного узла.  В etcd также могут сохраняться временные данные, для которых предусмотрена возможность определения времени жизни записи. Для доступа к конфигурации предоставляется простой API (https://github.com/coreos/etcd/blob/master/Documentation/dev...), основанный на использовании gRPC (http://www.grpc.io/).

Имеется встроенная возможность отслеживания изменения состояния ключа или директории с вызовом обработчика в случае обнаружения изменения (например, можно применить новое значение параметра конфигурации). Для защиты канала связи при обращении из внешней сети предоставляется поддержка TLS-шифрования, аутентификации (https://coreos.com/etcd/docs/latest/authentication.html) клиентов по ключам и разграничения доступа через ACL. На типовом оборудовании etcd обеспечивает производительность порядка 10 тысяч операций записи в секунду. Для доступа к базе можно использовать утилиту etcdctl (https://github.com/coreos/etcd/tree/master/etcdctl).


Основные новшества (https://github.com/coreos/etcd/releases/tag/v3.3.0):


-  Улучшена работа бэкенда bbolt (https://github.com/coreos/bbolt), представляющего собой форк Bolt DB (https://github.com/boltdb/bolt), применяемый для хранения локальных данных на каждом узле. Добавлено несколько режимов поддержания списка свободных блоков, позволяющего оптимизировать доступ к блокам, ставшими неактуальными после выполнения транзакций и доступными для повторного использования (заполнения новыми данными). Список свободных блоков сохраняется на диске чтобы избежать ресурсоёмких операций сборки мусора во время запуска. Обратной стороной поддержания такого списка является существенное (https://github.com/coreos/etcd/issues/8009) разрастание списка при выполнении большого числа транзакций. В качестве компромисса выбрана тактика перестроения списка свободных блоков во время выполнения операции восстановления ("recover"). На перестроение БД размером 10 Гб на современных системах тратится около 2 секунд. Для управления данным поведением представлено две опции "freelist sync" и "freelist no sync". Также увеличена производительность работы сборщика мусора;


-  Значительно улучшен механизм восстановления соединения клиента в сетях с нестабильным каналом связи, который теперь учитывает возможное сегментирование сети и временные обрывы соединения;

-  Добавлен экспериментальный режим  "--experimental-corrupt-check-time" для мониторинга состояния хранилища на предмет возможных повреждений данных (например, из-за ошибок на уровне файловой системы) во время работы. Также добавлен режим "--experimental-initial-corrupt-check" который во время запуска проводит контроль целостности через запрос у пира контрольных сумм CRC32 для известной ревизии и их сверку с фактическим состоянием хранилища перед началом обработки запросов клиентов и других пиров;
-  Добавлен пакет clientv3/ordering с реализацией механизма причинной консистентности (https://ru.wikipedia.org/wiki/%D0%9F%D1%...) (causal consistency) для сериализированных запросов на чтение, обеспечивающий логическую целостность порядка операций чтения и записи, независимо от того к какому узлу обратился клиент (т.е. клиент всегда получит доступ к самой свежей ревизии);

-  Добавлен режим "--experimental-enable-v2v3", позволяющий эмулировать старый API v2 доступа к хранилищу поверх нового API v3 на базе gRPC, обеспечивая при этом более высокую эффективность и масштабироваие по сравнению с нативным API v2, который теперь объявлен устарвшим;

-  Добавлена возможность поддержания отдельного списка отозванных сертификатов X.509 (Certificate Revocation List), помимо штатного списка CRL от удостоверяющего центра. Для включения следует использовать опции "--client-crl-file" и "--peer-crl-file";
-  Добавлена возможность применения в TLS сертификатов, охватывающих группу поддоменов по маске (*.example.com в поле SAN (Subject Alternative Name));

-  Добавлена возможность "--peer-cert-allowed-cn" для  аутентификации между пирами на основе проверки совпадения имени Common Name (CN) в сертификате;

-  Для работы в случае сегментации сети и невозможности прямого подключения клиента добавлена экспериментальная поддержка gRPC-прокси (https://github.com/coreos/etcd/issues/6065) для трансляции запросов клиентов к кластеру etcd при помощи API v3;

-  Проведена большая работа по оптимизации производительности. При проведении тестирования отмечено заметное снижение задержек и увеличение пропускной способности с 32976 запросов в секунду до 35682 запросов в секунду.


URL: https://coreos.com/blog/announcing-etcd-3.3
Новость: http://www.opennet.me/opennews/art.shtml?num=48024

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


3. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  –5 +/
Сообщение от Andrey Mitrofanov on 05-Фев-18, 16:23 
> Проект CoreOS (https://www.opennet.me/opennews/art.shtml?num=40275), на днях купленный
> (https://www.opennet.me/opennews/art.shtml?num=47992) компанией Red Hat, опубликовал
> (https://coreos.com/blog/announcing-etcd-3.3) релиз etcd 3.3 (https://coreos.com/etcd/),

...пропал колобуховский https://libelektra.org/ дом!

> высоконадёжного распределённого
>задаваемых в форме
>предоставление унифицированного
>сервисах  для изолированных контейнеров
>в платформе оркестровки контейнеров Kubernetes
>на языке Go
>под лицензией Apache 2.0.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +2 +/
Сообщение от Аноним (??) on 05-Фев-18, 22:16 
> колобуховский

https://ru.wikipedia.org/wiki/%D0%9A%D0%...

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

19. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +/
Сообщение от Andrey Mitrofanov on 06-Фев-18, 10:51 
>> колобуховский
> https://ru.wikipedia.org/wiki/%D0%9A%D0%...

Именно. Сначала пение, потом трубы замёрзнут, потом..

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

4. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  –2 +/
Сообщение от Dmitry77 (ok) on 05-Фев-18, 17:59 
И эти туда же
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +/
Сообщение от Аноним (??) on 06-Фев-18, 10:05 
Эти не туда же, эти оттуда же
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

5. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +12 +/
Сообщение от Аноним (??) on 05-Фев-18, 20:04 
2018 года а до сих пор блокчейн не прикрутили (((
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +/
Сообщение от ПДК on 05-Фев-18, 21:39 
Каким боком тут блокчейн?
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

16. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +1 +/
Сообщение от Аноним (??) on 06-Фев-18, 07:56 
> Каким боком тут блокчейн?

Чтобы никто не мог просто так настройки поломать, вот представь себе вордпресс на блокчейне.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

21. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +/
Сообщение от tonys email(??) on 06-Фев-18, 13:03 
Каждому вордпрессу по Nvidia 1080Ti.
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

6. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +/
Сообщение от exSun (ok) on 05-Фев-18, 20:48 
systemd-etcd нет ещё?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  –1 +/
Сообщение от Ivan1986 on 05-Фев-18, 22:05 
https://github.com/coreos/fleet
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

20. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +/
Сообщение от Andrey Mitrofanov on 06-Фев-18, 10:56 
> https://github.com/coreos/fleet

https://github.com/Xylemon/xlennart#about
   http://sisyphus.ru/en/srpm/Sisyphus/xlennart
   https://packages.devuan.org/devuan/pool/main/x/xlennart/

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

17. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +/
Сообщение от Аноним (??) on 06-Фев-18, 09:58 
Внезапно мы видим приехавший реестр а-ля Windows
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

22. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +3 +/
Сообщение от Аноним (??) on 06-Фев-18, 13:04 
В каждой новости про етцд находится школьник, сравнивающий его с реестром.
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

23. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +3 +/
Сообщение от Аноним (??) on 06-Фев-18, 14:38 
Потому что школьнику не снятся откаты от покупки вендорлока для работодателя-терпилы, и он может говорить правду.
Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

24. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +/
Сообщение от Товарищъ Анонимус on 12-Фев-18, 10:59 
Говорить - это все, что может школьник.
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

25. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +/
Сообщение от Аноним (??) on 15-Фев-18, 03:25 
Омг, ты бы хоть почитал, что это и зачем нужно. Никто не будет заменять dconf в твоей убунте на етцд, админы локалхоста могут спать спокойно.
Кстати dconf - это как раз аналог реестра, а до него был gconf, и оно уже лет десять во всех убунтах и федорах. Где твоя правда теперь?
Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

26. "Выпуск распределенной системы хранения конфигурации etcd 3.3"  +/
Сообщение от Ne01eX (ok) on 16-Фев-18, 09:11 
gconf работает со схемами в xml, которые всё-таки можно поправить в обычном текстовом редакторе, в случае чего. В отличии от бинарного dconf, нарушающего всю идиллию мира *nix. Ну и, несмотря ни на что, - gconf никогда в гегемоны не набивался, ограничиваясь лишь Gnome DE. В отличии, блджад, от...

З.Ы. В любом случае, etcd не об этом, так что расходимся, пaцаны... :-)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру