The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]




Версия для распечатки Пред. тема | След. тема
Новые ответы [ Отслеживать ]
Релиз LDAP-сервера ReOpenLDAP 1.2.0, opennews, 08-Сен-22, 22:17  [смотреть все]
  • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Аноним, 22:17 , 08-Сен-22 (1) –10 [V]
  • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Admino, 01:01 , 09-Сен-22 (10)
  • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Аноним, 02:56 , 09-Сен-22 (12) +2
    • Релиз LDAP-сервера ReOpenLDAP 1.2.0, erthink, 08:49 , 09-Сен-22 (31) +3
      > У меня вопрос к автору не троллинга ради, а просто интересно: когда в начале пути рассматривались открытые реализации LDAP смотрели ли на 389-ds от RedHat?

      Рассматривали много чего, и не просто рассматривали, а пробовали под нагрузкой (не в обиду postgresql - получали на порядки меньше RPS).

      > Если да, то почему его за основу не взяли?

      Основная причина выбора OpenLDAP = наличия multi-master.
      Прочие подробности см на 11 странице https://www.basealt.ru/fileadmin/user_upload/kaluga-xiii-201...

      > Есть вообще про него какие-нибудь комментарии?

      В целом, автор ничего не выбирал и не дизайнил, его попросили/позвали починить OpenLDAP когда ситуация уже была пожарной.

  • Релиз LDAP-сервера ReOpenLDAP 1.2.0, mos87, 06:42 , 09-Сен-22 (25) +2
    • Релиз LDAP-сервера ReOpenLDAP 1.2.0, erthink, 09:12 , 09-Сен-22 (36) +1
      > Один вопрос - можно ли в принципе приспособить LDAP в качестве general-purpose
      > базы данных?

      Да..., но...

      > Например, конторе на вход поступают данные в виде XMLек, там само собой
      > вложенные и множественные тэги. Реализуемо ли как-то в рамках схемы (самописной
      > конечно) LDAP повторить структуру XMLки особенно в части вложенности? У меня
      > впечатление, что иерархия в таком виде в LDAP-модели данных невозможна? Может
      > как-то objectclass'ами это нужно нагородить.

      LDAP DIT - это расширенный key-value, где для ключей определена иерархия, а value состоит из набора обязательных и опциональны атрибутов.

      > Или вот можно ли как-то на лету менять схему, как в SQL
      > базах? Хотя бы дописав новую, расширяющую старую? Так же сложилось впечатление,
      > что тут всё плохо.

      Можно, но не всегда и не во всех LDAP-серверах, со всеми теми-же (часто неявными) проблемами что и в SQL.
      В самом простом случае можно менять набор необязательных атрибутов.

      • Релиз LDAP-сервера ReOpenLDAP 1.2.0, mos87, 09:36 , 09-Сен-22 (42)
        • Релиз LDAP-сервера ReOpenLDAP 1.2.0, bOOster, 10:09 , 09-Сен-22 (51) +3
        • Релиз LDAP-сервера ReOpenLDAP 1.2.0, erthink, 10:14 , 09-Сен-22 (52) +1
          > Спасибо за ответ.
          >> LDAP DIT - это расширенный key-value, где для ключей определена иерархия, а
          >> value состоит из набора обязательных и опциональны атрибутов.
          > да, но сформиулирую так - можно ли как-то сделать, чтобы KEY был
          > лишь контейнером для других KEY?
          > со множественностью проблем нет это я понимаю (один ключ может повторяться сколько
          > угодно, в соотв. со схемой конечно), а вот такая вроде бы
          > нехитрая система с вложенностью - сколько ни гуглил такого не видел.

          Не уверен что могу понять что вы имели в виду, кроме как предположив что речь о составных ключах и/или индексах.

          В LDAP это не обязательно, т.е. не требуется для соблюдения RFC (хотя их много и я точно не читал все). Соответственно, вы не можете рассчитывать на подобные возможности глядя на абстрактный LDAP-сервер.

          С другой стороны, в (Re)OpenLDAP доступно определение составных индексов по атрибутам, в том числе с контролем уникальности. Плюс есть всяческие плагины/оверлеии типа MemberOf и виртуальных групп.

          >[оверквотинг удален]
          > | -- тут key - value (выполнивший)
          > | | |
          > | | -- имя выполнившего - Иванов
          > | | |
          > | | -- должность - прораб
          > | -- тут key - value (номер договора какой-нибудь)
          > ...
          > Данные поступающие то вроде по большей части как раз иерархические, так что
          > в качестве "фронта" вроде логично использовать не табличное хранилище. Но насколько
          > тут приспособляем LDAP я пока не очень пойму...

          И так тоже можно..., но насколько удобно решайте сами.
          Также нужно не забывать, что LDAP не гарантирует ACID на уровне всего DIT, а только для отдельных элементов.


          > Может есть какие-то качественные ссылки, где люди описывают опыт не стандартной работы
          > со схемами? Был бы благодарен.

          https://pro-ldap.ru/
          Только смотреть/искать нужно не чей-то опыт, а вникать в возможности сервера, через примерны понимать как их настраивать, а затем (желательно) понимать как это работает внутри.

        • Релиз LDAP-сервера ReOpenLDAP 1.2.0, bOOster, 10:21 , 09-Сен-22 (53) +1
    • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Lefsha, 14:19 , 14-Сен-22 (148)
  • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Бывалый смузихлёб, 07:59 , 09-Сен-22 (27) –1
    • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Свинорез, 08:34 , 09-Сен-22 (29)
    • Релиз LDAP-сервера ReOpenLDAP 1.2.0, erthink, 09:05 , 09-Сен-22 (34) +1
      > Вопрос скорее в том, почему Мегафон тупо слился - его ведь и
      > далее так будут пинать все кому не лень.

      МегаФон всегда есть за что попинать "для профилактики", но тут он не причем:
      - блокировка из-за нового места работы автор, а непосредственно в МегаФоне он никогда не работал;
      - МегаФоне уже года три-четыре не использует ReOpenLDAP и не имел отношения к размещению исходного кода на Github, это была инициатива исключительно со стороны автора;

  • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Аноним, 09:09 , 09-Сен-22 (35) –3
    • Релиз LDAP-сервера ReOpenLDAP 1.2.0, erthink, 09:17 , 09-Сен-22 (38) +4
      > Судя по списку изменений, проект, весьма ожидаемо, заброшен.
      > В этом и есть основное отличие от openldap, видимо :-)

      Для тех кто в танке, основные отличия от OpenLDAP: работающая репликация в режиме multi-master, в том числе для full-mesh топологии из 3-4-5 узлов, в том числе под высокой нагрузкой.

      OpenLDAP в таком режиме потеряет часть апдейтов и упадет максимум через 1-2 часа, а в худшем случае удалит произвольную часть синхронизируемых данных...

      :-)

      • Релиз LDAP-сервера ReOpenLDAP 1.2.0, bOOster, 10:26 , 09-Сен-22 (54)
        • Релиз LDAP-сервера ReOpenLDAP 1.2.0, erthink, 10:40 , 09-Сен-22 (59) +1
          > Я проблем еще с 2.4.49 (по моему) с многонодной мультимастер репликацией не
          > имел. Низнаю че там в ReOpenLDAP изобретали.

          OpenLDAP гарантированно падает и/или теряет данные когда:
          - больше двух узлов в multimaster;
          - изменения льются на все узлы одновременно;
          - связь между узлами рвется и восстанавливается.

          • Релиз LDAP-сервера ReOpenLDAP 1.2.0, bOOster, 10:50 , 09-Сен-22 (61)
            • Релиз LDAP-сервера ReOpenLDAP 1.2.0, erthink, 11:04 , 09-Сен-22 (64) +2
              >[оверквотинг удален]
              >> OpenLDAP гарантированно падает и/или теряет данные когда:
              >>  - больше двух узлов в multimaster;
              >>  - изменения льются на все узлы одновременно;
              >>  - связь между узлами рвется и восстанавливается.
              > Я еще раз повторяю, в моих условиях я не имел этих проблем.
              > 10 нод в мультимастере у меня было и щас есть, самые
              > старые 2.4.49. На 2.5 я еще даже и не думаю переходить.
              > Не вижу никаких выгод пока.
              > Гоняют серверы по синхронизации громадный переизбыток трафика - да, но у меня
              > на серверах нет каналов с учетом трафика.

              Проблема воспроизводится (даже) на собственных тестах OpenLDAP, если их просто зациклить (но быстрее на нагруженной машине).
              Но вы можете достаточно долго не замечать проблем, так как обычный сценарий использования OpenLDAP с multimaster и обычные требования сильно отличаются от мегафоновских.
              Грубо говоря, у вас не 10К апдейтов в секунду, нет тестов на устойчивость и корректность работы при потере и восстановлении связности, нет проверок что данные на узлах кластера одинаковые (вот проверьте, кстати).

              При использовании multimaster смысл переходить есть только на ReOpenLDAP.

              С объемом трафика это никак не связано, и переизбытка быть недолжно.

              • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Stan, 20:06 , 09-Сен-22 (82)
                • Релиз LDAP-сервера ReOpenLDAP 1.2.0, erthink, 20:40 , 09-Сен-22 (83)
                  > У нас 6 мастер-мастер OpenLDAP разбросанный по всему миру (разные регионы). Трафик
                  > конечно не 10К апдейтов в секунду, но где-то чуть меньше половины.
                  > Собираем метрики, есть мониторинг - каких либо крупных проблем не наблюдаем.
                  > У вас есть пошаговая инструкция как воспроизвести эту проблему?

                  Как уже отвечал где-то рядом - достаточно зациклить собственные тесты OpenLDAP, которые тестируют репликацию.
                  Желательно на сильно загруженной машине.

                  Использовавшийся сценарий для проверки _примерно_ такой:
                  - на машине настраивается четыре local-interface, например 10.{1,2,3,4}.0.0.1/24
                  - конфигурируется full-mesh мультмастер кластер из 4-х инстанции slapd, т.е. у каждого slapd по 3 штуки syncprov и syncrepl к другим;
                  - все syncprov и syncrepl настраиваются так, чтобы работали через соответствующие local-интерфейсы, т.е. получает что каждый slapd "сидит" в своем сегменте 10.{1,2,3,4}.0.0.1/24;
                  - кроме этого каждый slapd слушает свой порт на 0.0.0.0;
                  - запускается питоновский скрипт, который стохастически начинает одновременно создавать/изменять/удалять записи через подключения ко всем четырем сервера (но при этом изменения не конфликтуют между собой);
                  - этот-же питоновский скрипт проверяет что данные соответствуют ожидаемым (можно создать, удалить, изменить и т.п.)
                  - запускается еще набор скриптов, который через iptables стохастически временно рвет syncprov-syncrepl соединения между узлами.
                  - оставляем "на ночь", утром проверяем что не упало и DIT на всех узлах совпадает.
                  - повторяем с ASAN и затем с Valgrind...

                  Если вы готовы разбираться со скриптами, то я наверное смогу их отыскать.

                  В OpenLDAP достаточно быстро всплывали ошибки:
                  - race conditions, use-after-free и всяческие падения в десятках мест;
                  - зацикливания и зависания;
                  - утечки памяти;
                  - воскрешение удаленных записей;
                  - удаление недавно добавленных и/или обновленных;

                  Удаление части replication scope более редкая ошибка, но внимательно прочитав RFC можно примерно догадаться когда и почему она происходит.

                • Релиз LDAP-сервера ReOpenLDAP 1.2.0, erthink, 20:43 , 09-Сен-22 (84)
                  > У нас 6 мастер-мастер OpenLDAP разбросанный по всему миру (разные регионы). Трафик
                  > конечно не 10К апдейтов в секунду, но где-то чуть меньше половины.
                  > Собираем метрики, есть мониторинг - каких либо крупных проблем не наблюдаем.
                  > У вас есть пошаговая инструкция как воспроизвести эту проблему?

                  На всякий, может пригодится https://ldapcon.org/2017/wp-content/uploads/2017/08/1_ReOpen...

  • Релиз LDAP-сервера ReOpenLDAP 1.2.0, InuYasha, 11:06 , 09-Сен-22 (65) –1
  • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Анончик, 16:07 , 11-Сен-22 (118) +2
  • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Lefsha, 02:21 , 12-Сен-22 (125) –2
    • Релиз LDAP-сервера ReOpenLDAP 1.2.0, vvm13, 10:40 , 12-Сен-22 (127) +2
      • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Ivan_83, 11:57 , 12-Сен-22 (130)
        • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Lefsha, 15:34 , 12-Сен-22 (137)
          • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Ivan_83, 21:25 , 12-Сен-22 (139)
            • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Lefsha, 12:43 , 13-Сен-22 (144)
              • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Ivan_83, 14:51 , 13-Сен-22 (146)
              • Релиз LDAP-сервера ReOpenLDAP 1.2.0, erthink, 15:18 , 13-Сен-22 (147)
                > Существуют группы aka Linux и существуют группы организованные другим образом.
                > В итоге нет возможности совмещать пользователей по одним и тем же группам
                > в рамках пользователей
                > самой OS и сервисов предоставляемых в рамках условной сети. Т.е. то что
                > более или менее работает
                > в Windows совершенно не работает в Linux. Но это проблема устаревшей концепции
                > Unix - я-мы-все.

                Тут у вас что-то не так, либо я вас совсем не понял.

                В LDAP, прежде всего, всегда есть иерархия, т.е. дерево вложенных OD.
                - Соответственно, появляется иерархия OD-групп, и эта иерархия сугубо топологическая/географическая.
                - От этой иерархии/группировки можно отказаться, если тупо свалить все DN-ы в один OD.

                Кроме этого есть "вторичные" группы, которые реализуются методами, либо их комбинацией:
                - через списки: если DN входит в группу, то он включен в какой-то список;
                - через атрибуты: если DN входит в группу, то у него есть соответствующий атрибут, как вариант атрибут в котором список групп, в которые входит DN;

                Это покрывает все сценария использования.
                В винде (active directory) ровно тоже самое, ибо другие методы просто сложно придумать.

                На это накладываются некая автоматизация поддержки групп через эти методы, включая запросы, обновление списков/индексов и т.п.

                В RFC что-то было на тему "как это следует делать", но подробностей я совсем не помню (не было необходимости вникать).
                Насколько помню есть некоторые проблемы из-за того что у "каждого slapd" что-то своё, но главная заслуга в этом сначала немного Novell, а потом M$ - ибо принципиально не пытались договариваться, клали болт на RFC и упорото делали велосипеды.

      • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Lefsha, 15:31 , 12-Сен-22 (136)
  • Релиз LDAP-сервера ReOpenLDAP 1.2.0, Lefsha, 17:31 , 18-Дек-22 (154)



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру