Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"В systemd-journald спустя 6 лет признали проблему избыточной нагрузки на накопители"	+/–
Сообщение от opennews (??), 15-Авг-26, 00:23
Разработчики проекта systemd приступили к изучению и устранению давней архитектурной проблемы в компоненте "systemd-journald", приводящей к многократному завышению объёма записываемых на диск данных (write amplification) по сравнению с фактическим объёмом логов... Подробнее: https://www.opennet.me/opennews/art.shtml?num=66082
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 15-Авг-26, 00:23	+1 +/–
Всю жизнь монтирую /var/log в tmpfs кстати.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2

2. Сообщение от Аноним (2), 15-Авг-26, 00:25	+8 +/–
Удачи потом в расследовании инцидентов.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #15, #16, #33

3. Сообщение от Аноним (3), 15-Авг-26, 00:35	+1 +/–
И года не прошло.. А хотя не, прошло) 6!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #6

4. Сообщение от Аноним (4), 15-Авг-26, 00:35	+1 +/–
А я думал это норма, что что все эти лог журналы насилуют твой ссд, чтобы потом форензик экспертам было легче копаться в твоих штанах.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #8

5. Сообщение от Аноним (-), 15-Авг-26, 00:48    Скрыто ботом-модератором	–3 +/–
> В данном случае разработчики systemd продемонстрировали > типичный для корпоративного Open Source подход В данном случае опеннетчики продемонстрировали типичный подход: много критиканить других и мало делать самим. А ваши текстовые логи - это прекрасно. Кроме того момента что даже просто банить околореалтаймно ботов по ним адское мучение. И либо дичайше жрет проц на парсинг гигабайтов - либо требует навороченных энтерпрайзных систем с индексами, и там вопрос амплификации, нагрузки и проч вообще - не раскрыт. А каких-то реально сравнимых решений получить? Что вы, не дождетесь!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #9

6. Сообщение от Аноним (6), 15-Авг-26, 00:49	+1 +/–
А как пели: бинарный формат, это не партянки, всё быстро...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #12

7. Сообщение от Аноним (7), 15-Авг-26, 00:51    Скрыто ботом-модератором	+2 +/–
>Разработчики systemd тогда наотрез отказались признавать проблему: мейнтейнеры заявили исследовательские претензии в духе "вы не понимаете, как работают файловые системы", отказались от проведения профилирования и закрыли заявку со вердиктом "not actionable". Конченые щекотатели ануса, md в systemd означает мудачье
Ответить | Правка | Наверх | Cообщить модератору

8. Сообщение от Аноним (-), 15-Авг-26, 00:52	+1 +/–
>  А я думал это норма, что что все эти лог журналы насилуют твой ссд, > чтобы потом форензик экспертам было легче копаться в твоих штанах. Да не парься ты так - форенсики с твоего SSD и с якобы-in-place файлухи вынут кучу данных с твоего SSD. Потому что флеш память не умеет in place перезаписи, внезапно. А стирание медленное и крупноблочное. Так что контроллер - всяко почти наверняка CoW сделает. И если читануть NAND напрямую без его услуг по пропуску лишнего... Кстати, "secure" erase с явным протиранием нулями региона - тоже так не сработает. Оно протрет нолями ДРУГОЙ регион SSD. Вот явный запрос TRIM конкретного региона - еще может какую-то пользу принести. Только это блочный уровень, ФС сами по себе без явного прокостыливания такими вещами не оперируют.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

9. Сообщение от Аноним (9), 15-Авг-26, 00:53	+1 +/–
Так может лучше задействовать для бана ботов нормальную базу данных, а не эти ошмётки? А текстовые логи оставить только для отладки.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #13

10. Сообщение от Аноним (6), 15-Авг-26, 00:55	+1 +/–
> типичный для корпоративного Open Source подход: критический недочёт в инфраструктурном компоненте игнорировался годами Вся суть архитектуры системды.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #17, #26

11. Сообщение от Avririon (ok), 15-Авг-26, 00:56	+/–
Напоминает местного вахтёра.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #14

12. Сообщение от Аноним (16), 15-Авг-26, 00:59	–2 +/–
>  А как пели: бинарный формат, это не партянки, всё быстро... А оно и правда - быстро. Скажем я могу более-менее в реальном времени парсить "все сообщения от sshd". Префильтр и индексированный доступ - обеспечит сам journald. И сообщение таки - можно атомарно читануть от и до. В текстовом же случае... 1) Вы вообще сами будете искать где граница между сообщениями. Мало того что это пригрузит проц - так вы еще и облажаться рискуете, когда атакующий в какой-нибудь юзернейм или что там 0x0d, 0x0a, 0x0 или что там воткнет - парсинг текста сорвется - и вы получите неполные или поддельные записи логов под контролем атакующего вообще. Что может быть использовано для обхода банов, крафтинга банов совершенно непричастным айпишникам и проч. 2) Парсинг гигз логов - нифига не быстро. А без этого - как вы вообще получите знание "сколько запросов с этого IP было за последние 5 минут"? Вот то то и оно - трекать такие вещи с текстовиками - потребует опять же юзать бинарные бд для всяких индексов - и вообще enterprise-grade soultion. Который настолько монструозен что будет у полутора коопрв. А доморощенные админы будут сиять голым окороком - доказывая что и так сойдет!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #30

13. Сообщение от Аноним (16), 15-Авг-26, 01:03	+/–
> Так может лучше задействовать для бана ботов нормальную базу данных, а не эти ошмётки? > А текстовые логи оставить только для отладки. Ваша проблема в том что у вас в итоге только: - Голый зад - и нифига кроме рассказов как все это "не надо". - Невь...й enterprise grade которому для обслуги надо тиму фултайм админов в комплекте. Потому что ваша нормальная база данных - обслуживаемая. И надо - того кто умеет в DBA. Бесплатно работать DBA почему-то не любят. А mid-range и просто возможность забанить надоевших ботиков с своего сервера без огромных напрягов и затрат? В вашей картине мира такое не предусмотрено вообще. А у поттера так можно было. И это причина по которой мир в целом предпочел - его. А вы можете свои базы данных админить, если вам это надо.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

14. Сообщение от Аноним (16), 15-Авг-26, 01:04    Скрыто ботом-модератором	–1 +/–
> Напоминает местного вахтёра. Автора новости смотри. Этому везде видятся - заговоры корпораций. Сам он ничерта сравнимого как решение разумеется выкатить чисто технически не способен.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11

15. Сообщение от Аноним (15), 15-Авг-26, 01:04	+/–
Можно подумать, что ты хоть раз расследовал на гигабайтах логов. Есть смысл временно включать, чтобы проверить почему падает отдельная служба, но держать на постоянке и никогда туда не смотреть... ну ты сам себе буратино.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #19

16. Сообщение от Аноним (16), 15-Авг-26, 01:06	+1 +/–
> Удачи потом в расследовании инцидентов. Может он эти инциденты и создает? "В расследовании главное не выйти на самого себя!"
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

17. Сообщение от Аноним (16), 15-Авг-26, 01:17	–2 +/–
>> типичный для корпоративного Open Source подход: критический недочёт в инфраструктурном >> компоненте игнорировался годами > Вся суть архитектуры системды. А альтернативы то какие? Сидеть с голым задом или огроменные энтерпрайзные монстры? Тоже мне дузовные метания мадам грицацуевой.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #23

18. Сообщение от Rev (ok), 15-Авг-26, 01:17	+/–
Ждём исправления в нашем любимом Дебиане лет через 6-8.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #20

19. Сообщение от Аноним (2), 15-Авг-26, 01:21	+/–
Гигабайты там и не нужны. Хватает 100 строчек выхлопа тогоже ядра, чтобы понять, почему вся система отъехала. К слову, актуально даже на десктопе с теме же амдешными, кривыми GPU дровами.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #34, #41

20. Сообщение от Аноним (20), 15-Авг-26, 01:24	+/–
Хехе, не дождетесь. Там только на профилирование, дебаг и рабочие фиксы уйдёт года полтора-два. Вспоминаем историю #12309.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #18 Ответы: #25

21. Сообщение от Аноним (21), 15-Авг-26, 01:26    Скрыто ботом-модератором	+1 +/–
Ну что, теперь системда не будет тормозить на старых пк и одноплатниках?
Ответить | Правка | Наверх | Cообщить модератору

22. Сообщение от Аноним (22), 15-Авг-26, 01:29	+/–
> для корпоративного Open Source подход цифровая "буржуазная демократия", хехе...
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #40

23. Сообщение от Аноним (-), 15-Авг-26, 01:30	+/–
А вы со своим тэйком про голые зады по всеё дискуссии растеклись по своей воле или по корпоративной разнарядке? А то что-то тех людей, что системд в дистрибутивы проталкивали, как-то очень быстро перестало быть видно в списках рассылки, что на кое-что намекает.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17 Ответы: #37

24. Сообщение от Аноним (24), 15-Авг-26, 01:30	+/–
Я вижу здесь корреляцию со слегка возросшей ценностью SSD, сейчас уже не так просто "купить новый, а старый выкинуть". Людям стало не так легко расставаться с вещами. Надо теперь на браузеры переключаться и постить туда баги, там тоже конь не валялся.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #27

25. Сообщение от Аноним (-), 15-Авг-26, 01:33	+/–
А 12309 никуда и не делся. Достаточно попробовать попользоваться машиной с небольшим объёмом озу, жёстким диском и большим количеством устройств на одной линии PCI.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20 Ответы: #32, #39

26. Сообщение от Аноним (26), 15-Авг-26, 01:36	+/–
оверЫнЖЫРнеринг?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10

27. Сообщение от Аноним (26), 15-Авг-26, 01:37	+1 +/–
> Надо теперь на браузеры так они хуже всех насилуют диск
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24

28. Сообщение от Аноним (28), 15-Авг-26, 01:41	+/–
> заявили исследовательские претензии Какие?
Ответить | Правка | Наверх | Cообщить модератору

29. Сообщение от Нил Нонэниевич (?), 15-Авг-26, 01:41	+3 +/–
ValdikSS святой.
Ответить | Правка | Наверх | Cообщить модератору

30. Сообщение от Аноним (30), 15-Авг-26, 01:48	+1 +/–
а зачем вам ssh в кровавом энткрпрайзе, он бай дизайн не предназначен для этого, для гигабайтов логов в том числе, iptables имеет все необходимое чтобы не грузить прикладную программу сетевым мусором, вы еще расскажите про фейл2бан, и как используете его чтобы защищаться от китайских ботнетов, его задача спасти ваш сервер городской поликлинники от разгневанного пациента. journald абсолютно ничем не лучше текстовых портянок, хотите нормальную защиту, отправляйте логи на удаленный сервер, который положит их в бд и проиндексирует для любых дальнейших манипуляций
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12 Ответы: #38

31. Сообщение от zionist (ok), 15-Авг-26, 01:51	+/–
Примерно так же, уже много лет, многие ждут поддержку SHA256 Git репозиториев в GitHub и в VS Code.
Ответить | Правка | Наверх | Cообщить модератору

32. Сообщение от Аноним (20), 15-Авг-26, 01:59	+/–
Вот в этом и суть ;)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25

33. Сообщение от Аноним (1), 15-Авг-26, 02:14	+/–
Каких еще инцидентов? У нас таких нет, у нас все нормальные ребята.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

34. Сообщение от Аноним (1), 15-Авг-26, 02:19	+/–
Ничего не мешает убрать маунт при необходимости. Хотя при паниках ядра в журнал все равно ничего не запишется.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

35. Сообщение от Аноним (35), 15-Авг-26, 02:22	+/–
> мейнтейнеры проекта изменили риторику и начали работу над оптимизацией механизмов сброса кэша и структуры хранения индексов journald Ссылка?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #42

37. Сообщение от Аноним (-), 15-Авг-26, 02:24    Скрыто ботом-модератором	+/–
> А вы со своим тэйком про голые зады по всеё дискуссии растеклись > по своей воле или по корпоративной разнарядке? Я на лично своих серверах ботов баню за счет функциональности journald. Используя именно его апи indexed access - для конкретных сервисов. Никаких корпоративных разнарядок. И кстати как там тэйки про "настоящие бд" под таким соусом поживают? Или это - другое, не считается, и вообще? > А то что-то тех людей, что системд в дистрибутивы проталкивали, как-то очень > быстро перестало быть видно в списках рассылки, что на кое-что намекает. Да вообще-то основное занятие майнтайнеров и прочих - вовсе не спам в списки рассылки. А так могу простой тэйк закинуть. Допустим мы хотим последние 10 сообщений "вот этого сервиса". Как это через j-d апю делается - да элементарно, ман почитать и через пару часов все будет. А у вас начнутся тэйки что это либо на надо (ибо реверс-парсинг гига текста в таком виде - гемор на всю голову и глюкодром), либо сказки про то что надо "настояющую" БД. И тиму фултайм админов к ней и энтерпрайзной системе логинга. И бюджет на это все. Порсле чего заявы про тейки начинают смотреться особенно интересно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #43

38. Сообщение от Аноним (-), 15-Авг-26, 02:33    Скрыто ботом-модератором	+/–
> а зачем вам ssh в кровавом энткрпрайзе, он бай дизайн не предназначен > для этого, для гигабайтов логов в том числе, У меня нет тех ваших энтерпрайзов и я не переклинен на этих кейсах. У энтерпрайзов свои проблемы, у меня свои. И мое отличие - у меня нет тимы фултайм энтерпрайз админов или желания им платить за то что я могу сам за пару часов решить - бесплатно по сути, почитав ман на апю sd. > iptables имеет все необходимое чтобы не грузить прикладную программу сетевым мусором, И конечно он сам поймает мне бота и по допустим URL запроса? Не дай боже еще и https? Или отстрелит бота пытающегося ломиться на конкретного юзера ssh которого у меня в системе точно нет и это точно сканнер-брутфорсер? И кстати у нас 2026 наступил и в моде так то - nftables. Которому я потом по итогам анализа команды и отдаю. Он умеет не только "ip sets" но еще и их авто-объединение и таймауты, допустим. Так что амнистию вообще не надо явно трекать. И диапазоны вредителей могут объединиться если это злая подсетка. Если уж мы о использовании фич ЭТОГО. > вы еще расскажите > про фейл2бан, и как используете его чтобы защищаться от китайских ботнетов, Я видел как работает fail2ban при этом vs огромные логи в текстовиках - и именно поэтому юзанул вон те апи. Так лучше работает. И отказываться от этого я не намерен. > его задача спасти ваш сервер городской поликлинники от разгневанного пациента. Чего? Кого? Поосторожнее там с проекциями. > journald абсолютно ничем не лучше текстовых портянок, А у меня - после использования его апи - совсем другое мнение на этот счет. > хотите нормальную защиту, отправляйте логи > на удаленный сервер, который положит их в бд и проиндексирует для > любых дальнейших манипуляций И тиму админов еще наймите на фултайм. Ничего нового в сказке про это все. А у меня вон то - ботов отстреливает. Само. С минимальной нагрузкой даже при app-level ddos. При минимальном моем участии в этом всем. И это все довольно эффективно и околореалтаймно. И юзает фичи nftables раз уж мы о птичках. Iptables - это для тех кто в XX веке застрял.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30

39. Сообщение от Аноним (-), 15-Авг-26, 02:36	+/–
> А 12309 никуда и не делся. Достаточно попробовать попользоваться машиной с небольшим > объёмом озу, жёстким диском и большим количеством устройств на одной линии > PCI. Потом пойти в магазин и обнаружить что сраный китайский мобильник за 50 баксов - работает намного лучше чем весь этот античный кластерфак...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25

40. Сообщение от Аноним (-), 15-Авг-26, 02:37	+/–
>> для корпоративного Open Source подход > цифровая "буржуазная демократия", хехе... Все демократично: кто работу работает тот и решает что ему надо при этом было :). А вот нытье на форумах и правда мало что решает. Особенно - технические проблемы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22

41. Сообщение от Аноним (-), 15-Авг-26, 02:40	+/–
> Гигабайты там и не нужны. Хватает 100 строчек выхлопа тогоже ядра, чтобы > понять, почему вся система отъехала. Но с tmpfs строчек будет зачастую 0. Почему-то.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

42. Сообщение от Аноним (24), 15-Авг-26, 02:43	+/–
> Ссылка? Да я не думаю что будет так строго, скорее всего всем причастным года 2 условно дадут и обяжут таки пофиксить это недоразумение
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35

43. Сообщение от Аноним (43), 15-Авг-26, 02:45	+/–
>основное занятие майнтайнеров и прочих - вовсе не спам в списки рассылки Вышли из кельи, протолкнули, и назад мейнтэйнить. Благодать. >хотим последние 10 сообщений tail, не?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема