URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 120411
[ Назад ]
Исходное сообщение
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено opennews , 23-Апр-20 11:16 
Роман Гущин (Roman Gushchin) из компании Facebook опубликовал в списке рассылки разработчиков ядра Linux набор патчей с реализацией нового контроллера распределения памяти slab (slab memory controller). Новый контроллер примечателен переносом учёта slab с уровня страниц памяти на уровень объектов ядра, что даёт возможность совместно использовать slab-страницы в разных cgroup, вместо выделения отдельных кэшей slab для каждой cgroup...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=52790

Содержание
Сообщения в этом обсуждении
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 14:26 
Роман Гущин, к слову, раньше пилил в Яндексе ядерный планировщик процессов smart (https://github.com/yandex/smart) для уменьшения latency. В апстрим, правда, не попало и особой распространенности не получило. Рад за Романа, что он продолжает работать в этой области.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 18:04 
Вот есть люди что для работы выбирают исключительно корпорации зла. Интересно это как-то связано с паттерном злобный гений из фильмов или это просто стереотип и случайность.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 18:17 
Хорошая зарплата.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 19:39 
Продажные секретутки по клавиатуре
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Licha Morada , 23-Апр-20 20:39 
Нет. У них печеньки.

Корпорации зла, злы не сами по себе, а потому что эффективно доставляют прибыль, иногда с неким ущербом пользователям, клиентам и обществу. Некоторые из них пускают часть своей прибыли на печеньки, что делает их привлекательными работодателями. Трудно винить талантливого разработчика, что он соблазнился на печеньки.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 24-Апр-20 09:04 
То есть продавать данные пользователей это добро! Крут ты батенька, просто до изнемождения крут.
"... а давай Шарик мы тебя продадим..." Матроскин, Трое из Простаквашино.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено 1 , 24-Апр-20 09:30 
Продавать что-то - это почти всегда добро.
А пользователи же сами согласились.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 24-Апр-20 11:19 
Если компания наносит своим клиентам только ущерб, у нее клиентов не будет (зачем покупать услуги, от которых тебе становится хуже, чем если бы ты не их не покупал?). Правильнее было бы сказать "приносит своим клиентам недостаточно по их мнению пользы".
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено www2 , 24-Апр-20 07:30 
Ну, для начала стоит учесть, что злобные решения в этой корпорации зла он не принимает. Я понимаю, если бы он каким-нибудь маркетологом там работал и думал о том, как бы ещё проэксплуатировать человеческую природу для получения большей прибыли. Он же занимается там полезным делом, причём полезным для всех.

Нет, можно, конечно, работать и в доброй корпорации за копейки. Но для начала надо очень постараться найти добрую корпорацию. Что-то мне подсказывает, что таких нет. А потом нужно как-то научиться отстраняться от проблем с деньгами и вообще ото всех житейских проблем, и замещать их какими-то там программистскими абстракциями вроде структур данных и алгоритмов.

Проблема в том, что в пирамиде Маслоу нельзя проскочить промежуточные уровни и сразу оказаться на самой вершине. Если у тебя не решены проблемы с деньгами, то отдаться безраздельно во власть структур данных и алгоритмов не получится.

С другой стороны, чтобы достичь вершины пирамиды, надо уметь не застревать на очередном уровне. В мире потреблятства и постмодернизма, когда важно не то, что ты умеешь и кем являешься, а то, как тебя воспринимают другие, понять, что пора переходить на следующий уровень пирамиды, бывает довольно сложно. Всегда есть тот, кто выглядит лучше тебя.

Поэтому такие люди строят пирамиду не один раз, а циклически в ширину снизу вверх. Грубо говоря, если ты сразу пытаешься построить большую пирамиду, то тебе жизни может хватить только на постройку первых нескольких уровней. Если же ты сразу строишь небольшую пирамидку со всеми уровнями, то со временем сможешь увеличить её в размерах: сначала расширяешь основание, потом вышележащие уровни друг за другом.

Вот эта вот верхушка - ковыряние в ядре Linux'а за большие бабки в корпорации зла - не на пустом месте возникла. Наверняка до того он ковырял что-то попроще и за меньшие деньги, но ковырял всегда, а не только сейчас начал, после отстройки предыдущих уровней. И в то же время, он бы не смог этим заниматься, если бы нижележащие уровни были бы никакие.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 24-Апр-20 11:16 
Как-то так получается, что маленьким "корпорациям добра" ковыряния в ядерных планировщиках процессов и менеджерах памяти обычно нафиг не упали (хотя, конечно, бывают редкие исключения), потому, если хочегь работать именно в этой области, приходится работать на крупные "корпорации зла".
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 19:40 
Правильно сделал, что ушёл из этой гадости в другую гадость.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено GNU сектант , 23-Апр-20 11:16 
не знаю, есть ли смысл обновляться. у меня ядро 4.8 до сих пор.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено имя_ , 23-Апр-20 11:21 
а должно быть 2.6
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Alen , 23-Апр-20 11:47 
на 2.6 даже buildroot последний без бубна не собрался :)
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено имя_ , 23-Апр-20 12:18 
это было давно и впечатления остались только хорошие :-) понятно, что там проблем тоже было много.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 11:55 
> а должно быть 2.6

2.6 ван лав. До сих пор с теплотой вспоминаю старенький Дебиан на этой версии ядра.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 12:01 
А для меня - ванхейт. Тормоза, блокировки, заикающийся звук, невозможность работать при канпелляции. Только в 2.6.38-3.х вздохнул с облегчением. С середины 3-х - так гуй вообще плавнее всяких вантузомакосей работает.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено имя_ , 23-Апр-20 12:17 
У меня 5.3, но тормоза никуда не делись. 12309 никуда не исчезал, но тут уже и частично моя вина: мало оперативки + медленный жеский диск.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 11:57 
Около 5.3-5.5 управление питаловом прокачали. У меня недавно блок питания к ноуту сдох, то я честно 8 часов рабочего дня(с митингами по зоому) отпахал на низкой яркости, и ещё 20% заряда осталось. Заряжал уже на следующий день.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено имя_ , 23-Апр-20 12:14 
Что за ноут?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 11:20 
Интересно, может ли оно положительно влиять на десктоп? А то:
> удалось сэкономить до 1ГБ памяти
> но данный показатель сильно зависит от характера нагрузки, общего размера ОЗУ, числа CPU и особенностей работы с памятью

похоже, что тестировалось на серваках 64 ядра/64 гига.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 11:42 
>Интересно, может ли оно положительно влиять на десктоп?

ты надеялся, что в фейсбуке будут пилить что-то для линукс-десктопа? Это запилено для серверов, на которых крутится куча cgroups, читай - контейнеров.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 13:16 
Это в принципе ортогонально десктопам независимо от объема памяти, если только ты не используешь какой-нибудь qubes os
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Crazy Alex , 23-Апр-20 13:37 
В кубах виртуальные машины же. Впрочем, считать группы и контейнеры механизмом безопасности несерьёзно в любом случае. Защита от случайного выстрела в ногу, способ улучшения управляемости и подобное - да, но не защита от целенаправленной атаки из контейнера, которая, впрчем, только самым убогим хостерам нужна.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено mikhailnov , 24-Апр-20 00:57 
GNOME же собрался systemd (cgroups) использовать
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено виндотролль , 23-Апр-20 19:26 
если десктоп юзает cgroups активно, то может
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 11:24 
>совместно использовать slab-страницы в разных cgroup, вместо выделения отдельных кэшей slab для каждой cgroup

А не приведёт ли это к новым каналам утечки чувствительных данных?

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено A.Stahl , 23-Апр-20 11:27 
Предлагаю этим вопросом обеспокоиться тем кто обрабатывает чувствительные данные.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено YetAnotherOnanym , 23-Апр-20 15:37 
Да ты просто рождён быть ведущим разработчиком ядра Линукс!
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Анан , 23-Апр-20 11:48 
Приведёт и не раз
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено анон45 , 23-Апр-20 11:53 
Линус скажет, не боись!
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 14:00 
Линус еще и покажет.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Доброжелательный Аноним , 23-Апр-20 15:31 
> А не приведёт ли это к новым каналам утечки чувствительных данных?

А давайте ещё раз попробуем, может в этот раз не приведёт. Тем более что Meltdown и охапку вариаций Spectre уже все позабыли, кроме отдельных зануд. В добрый путь!

/me погладил системник под управлением OpenBSD

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Системник под управлением OpenBSD , 23-Апр-20 17:29 
Не делай так больше!
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено OpenBSD , 23-Апр-20 22:25 
Цыц! ОН тут главный
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 12:21 
А в абсолютных процентах на сколько снижается потребление? Из статьи не понятно. Если на серваках 128 Гб, то 650-700 МБ - это меньше процента. И стоит это того тогда, если CPU начинает больше потреблять?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Crazy Alex , 23-Апр-20 13:49 
Я так понял, что не начинает больше потреблять, хотя казалось, что будет. Классический случай, кстати - угадайки в сложных системах не работпют, измерять надо.

Впрочнм, ждём сторонних тестов

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Коровавирус , 23-Апр-20 12:21 
О теперь по-русски: что означает существительное slab?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено имя_ , 23-Апр-20 12:24 
https://en.wikipedia.org/wiki/Slab_allocation
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Палочка Коха , 23-Апр-20 16:25 
Я просила по-русски
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Sw00p aka Jerom , 23-Апр-20 18:58 
https://ru.wikipedia.org/wiki/Slab
https://www.ibm.com/developerworks/ru/library/l-linux-slab-a.../
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Палочка Коха , 04-Май-20 14:18 
Да, блджад, там ещё больше заморских слов не то, что без перевода, даже без транслитерации.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Sw00p aka Jerom , 04-Май-20 20:32 
> Да, блджад, там ещё больше заморских слов не то, что без перевода,
> даже без транслитерации.

а вы переиначьте :)

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено IRASoldier_registered , 23-Апр-20 19:06 
Гугл в помощь, если после вуза по инглишу все еще такие затыки.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 20:49 
https://ru.wikipedia.org/wiki/Slab
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено GNU сектант , 23-Апр-20 12:37 
slab [s:leb] - (рус) жоппа
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено PnD , 23-Апр-20 15:14 
Во-первых, "[slæb]". Во-вторых, вы себе льстите.
(Я подозреваю, в связи с массовым переходом на диванную работу число плоских жо́п существенно сократится. Хотя х.з.)
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 12:40 
https://ru.wikipedia.org/wiki/%D0%A1%D0%...

иными словами при работе ФБ скоро комп будет греться настолько, что сможет плавить металл.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 13:27 
Да еще неизвестно какую дополнительную "работу" по сбору данных они будут делать нагружая процессор.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Crazy Alex , 23-Апр-20 13:45 
Открой патч и посмотри
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 13:59 
Звучит как зареверсь процессор и проверь что никакого мелтдауна и спектра нет. Да и какая гарантия что ФБ не добавит что-то потом?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Crazy Alex , 23-Апр-20 15:05 
А потом, по-твоему, никто ревьюить новые изменения не будет, или как? И чего ради именно фейсбук выделять? В ядро коммитит туча людей и контор, и как-то много лет уже все живы.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Палочка Коха , 23-Апр-20 16:30 
Роман Гущин из компании Книга Лиц опубликовал в списке рассылки разработчиков ядра Линукс набор патчей с реализацией нового контроллера распределения памяти брусками (приказчик брусков памяти). Новый контроллер примечателен переносом учёта брусков с уровня страниц памяти на уровень объектов ядра, что даёт возможность совместно использовать брусков в разных мутных группах, вместо выделения отдельных схронов брусков для каждой группы.

Предложенный подход позволяет повысить эффективность использования брусков, на 30-45% сократить размер используемой для бруска памяти и значительно уменьшить общее потребление памяти ядром. За счёт сокращения числа неперемещаемых брусок также наблюдается положительный эффект в области снижения фрагментации памяти. Новый контроллер памяти заметно упрощает код для учёта брусков и не требует применения усложнённых алгоритмов динамического создания и удаления заначек брусков для каждой мутной группы. Все мутные группы для памяти в новой реализации используют общий набор заначек брусков, а время жизни заначек больше не привязано к времени жизни установленных через мутные группы ограничений на использование памяти.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено YetAnotherOnanym , 23-Апр-20 19:19 
> набор патчей с реализацией нового контроллера

Набор лоскутов с воплощением нового управителя же!

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Какаянахренразница , 23-Апр-20 20:41 
>> набор патчей с реализацией нового контроллера
> Набор лоскутов с воплощением нового управителя же!

Гуртовщика :D

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Какаянахренразница , 23-Апр-20 20:37 
> из компании

из ватаги

> фрагментации

дробления

> эффективность

плодотворность

> алгоритмов

способов

> динамического

зело ветренного

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 24-Апр-20 08:18 
>> алгоритмов
> способов

Алгорифмов. Марков любил говорить "алгорифм".

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Мимокрокодил , 22-Май-20 15:12 
Аль-Хорезми просто офигевает с фефектоф фикции этих греков.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 17:00 
> О теперь по-русски: что означает существительное slab?

То и означает, сляб. В просторечии, "большой необработанный кусок".

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Коровавирус , 23-Апр-20 22:16 
Модератор, не тупи. "Чурка" - это большой необработанный кусок дерева, а не ты.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 24-Апр-20 08:15 
Ну почти. Чурак в деревообработке это грубая заготовка (не обязательно круглого сечения, даже не всегда определённой длины) и для одного изделия. У сляба все размеры нормированы, из одного в конечном итоге может быть произведён мешок вилок. Память так же куском резервируется, а позже сляб "нарезается" при аллокации данных.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Коровавирус , 24-Апр-20 12:22 
Анании, не тупи!
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 24-Апр-20 12:27 
По-умолчанию считаю собеседников вменяемыми, но если ты особенный, при случае обязательно тебя заострю.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено netricks , 23-Апр-20 12:34 
А не нарушает ли это самой идеи cgroups?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 12:37 
Нарушает только Тссс....
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 14:22 
Не больше, чем сама идея виртуальной памяти
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 12:36 
Просто ФБ пытается протащить свой зонд на уровень объектов ядра. Это все не просто так раньше было сделано на уровне страниц памяти.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Crazy Alex , 23-Апр-20 12:51 
Что ты курил?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 14:31 
Зачем это фейсбуку? ФБ вставляет зонд прямо в мозг анонимуса и тот совершенно бесплатно и добровольно всё про себя и свои мысли-хотелки рассказывает сам.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено IRASoldier_registered , 23-Апр-20 19:07 
Переставай пользоваться компьютером, у тебя от этого явно усиливается зондофобия.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 19:34 
5G-лучи! коронавируса не существует!
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Crazy Alex , 23-Апр-20 12:52 
Я смотрю, тут некоторые принципиально отказываются верить, что фейсбук мог предложить полезное изменение. Ну что сказать - вера и здравый смысл несовместимы.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено someone , 23-Апр-20 12:56 
> Я смотрю, тут некоторые принципиально отказываются верить
> Ну что сказать - вера и здравый смысл несовместимы.

Поэтому и отказываются верить.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Crazy Alex , 23-Апр-20 13:27 
Здравый смысл подсказывает, что Фейсбук - здоровенная контора с кучей денег и сложной инфраструктурой, крутящейся на линуксе. Логично, что у них есть и мотивация для для оптимизаций, и специалисты, и ресурсы.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 24-Апр-20 09:21 
Здравый смысл говорит что это всё понты. ФБ внедрить/инжектировать пытается то, что ей приказали. Поскольку у МЦ очень маленький головной мозг(анацифал), то им он и сообразить не может что, ну может быть лучше или дешевле, написать свою ОС. Не смотря на гораздо меньшие масштабы, на несколько порядков, я знаю по крайней мере пару Российских организаций ( не контор), которые для своих нужд в бизнесе написали свои собственные ОС, не на базе Линуха или БСД.  
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 13:25 
Т.е. ты просто веришь Фейсбуку  и головой не пользуешься? Так и запишем.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Crazy Alex , 23-Апр-20 13:31 
Есть код, есть кернел тим - всё это не вопрос веры. Из общих соображений изменения выглядят логичными. Рефлекторно реагировать на источник вместо того чтобы посмотреть самим либо положиться на хорошо работающие много лет кернельные процессы приёма патчей - дурь.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Crazy Alex , 23-Апр-20 13:39 
Ну сформулировал я кривовато, было б к чему цепляться. Вера в данном случае выражается в реакции на автопилоте "ай злобный фейсбук". Я хоть код глянул.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Annoynymous , 23-Апр-20 14:32 
> Т.е. ты просто веришь Фейсбуку  и головой не пользуешься? Так и запишем.

Т.е. ты просто не веришь Фейсбуку  и головой не пользуешься? Так и запишем.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 13:58 
новость в 2 словах:
раньше у каждого контейнера была отдельная slab-память, сейчас - общая, что очень упрощает всю подсистему
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено КО , 23-Апр-20 18:33 
>раньше у каждого контейнера была отдельная  ̶s̶l̶a̶b̶-память, сейчас - общая, что очень упрощает всю подсистему

Со стороны это выглядит так, учитывая, что это память заготовок под используемые объекты. Другими словами у разных контейнеров в результате будут данные в одной странице. Ну и возможность читать освобожденные, но не обнуленные перед этим фрагменты памяти друг друга.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 15:19 
> 3.13, имя_ (?), 12:14, 23/04/2020 Скрыто модератором
> Что за ноут?

Xiaomi 12.5", 4GB RAM, intel mobile, 256GB SSD.
С момента покупки работал не более 6 часов на 3-х вёдрах. На 5-х - 8 часов + 20% остатка. Это моя основная раб-машина.

Был ещё хромобук, в дуалбуте с GalliumOS, после 13-и часов тестирования я тоже увидел 20% остатка и ушёл спать. Ведро - 3.х. Но у него есть проблема - 2ГБ ОЗУ. Мне этого для работы не хватит ни как.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено КО , 23-Апр-20 16:01 
Хорошо, мордокнигу упоминать было обязательно?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 16:10 
у тебя проблемы с этим?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 19:09 
У неё больно морда страшная и система блокировок аккаунтов ни за что тоже
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 19:31 
и что? новость не о fb
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 18:05 
Пусть все знают своих героев и мотают на ус. Может кто-то так любит Фейсбук что сразу поставит эту штуковину себе на прод.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 20:48 
Ну zstd очень годный, то приходилось lz4 юзать (а до того вообще один lzo был) и он не обеспечивал нормальных результатов. Так что есть польза, что не говорите. Лучше бы правда с зависаниями по исчерпании памяти боролись, вместо oomd, но линукс исправить это конечно сложнее, чем поменять один из используемых в нём алгоритмов или аллокаторов и подпереть костылями.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено anonymous , 23-Апр-20 18:51 
Ну а на чьи деньги это делалось?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 19:00 
Сам автор патча и упомянул:

We've been using the new slab
controller in Facebook production for several months with different
workloads and haven't seen any noticeable regressions. What we've seen
were memory savings in order of 1 GB per host (it varied heavily depending
on the actual workload, size of RAM, number of CPUs, memory pressure, etc).

Успешное тестирование на всей инфраструктуре ФБ - куда более серьезный аргумент в пользу патча, чем бенчмарки на локалхосте.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 19:32 
> *что угодно* на локалхосте

ты сейчас сделал больно 99% местных икспертов, за что ты так?

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 19:51 
Ускорение чего угодно не стоит таких дыр в безопасности.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено www2 , 24-Апр-20 10:04 
Какие-такие дыры в безопасности? Вы так говорите, как будто раздельные slab были внутри пользовательских процессов, а не внутри ядра. Ядро само от себя структуры данных защитить не может, поэтому это изменение никаких дополнительных рисков безопасности, кроме добавления нового кода, не несёт.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 19:49 
Думаешь они станут сами у себя данные воровать? А вот поставит этот патч фанатик ФБ вот тебе база данных ФБ и увеличилась раз. А сэкономленную оперативу можно использовать для обработки новых данных. Сплошной профит.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 21:21 
> Роман Гущин (Roman Gushchin) из компании Facebook

Наверное таки обязательно. Ибо это та контора, которая оплатила работу специалиста.

Интересное собеседование у них было. Наверное самое сложное из тех, на которые я попадал. Я завалился на алгоритмах.
В принципе, я не очень-то хотел у них работать после просмотра видео их манагера прод-инженеров. Там рассказывалось, что из-за зверского on-call rotation люди просто ужодят и говорят: "Это не моя работа". К тому времени, я уже 4 месяца в сиске отмотал, и понимал что на он-кал - никакого здоровья не хватит.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено anonymous , 24-Апр-20 10:48 
Я вот эту неделю OnCall. За всю неделю была всего одна заявка и решилась за два часа. Команды очень разные, и ты сам выбираешь себе команду.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 25-Апр-20 09:39 
А я(тот аноним выше) - давно в разработку ушёл. Так поспокойнее.
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено anonymous , 25-Апр-20 10:59 
Как PE, я 90% технической работы посвещаю проектированию и разработке. А на предыдущей работе был SWE Lead, но это быстро наскучило без доступа к управлению железом :)
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено бублички , 23-Апр-20 21:53 
и рад бы этот пач попробовать, да своё ядро не собирал примерно с версии 2.6 - не было нужды да и нет столько свободного времени. ох и разрослось оно с тех пор. но любопытство раздирает
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 23:07 
Это не страшно, давай научу:

zcat /proc/config.gz > /usr/src/linux/.config
cd /usr/src/linux/
make clean
make oldconfig
make -j$(($(nproc)+1)) menuconfig
make -j$(($(nproc)+1)) && make INSTALL_MOD_STRIP=1 -j$(($(nproc)+1)) modules_install

Работы на 1 секунду.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено бублички , 23-Апр-20 23:51 
а в make menuconfig ты всю жизнь слепо next -> save нажимаешь? понимаю, вот такой неслыханныой опыт у тебя по части сборки собственного ядра. что и говорить, за эту секунду ты многому научился
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 24-Апр-20 00:01 
> а в make menuconfig ты всю жизнь слепо next -> save нажимаешь?
> понимаю, вот такой неслыханныой опыт у тебя по части сборки собственного
> ядра. что и говорить, за эту секунду ты многому научился

Так там уже всё настроено, при обновлении тебя спросят в oldconfig -- вот там уже надо нажимать ? и думать.

>вот такой неслыханныой опыт

а то ж, не у каждого 15+ лет сборки ведра под разные конфиги в бэкграунде.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено бублички , 24-Апр-20 03:34 
> а то ж, не у каждого 15+ лет сборки ведра под разные конфиги в бэкграунде.

то-есть это вот и была воплощённая квинтэссенция твоего 15-летнего опыта? вот в этих 6 строках, добрую половину из которых можно было уложить в одну строчку, а-то и целиком автоматизировать (вместо запуска в бэкграунд)? ты либо необычайно скромен, либо ещё скорее всего просто-напросто врёшь про 15 лет

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 24-Апр-20 03:45 
>вместо запуска в бэкграунд

Что, простите? Мы тут компиляем ядро ващет.

>а-то и целиком автоматизировать

Это ещё зачем? У нас же цель была ручками собрать ядро, алло?

>добрую половину из которых можно было уложить в одну строчку

Я тут однострочник пишу что ли? И интересно каких, ничего лишнего не наблюдаю. Разве что можно ещё добавить mount и cp, потому что ядро мы не скопировали (и команды для initrams, но это лишнее). Или это ты увидел -j$(($(nproc)+1)) и испугался? Ну, бывает.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 22:28 
Т.е. на типовом компе домохозяйки с запущенным браузером с открытыми 200 вкладками размер используемой памяти не сократится?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 22:42 
На десктопе cgroup не используется -> размер используемой памяти не сократится. Но при этом:
> Реализованный в новом контроллере slab более точный учёт ресурсов
> теоретически должен больше нагружать CPU

и:
> на практике различия оказались несущественными

Т.е. различия есть. Критерий "оказались несущественными" - относительный. Одно дело серваки facebook, а другое карманный девайс.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено steils , 23-Апр-20 23:33 
OMG! Почта автора — guro@fb.com

А вообще-то странная новость. Ну предложили патчи, здорово. Принимать такіе большіе наборы патчей въ ядро могутъ мѣсяцами, а это всего лишь третья итерація. Когда примутъ въ master, тогда это будетъ важно. Могутъ и не принять въ итогѣ.

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 23-Апр-20 23:59 
Опять докеры и контейнеры?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено And , 27-Апр-20 16:21 
Возникло впечатление, что наоборот. Что это про повыключать все ограничения и разграничения, т.к. так проще.
Было - раздельно по cgroups.
Стало - общее.

Но профан в теме, но ключевые слова настораживают. При таком наборе слов настораживает. :)  :))

"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено Аноним , 24-Апр-20 08:08 
Пакеты для убунту 20.04 есть?
"Facebook предложил новый механизм управления памятью slab дл..."
Отправлено arisu , 28-Апр-20 10:55 
цгрупы не нужны, а, следовательно, и этот супераллокатор тоже.