Опубликовано детальное руководство по тюнингу окружения Linux для достижения максимальной производительности обработки HTTP-запросов. Предложенные методы позволили поднять производительность обработчика JSON на основе библиотеки libreactor в окружении Amazon EC2 (4 vCPU) c 224 тысяч запросов API в секунду при штатных настройках Amazon Linux 2 с ядром 4.14 до 1.2 млн запросов в секунду после проведения оптимизации (прирост 436%), а также привели к сокращению задержек при обработке запросов на 79%. Предложенные методы не специфичны для libreactor и работают при использовании других http-серверов, включая nginx, Actix, Netty и Node.js (libreactor использовался в тестах, так как решение на его основе показало лучшую производительность)...Подробнее: https://www.opennet.me/opennews/art.shtml?num=55186
> Отключение защиты от уязвимостей, вызванных спекулятивным выполнением инструкцийотличное решение
Зачем вам защита от Spectre на сервере, на котором выполняется только ваш собственный процесс? Вы же там чужой код и браузер не запускайте.
> только ваш собственный процесс
> в окружении Amazon EC2Не знал, что омерзон даёт каждому клиенту отдельный физический сервер.
При рассматриваемой интенсивности обработки запросов все атаки по сторонним каналам бессмысленны из-за зашумлённости, их разве что можно в лабораторных условиях воспроизвести, где кроме кода жертвы и атакующего ничего не выполняется. И даже в идеальных условиях защита от cross-VM утечек нужна на стороне гипервизора, а не гостевого окружения.
Про Spectre раньше так говорили в принципе, пока реальные эксплоиты не появились.
Но интенсивность запросов может иногда и снижаться до приемлемого для анализа по сторонним каналам уровня. В зависимости от времени суток, времени года, и т.д.
Попытка атаки будет очень заметна в графике производительности, особенно с учётом того, что они там привязались к ядрам (очевидно физическим, я хз как, но смысл привязываться к виртуальным?). Им всего то надо держать высокую загрузку серверов и останавливать простаивающие контейнеры для экономии денег.
Откуда ты знаешь?
В браузере уже вшиты средства защиты с "плавающими задержками", которые очень сильно затрудняют несанкционированный доступ к памяти.
новость про сервер, а доступ к серверу не обязательно через браузер
В большинстве случаев эта защита и не нужна
да-да-да, кл-ко-ко, местные знатоки IT подъехали
Это ты так себя вызываешь?
Мне кажется крупный инфраструктурный сервис - как раз то место, где защита нужна.
AWS и так с этой секурной фигней, зачем ее рекурсивно включать еще внутри?
наши кодеры вручную могу 3 млн сделать
>Отключение dhclient и установка IP-адреса вручную привела к повышению производительности на 6%, а пропускная способность возросла с 1.06M req/s до 1.12M req/s.интересно, это как, за счёт чего? dhclient один раз получил айпи и дальше спит всё время
Спит и потребляет ресурсы. Вот гад.
ВОЗМОЖНО это связано со сроком аренды от сервера DHCP. Клиент, получивший сетевые настройки, ОБЯЗАН по истечении половины срока аренды снова обратиться к серверу DCHP. Если срок аренды короткий, то, возможно, клиент часто обращается к DHCP серверу, что, каким-то образом, негативно влияет на производительность по сравнению со static IP.
https://selectel.ru/blog/dhcp-protocol/
>> https://selectel.ru/blog/dhcp-protocol/
> Например, администратор может задать диапазон используемых IP-адресов от 192.0.0.10 до 192.0.0.400.мде...
лень читать, вкратце перескажите что "мде", пожалуйста
Что это за адрес такой 192.0.0.400 ?
некто ryoken, чё сложно что ли сразу написать про 400? иди-ка сделай что делают за 300
БАЙТ
РАЗМЕР БАЙТА
Хе.
>Например, администратор может задать диапазон .... до 192.0.0.400.А собственно с чего смешки то?
Задать - может и может :)
Да и вообще что мы знаем о способностях администраторов selectel.ru ?
Может они переписали сетевой стэк на dword и баста...их сети, что хотят то и делают...
Скорее всего опечатка, там дальше по тексту видно что до 200
192. 0 .0. 400
Две ошибки в одном адресе. Доннер веттер!
Скорее всего рн держит открытый raw сокет в прицепленым к нему bpf фильтром, что и вызывает массу ненужных действий внутри ядра.
Надеюсь кто-то решит эту проблему. Использование dhcp на серверах это хороший тон в администрировании, и то что они все сейчас из-за этого хоть немного, но тормозят, уже не делает мой сон настолько сладким.
Выкинуть на мороз все ваши bpf
И станет еще тормознее. Экспертов по сетевому стеку линукса подвезли
> Экспертов по сетевому стеку линукса подвезлиНу, с прибытием, чё.
DHCP -- это хорошо для provisioning-а. Но использовать его на постоянной основе на серверах -- это достаточно спорное решение. И вовсе не из-за производительности, а из-за reliability.
Выключаем оптимизации от дыр в процессоре и все работает быстрее. Кто бы мог подумать.
Они наконец стали BDS догонять. Но ещё много работы...
>Отключение системных сервисов, приводящих к лишним блокировкам в сетевом стеке. Отключение dhclient и установка IP-адреса вручную привела к повышению производительности на 6%, а пропускная способность возросла с 1.06M req/s до 1.12M req/s.LOL. Вообще вот это все для чего? Для бенчмарков или для production?
для prodiction, но не твоего, васян, а пейсбука.Когда у тебя ряд из сотни стоек, то 6% - это минус шесть стоек под той же нагрузкой. Каждая из которых стоит больше, чем все твои почки, печенка и прочий ливер, даже если они еще и годятся для донорства, а не только на рояльканин.
Ну и да, прикольно, однако, получилось. То есть интуитивно, конечно, всегда считал dhcp для серверов исключительно унылым г-ном, но такого совершенно не ожидал. (ну а чо вы хотите, он же, помнится, любитель raw socket?)
Да эти шкафы от стоек как чемоданы без ручки. Когда нужны их нет, а когда стоят без дела не знаешь кому их отдать.
Иппать ты лох!Я ДВАЖДЫ находил в таких "как бы стоящих без дела" майнеры, оставленные давно уволившимися сотрудниками, и мала-мала капавшие им деньжат в кошелечек.
P.S. отдать-то легко, в аренду - но потом нельзя резко забрать, когда подскочит нагрузка, арендатор обидится. Проще и впрямь майнить, особенно, если за электричество платят не по факту а по числу розеток или еще какой дрянной схеме.
Я с удовольствием заберу, если оно им так мешает. Самовывозом, даже на демонтаж готов из своих заплатить.
Подари мне лишние. У меня лишних нет. Майнить не на чем. Как подаришь -- побегу к соседям лектричество выпрашивать не ставя соседей в известность.
100 дорогущих стоек купили и из-за 6 жмутся? Смузиброды!
Гретта в бешенстве!!
Ну и ты конечно нам расскажеш про хорошую и безопасную замену dhcp сервера?
а когда у тебя 100 вагонов с золотом, то это целых 6 вагонов с золотом
6% это всегда 6%
я смотрю 12 человек освоило матиматику и знает что такое 6%но потом пейсбук вводит новую функцию, на которую нужно еще 100 шкафов, и почти все старые оптимизации становятся бессмысленны.
а дальше очередной раунд оптимизаций... за цену оптимизаторов можно девелоперам накинуть, чтобы говна поменьше писали, самый маржинальный прирост производительности - архитектурный.
это не оптимизация CRC16 в линухе, которая никогда не поменяется, и то могут быть нюансы для разных процессорных архитектур.
> потом пейсбук вводит новую функцию, на которую нужно еще 100 шкафов, и почти все старые
> оптимизации становятся бессмысленны.не становятся - повторю, именно поэтому к шкафу и прикован инженер, настоящий, не впопеннетчик, и даже цепь достаточно длинная чтобы он мог заниматься в нерабочее время подобными экспериментами.
> а дальше очередной раунд оптимизаций...
старые при этом никуда не деваются. Обрати внимание - больше половины там не за счет конкретного сервера (который тоже никуда, скорее всего, не денется сам по себе, поскольку это не фейсбукоспецифичное, а универсальное, и для новой функции тоже будет употреблено) а общесистемного. Поэтому шкафов изначально поменьше, чем потребовалось бы без прикованного к ним кожанного мешка. А там, глядишь, и еще что сумеет оптимизировать.
Т.е. вопрос исключительно цены - если твои 6% в твоем единственном сервере не видны вообще никак - то тебе оно и не надо. Если ты Сцукенберг - твои 6% очень даже выгодно получить налом, не потратившись на лишние шкафы. Одна цепь и одна миска с кормом существенно дешевле обходится.
Если ты где-то в промежутке - то внедрив у себя даже только небольшую часть тех улучшизмов - все еще можешь заслужить себе в миску хотя бы рояльканин, а не педигри.
это все верно, но для низковолатильной системы, чет я сомневаюсь что пейсбук именно такой, хотя может развитие и остановилось, но в прогресирующих системах следующие 100 шкафов просто факт
P.S. народ подскажите лучше какие есть альтернативы LUKS+dmcrypt для FDE, сильно проседает производительность дисковой подситемы, теряем около 30-40%
> прогресирующих системах следующие 100 шкафов просто факту пейсбука это не 100, а скорее 1000 на самую мелкую доработку алгоритмов слежки. И да, экономия даже 60 из них - вполне оправдают содержание одного приличного раба.
А там на самом деле куда больше наэкономилось.
Интересное исследование, добавил в закладки
> который был улучшен путём удаления кода для ограничения числа используемых ядер CPUГениально.
а потом они откроют для себя gentoo, и окажется что правильной компиляцией с подходящим списком зависимостей, можно повысить производительность до аналогичного уровня не отключая защиты
то есть после отключения будет ещё быстрее?
заморочились. кому-то может сэкономить время, иначе потраченное на бесполезный вариант оптимизации
кто "заморочилИСЬ"?чувак сидел дома в изоляции от ковида, писал статьи, ему было скучно...
> Предложенные методы не специфичны для libreactor
> Пункт 1. Оптимизация кода libreactor. Общий прирост производительности после оптимизации кода составил 55%.Это шутка такая?
> Отключение защиты от уязвимостей
> Отключение механизмов аудитаВ чем собственно, тогда цель исследования? Посмотреть насколько это губит производительность? Или что? Изначально было понятно, что это всё не бесплатно и пагубно влияет на производительность.
Цель исследования - как делать больше бабок на меньшем числе серверов.
> как дать возможность неведомым майнерам делать больше бабок на любом числе ваших серверов.пофиксил
> как дать возможность неведомым GraceLoverBear сливать больше инфы на любом числе ваших серверов.Фикс фикса
Если вы, и вот автор которому вы отвечаете, наконец прочтете текст исследования - то узнаете что автор исследования делал это для собственного развлечения.
"just for fun"
Вот так вот...
> В чем собственно, тогда цель исследования? Посмотреть насколько это губит производительность?и выключить то, что влияет сильно, оставив безобидное, да.
> Изначально было понятно, что это всё не бесплатно и пагубно влияет на производительность.
изначально это был бы твои васянские фантазии. А теперь у пейсбука есть замеры, позволяющие обоснованно отключить ненужную видимость безопасности там, где она реально вредит бизнесу.
И у тех кто в голову умеет не только кушать - тоже, спасибо пейсбуку за наше счастливое детство.
Ну то есть стало очевидно что борцунство с изоляцией бессмысленно, как и идеи секты свидетелей -09 ломающие все подряд, эти доли процента нужны только пейсбуку, а вот nospectre_v2 критично.
Ну и dhcp, конечно, впечатлил. Не столько выигрышем, сколько тем что он вообще измерим, причем заметен.
Мне еще понравился прирост от привязки к ядрам.
Сейчас это слишком трудно делается.
Показан не теоретический, а конкретный и значительный прирост.
Это явное место развия ядра, предоставление простых механизмов привязки процессов.
Да нет там никакой привязки. смотрите текст исследования.Чувак запустил htop и обнаружил что программа использовала только два ядра из 4-х. задался вопросом зачем?? Может быть авторы таким образом пытались избавится от переключения контента, от снижения конкурентного доступа на ядрах... Он в качестве пробы убрал этот код...
> Мне еще понравился прирост от привязки к ядрам.похоже, какая-то личная проблема именно этого пейсбукосервера.
Я не добился взаимности от отключения irqbalance и ручного рассовывания по ядрам на своих коробочках, где ядра мало того что тормозные, так еще и половина маломощные.Возможно, потому что они, разумеется, загружены не на 100, а на 10%, и обычный планировщик и так успешно справляется с распиныванием задач по процессорам, не слишком часто меняя их на ходу (и да, он у меня нештатный и знает про big.LITTLE)
Может еще дело в EC2. Мамазон может использовать (да наверняка и) железо с NUMA, не пробрасывая эту информацию в виртуализацию. Не то чтобы мне удавалось глазами увидеть разницу, но вот техподдержка вмвари, например, со мной не согласна. Сочетание неэффективной адресации с автобалансировкой, теоретически, может дать вполне заметные потери (опять же - на фейсбуко-нагрузках, простым смертным пофигу).
> Это явное место развия ядра, предоставление простых механизмов привязки процессов.
да они вообще-то простые, только их двадцать таких простых. taskset для юзерспейса, /sys для прерываний и кстати угадай какое от чего, другой /sys для многоголовых сетевых карт.
>> при запуске контейнера dockerЯ знаю где ещё достать 146% производительности, удалив одну прокладку
Без докера не модно.
> Отдельный запуск libreactor не отличался в производительности от запуска в контейнеревесь текст не осилили?
Вы тоже не осилили.
>Отключение механизмов аудита и блокировки системных вызовов при помощи команды "auditctl -a never,task" и указания опции "--security-opt seccomp=unconfined" при запуске контейнера docker. Общий прирост производительности составил 11%, а пропускная способность возросла с 446k req/s до 495k req/s.Мне кажется проще его выключить
Я прочитаю это за Вас и скопирую сюда:"Отдельный запуск libreactor не отличался в производительности от запуска в контейнере" (с)
Не благодарите...
благодарствую
То есть они сначала у контейнера отключили аудит и безопасность, а уже потом пробовали запускать в этом контейнере и без него? :)))
скажите тогда уж в чем шутка, чтоб все посмеялись...А то как-то странно выглядят смайлики в этом месте.
> То есть они сначала у контейнера отключили аудит и безопасность, а уже потом пробовали запускать
> в этом контейнере и без него? :)))ага. Напоминает любимое Оленем исследование "неэффективности закрытия общественного транспорта как карантинной меры". Ага, абсолютно никакого эффекта не дает - во всех проверенных исследователями случаях (когда транспорт закрывали уже ПОСЛЕ того как оцелопы п-ли дубинкой за попытку высунуть нос из квартиры - и до него уже давно никто просто не доходил).
А так-то да, неплохой подсчет потерь эффективности на докер в докере под докером. Похоже, как бы не больше чем от паравиртуализации получается.
Контейнеры не столько для безопасности, сколько для повторяемости результата на других железках.
они вообще не про безопасность. они про развертывание и воспроизводимость...
> Мне кажется проще его выключитьВероятно, пейсбук не умеет в rpm ;-) [dpkg или что там у них]
Еще и host networking до кучи, ага.
> Оптимизация кода libreactorА это точно "оптимизация Linux"?
> Отключение защиты от уязвимостей
> Отключение механизмов аудита и блокировки
> Отключение iptables/netfilterОсталось выставить соответствующие сервисы голой дупой в Интернет и ждать гостей.
На картинке Actix производительнее, чем Nginx. Это что же, сишечка слила ржавому по скорости??
Наоборот же, nginx быстрее оказался.
- Скорость набора какая?
- 9000 знаков в минуту.
- Разве можно с такой скоростью печатать?
- Конечно можно, правда такая херня получается!
Кстати, интересно, а как им удалось при использовании ненужнодоскер избавиться от iptables?
Вероятно что "--network host"
> Вероятно что "--network host"и по одному контейнеру на хост? Нда, я бы докер выбросил еще предыдущим ходом.
Т.е. 28% производительности процессора у нас украл его изготовитель, встроив уязвимость, от которой необходимо защищаться такой большой ценой
Белка-истеричка, ты ее сама у себя "украла", включив защиту от того, чего быть не может.
Дол!@#б шт0ле, с-ка? Заshitу завезли превентивно, тебя не спросили. Теперь выковыривай ее полностью из ведра ручками, не забудь предварительно в аптеке Визином(tm) запастись.
> Дол!@#б шт0ле, с-ка? Заshitу завезли превентивно, тебя не спросили.там чувак песни пел про проклятуууущих производителей процессоров, не ты, надеюсь? Но твое неумение читать на что отвечаешь, а не последнее в треде это не отменяет.
Проблема ж не в процессорах, в белках-истеричках присунувших нам всем свою безопастность - в ядре, в котором миллион пищалок перделок и крутилок не сделав еще одной, а прибив метровыми гвоздями. И божок-с-пальцем ничего не вякнул об их неумении кодить, заметь.> Теперь выковыривай ее полностью из ведра ручками
а тут согласен. 6% vs 30 :-(
> не забудь предварительно в аптеке Визином(tm) запастись.
визин тут не слишком поможет, а капли вечной жизни в аптеке не продают.
Судя по тому что патчи достали многих и в гугле, и в мордокниге в том числе, но антипатч так никто и не сумел предложить, колются, плачут, отключают отключалками и продолжают грызть кактус - в мире есть буквально несколько десятков человек, способных на такой подвиг.Я, конечно, кое где еще могу себе позволить:
ls: cannot access /sys/devices/system/cpu/vulnerabilities: No such file or directoryно это вряд ли надолго. Поддерживать 3.0 ведро так себе развлекуха.
Хммм ... Не думал, что на Linux файервол настолько дорог. Интересно бы сравнить с pf и ipfw
> Хммм ... Не думал, что на Linux файервол настолько дорог.это для пейсбука он "настолько". Ты, скорее всего, даже и не заметишь разницу.
> Интересно бы сравнить с pf и ipfw
сравнивай, методику тебе выложили. Предвижу отвратительные результаты у обоих, эффективность ни разу не их конек.
Но, опять же, актуально для пейсбуков. Все остальные не сумеют обнаружить разницу на своем реальном траффике.
На фряхе он оказался ещё дороже. Я как лох повёлся на бздишный хайп и взял VPSку на этой самой фряхе. Чисто попробовать. Фряхой я пользуюсь сильно изредка, но тк там кое-что нужное мне - нативное, поэтому вот.Но первым делом мне нужен был впн. Соответственно - NAT. Втыкаю natd - пропускная способность падает до килобит, вместо 200mbit, выделенных VPSке. Пробовал in-kernel NAT, чуть лучше, но все равно остается в килобитном диапазоне. Даже до мегабита не дотягивает, не то что до 200mbit.
Самое смешное, что я не знал, что фряха так может лажать и накатал тикет провайдеру, типа чо за хрень у вас с сеткой. Они тоже не знали что фряха такое говно и перевели мою VPSку на другой сервер, что, разумеется, не помогло. Уже потом, когда я стал ковырять это говно глубже, вот тогда все это и выяснилось. Перед провайдером я, конечно, извинился, но как юзер не могу считать себя виноватым. Всё делал строго по букварям, а уж если буквари годятся только для розжига, ну и система ваша туде же должна идти.
Вобщем, все надо использовать с особой осторожностью и никому не верить, типа нетфликс всё раздает с фряхи и все норм. Лажа все это.
А не судьбы была либо взять готовое решение из *sense-семейства (pfsense или opnsense)?Или хотя бы погуглить на тему "freebsd natd" и прочитать сответствующий материал (аж десятилетней давности) на том же хабре - https://habr.com/ru/post/111580/
Где, в частности, в конце есть сравнения - и они точно не в пользу natd.
И комментарии там есть вполне информативные в обсуждении.Так чтааа, панимаишь - кулст0ри бр0, пеши исч0.
тем не менее, несколько десятков мегабит там вполне намеряли, вовсе не килобиты, причем на железе десятилетней давности и вряд ли особо пафосном - так что тут что-то не так. Либо с vps, либо с провайдером.Ну а в принципе, когда там появился ipfw nat без divert socket (остальные глюкала я настоятельно не советую даже пробовать) - лет пятнадцать тому? Надо ж иногда и обращать внимание на дату копипасты, которую себе копируешь из вопроса, не дочитав до ответа.
интересно, а что надо подкрутить на моём двухядерном корче (athlon 5000+ и nvidia 8100) что бы то же 5 раз ускорить?
ssdшку поставил, рамы 4, xubuntu
какой там параметр ядра надо поковырять?
Поставить генту (арч отстой) и крутить его до полного просветления.
Просветления, что пора покупать новый пк?
там же написано
>Использование параметров при загрузке ядра "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off" позволило поднять производительность
Поставить арч (генту отстой) и крутить его до полного просветления.
> Поставить арчКупить козу (с) (а через месяц -- продать).
>рамы 4Это норма 10 лет назад давности. Сейчас норма на стационарнике - 16. Так что для тюнинга поставь, как минимум, 32.
ага, ддр2, 16 гигов рамы.
там планку на 4гб найти невозможно
Мне на восьми уже 10 лет нормально, думаю ещё года 3-4 тоже будет нормально.
> замены вызовов read/write на recv/send (5-10%)в жизни бы не догадался, что это может влиять
> Не повлияло на производительность обновление ядра Linux до версий 4.19 и 5.4
и таким образом лишили многих линуксоидов смысла жизни
Зато падение до 2.6 дает прирост, но там докер может сделать ручкой.
> Зато падение до 2.6 дает прирост, но там докер может сделать ручкой.не факт, посмотри на героическую борьбу со спинлоками, и учти что 2.6 это времена двухпроцессорных петниумовпро.
Тогда никто вообще не заморачивался подобными оптимизациями, внутри ядра в том числе.
Наоборот, добавило уверенности, что новые ядра не медленнее старых.
нуу... если они из кода уберут if/else... могут еше прибавить...
[i]если они из кода уберут if/else[/i] - дешевле отказаться от json в сторону бинарных форматов, чем оптимизировать по if/else.
if/else решает предсказатель переходов, который попадает в 98% случаев (да, конечно, если вероятность предсказания увеличить до 99.9, то можно увеличить производительность на процентов 5-10-15, но это почти невозможно)
если уже так глубоко копать и мы говорим про приложение - надо смотреть и оценивать задержки по памяти через манипуляции с L1/L2/L3 кешем, но виртуализация
или не могут. https://habr.com/ru/company/selectel/blog/557410/
Какой предел у предсказателя ветвлений? Проверили на x86 и M1
"... На x86 код должен распределить бюджет BTB между вызовами функций и условными переходами. BTB имеет размер всего в 4096 записей. Код, критичный к производительности должен быть меньше 16 КиБ, чтобы получить серьезное преимущество благодаря использованию BTB."
Linux! - можно настроить все!
Linux - нужно настраивать всё!
> Linux - нужно настраивать всё!Современный Linux можно настраивать годами, и не получить ровным счётом ничего, (знаем, сам такой), ядро от 3.0 убило всё.
переходите на винду.
индийский программист всегда подскажет, что больше ничего настраивать не нужно.
вам даже расскажут, где именно настраивать ничего не нужно...
В винде изначально ясно, что как бы ты её не форсил, прироста не будет, а на линуксе он был, раньше, сейчас это тупо профанация
я вот сейчас подумал, в венде и макос всё системное окружение воспринимается как данность, ну т.е. оно есть и трогать его не надо...
а в линуксе, прикинте, системный журнал можно отключить!
Обожаю первооткрывателей.
Всегда отключаю эту дрянь, и пускай знатоки systemГ и сотрудники RedHat с ЛОРа не п**ят, что это убивает систему.
А где вой негентушников что -O3 и -march-native ненужны ведь памяти жрется примерно столько же и ваще хромой лучше, ибо там же есть ангуглед версия?
> А где вой негентушников что -O3 и -march-native ненужны ведь памяти жрется
> примерно столько же и ваще хромой лучше,Расскажи поподробнее, сколько миллионов JSON-запросов в секунду у тебя в хромом нагрузка (а так же, причем тут "негентушники" и прочее сравнение жопы с пальцем)?
При чём тут память? С O3 браузер собирать? Ну такое.
>nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=offРазве mitigations=off не отключает это все одной опцией?
"Оставлены без изменения настройки для защиты от атак L1TF/Foreshadow (l1tf=flush), iTLB multihit, Speculative Store Bypass и SRBDS, которые не влияли на производительность, так как не пересекались с тестируемой конфигурацией"
Тогда всё это откровенный звиздёшь, так как "mitigations=off" не даёт ровно никакого прироста, если не наоборот.
Есть узкие кейсы на которых повышается производительность. Но это интересует только хайлоад на десятки тысяч нод.
Вот я и говорю что звиздёж)
Человек измерил, привёл цифры, не вижу основной ему не верить, а вы «звиздёж».
Или вы про то, что под вашей нагрузкой цифры другие получаются? Так ничего удивительного, разве в статье утверждается, что любая нагрузка получит именно такое ускорения?
Нет у него никаких цифр. Это типичный обитатель впопеннета, с единственным void linux в дуалбуте.
"ощущения" у него, чего ж неясно.> Так ничего удивительного, разве в статье утверждается, что любая нагрузка получит именно такое
> ускорения?в целом, очевидно, почти любая получит какое-то ускорение, поскольку ничего специфичного не делалось. Но для этого надо чтоб нагрузка вообще была, а не "страничка опеннета в браузере открывается".
Печалька, конечно, в малоприменимости во многих реальных ситуациях, отличных от фейсбуковой, с единственным приложением на инстанс. И очень обидны 6% экономии на pti=off (напоминаю, что потери на самих патчах по гуглозамерам - до 30%, но сделать с этим, видимо, ничего уже нельзя, белки-истерички позаботились о нашей безопасТносте - особенно возрадоваться должны владельцы amd)
Почему не даёт? В моих тестах давал вполне воспроизводимый прирост (хоть и не очень большой)
Ну не знаю, по моим ощущениям сразу после mitigations=off наблюдалась какая-то дубовость что-ли, хз как обьяснить.
разница между тобой и инженером именно в этом. Он - мерял. А у тебя - "ощущения".Поэтому он работает в фейсбуке, а ты в подвале.
Очень достоверно, как всегда
не пробовали DPDK запользовать ?....
А есть какое-то осмысленное обоснование для DPDK в виртуалках?
Dpdk в первую очередь про уменьшение переключений контекста, что тут меняет виртуализация?
Возможности тюнинга ядра безграничны
> Отмечается, что nftables работает более эффективно, чем iptablesя тоже заметил это
Как же достало отсутствие документирования в Линукс.Теперь вот это: "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off", а разве "mitigations=off" уже недостаточно?
Они не всё отключали. В линуксе всё прекрасно документировано бтв.
он. ОН отключал... Это исследование сделал ОДИН человек которому было скучно сидя дома из-за ковида.. И вот пока он маялся дурь....бездельем - провел это исследование ради интереса. о чем и рассказывает с своем посте...
"Они" -- это гендерно-нейтральная форма.
Они - это множественное число. Тогда там либо сиамские близнецы, либо Николай v.2. Корректно будет - "оно" или "это".
Оно/это -- средний род, а не неопределённый. Если пол (хотя сейчас модно гендер) неизвестен, нейтральная форма более корректна.
Это что же получается, маньяк в молчании ягнят опередил свое время и был политкорректным, когда обращался к жертве "оно"?
Во дела.
Если он обращался через "оно", то это неодушевлённый предмет или животное.
Инклюзивисты даже в гуманитарщину не смогли? Они - множественное число среднего рода. Нет никакой "нейтральной" формы.
Вообще-то, это серьёзно форма для неопределённого пола при обращении, и никакого отношения к инклюзивности не имеет…
просто добавь этот сайт себе в закладки https://make-linux-fast-again.com/ параметры для /etc/default/grub
В нормальных конторах фаервол сугубо хардварный отдельными железками. На самих сервисах не нужен никакой iptables или pf.
То что файрвол сделан в виде отдельной железки и покрашен в модный цвет- ничего не говорит о том сколько там внутри "железа" и сколько делается на обычных бытовых процессорах... поинтересуйтесь на досуге как "сугубо хардварный" сделан у популярных брендов.Что же касается файрвола на самом сервисе - то эта рекомендация гуляет по сети лет 40. Ее нюанс- в том что если вы не обрабатываете хайлоада- она вам как пятое колесо к телеге...
> поинтересуйтесь на досуге как "сугубо хардварный" сделан у популярных брендов.да, поинтересуйтесь. Напоминаю - в cisco asa 5510 - pentium3 celeron. Одноядерный, конечно (ибо пентиум3) По-моему даже не тулатин, так что там что-нибудь не выше гигагерца. Очень интересно, много ли вы лично таким нафайрволите, даже без шифрования (которое она худо-бедно тоже могет на сотню-полторы юзеров и пяток site2site если не слишком насиловать траффиком).
Это в общем-то единственный "популярный бренд" про которого точно известно, что у него внутри и приблизительно - как оно работает (поскольку его ковыряли и доковырялись таки до возможности запуска отдельно от железа).
Что там и как у pa5xxx - один аллах ведает. Но ничего подобного ваш линoops все равно не умеет в принципе.
Например не умеет вставать колом при 100к/с синов.
> Например не умеет вставать колом при 100к/с синов.А если найду?!
Чудес не бывает, если ты их собираешься парсить, а не дропать сразу на входе до попадания в conntrack.
Не бывает, да. 5585Х затыкается на примерно 130к даже при дропе.
А линукс на древнем 8-ядернике держит до 2.5 млн/с в режиме синпрокси, то есть с парсингом и кучей дополнительных операций.
То что там есть процессор общего назначения не значит что через него идёт весь траффик. Учи матчасть.
> В нормальных конторах фаервол сугубо хардварный отдельными железками.и первый же червяк, пробивший внешний контур безопасности, или "обиженный" сотрудник, имеет всю контору? Ну, ооок.
А не могли бы вы опубликовать список лично вам известных "нормальных контор", ну чисто так для интереса - чтоб ненароком там личные данные не засветить или, упаси Б-же, денег не похранить?
Да, и вот как там с докером, тут пацаны интересуются? В "нормальной конторе" вы его тоже с "--network host" запускаете, вручную на каждом сервере (ибо никакие стандартные оркестраторы такой авангард не поддерживают) ?
Для альтернативно одаренных ником - кроме внешнего фаервола еще бывают внутренние и еще сегментация, и еще много чего интересного.
Так может, если местные иксперты поднастроят свои локалхосты, то у них и хром тормозить перестанет? 🤔 Правда тогда у них не будет возможности поныть...
Ну, если все что они при этом будут делать на своих компах- это гонять ... пустые json запросы... на AWS - то почему бы и нет... :)
Поймать поймали 10005000 заисей как и куда их оптимальней всегл записать на диск для хранения и дальнейщей обработки
С какой целью? Если это, например, список параметров отображения ленты друзей в пейсбуке? Зачем это всё хранить?
Патчи из Миннесоты животворящие ты посмотри что творят! ВАХ!
Опять на Ц. Было бы на каком-то языке, на котором можно сразу и логику нормальную написать (типа того же Раста) и можно было бы отправить на свалку всякие Ноды.Кстати, коль скоро сейчас всё-равно крутится в виртуалках, почему бы не написать сразу операционку без поддержки графики, пользователей и прочьего, у которой одна задача - обрабатывать HTTP запросы. Очевидно не нужно раз не пишут. Но почему? Слишком мал выигрыш в производительности будет?
В данном случае надо сперва решительно закончить школу...Ах да, некоторые уже закончили...первый класс вроде уже отучились... Но надо не этот год обучения, а школу вообще...После чего пойти выучить что такое операционная система и чем она отличается от прикладной программы.
Узнать, что прикладные программы выполняющиеся на baremetal - существуют, и вы можете паковать свои проги в такой вид (в этом смысле вы ломитесь в открытую дверь). Узнать какие при этом у вас возникнут проблемы, если ваше железо - более чем один роутер или платка распберри.И... мы Вас ждем с новыми остроумными комментариями и мнением по глобальным вопросам :)
Есть такие ОС, для оборочавания вокруг одной программы.Ну и вы вполне такое из линукса можете сделать.
Интересные оптимизации, которые больше всего сводтся к аналогу "А давайте с автомобиля снимем весь обвес, оставив только раму, откажемся от риятных излищество вродеподушек безопасности, уберем все предохранители и втопим педаль в пол". Вопрос только как быстро пилот сможет "уехать" на таком шайтан-шаттле?
Но, в принципе, почему нет?
Именно так делают автомобили для гонок- убирают все лишнее- все что не имеет отношения к решению поставленной задачи. Более того, ВСЕ оптимизации делаются этим путем. Просто вы еще не поняли этого. Ну и не все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать что можно убрать а что нельзя.
>Ну и не все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать что можно убрать а что нельзя.я думаю, стоит начать с js-программистов.
Просто вы еще не поняли этого.
> Именно так делают автомобили для гонок- убирают все лишнее- все что не
> имеет отношения к решению поставленной задачи. Более того, ВСЕ оптимизации делаются
> этим путем. Просто вы еще не поняли этого. Ну и не
> все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать
> что можно убрать а что нельзя.Ну разумеется, вот только гоночные болиды никто на улицы не выпускает. Да и истинный гоночный болид уже ну очень далек от классического автомобиля, а тут именно что берут серийную тачку и делают из нее шайтан-мобиль. Может если так сильно оптимизировать линукс под запросы стоит уже ...подумать об альтернативах?
И снова не на расте
Ну так перепишите libreactor на расте и будет счастье...
>XXXX-запросов в секундуэт как гигагерцы в штеудече. частота на гиг больше чем у амуди, а толку никакого.
не поможет увеличение объёма обработки запросов при говнокоде, как авторитетный диванный эксперт вам заявляю.
> поднять производительность обработчика JSONВот никого не смущат нет? Всё нормально? Сначала это г везде всунули а теперь систему тюнить?
Очень просто всё ребята, не использовать уродский JSON. Это чуждо как человеку так и машине.
Да вроде простой формат для парсинга, и человеку таки куда проще xml.
Непонятно к чему вы это.Я вижу проблему в том, что взаимодействие сетевых приложений стали повально делать через передачу файлов по шттп. И непонятно лучше это или хуже ftp.
Шизофрения настоящая.