forum.opennet.ru

"Оптимизация Linux для обработки 1.2 млн JSON-запросов в секунду"

Форум Разговоры, обсуждение новостей
Версия для распечатки	Пред. тема \| След. тема

Исходное сообщение

[ Отслеживать ]

Присылайте удачные настройки в раздел примеров файлов конфигурации на WIKI.opennet.ru.

. "Оптимизация Linux для обработки 1.2 млн JSON-запросов в секу..."	+3 +/–
Сообщение от Нанобот (ok), 21-Май-21, 10:13
> замены вызовов read/write на recv/send (5-10%) в жизни бы не догадался, что это может влиять > Не повлияло на производительность обновление ядра Linux до версий 4.19 и 5.4 и таким образом лишили многих линуксоидов смысла жизни
Ответить \| Правка \| Наверх \| Cообщить модератору

Оглавление

Оптимизация Linux для обработки 1.2 млн JSON-запросов в секунду, opennews, 21-Май-21, 08:56 [смотреть все]

отличное решение, Леголас, 21-Май-21, 08:56 (1) //
- Зачем вам защита от Spectre на сервере, на котором выполняется только ваш собств, Аноним, 21-Май-21, 09:25 (10) //
  - Не знал, что омерзон даёт каждому клиенту отдельный физический сервер , YetAnotherOnanym, 21-Май-21, 09:48 (23) //
    - При рассматриваемой интенсивности обработки запросов все атаки по сторонним кана, Аноним, 21-Май-21, 10:13 (40)
      - Про Spectre раньше так говорили в принципе, пока реальные эксплоиты не появились, Аноним, 21-Май-21, 10:49 (49)
      - Но интенсивность запросов может иногда и снижаться до приемлемого для анализа по, Аноним, 21-Май-21, 12:05 (70)
        
        Попытка атаки будет очень заметна в графике производительности, особенно с учёто, Кирилл, 21-Май-21, 20:56 (134)
  - Откуда ты знаешь , Аноним, 21-Май-21, 09:49 (24)
  - В браузере уже вшиты средства защиты с плавающими задержками , которые очень си, _hide_, 21-Май-21, 09:53 (29) //
    - новость про сервер, а доступ к серверу не обязательно через браузер, _unhide_, 21-Май-21, 11:24 (59)
- В большинстве случаев эта защита и не нужна, Аноним, 21-Май-21, 09:27 (11) //
  - да-да-да, кл-ко-ко, местные знатоки IT подъехали, Аноним, 21-Май-21, 12:37 (78) //
    - Это ты так себя вызываешь , Аноним, 21-Май-21, 20:13 (130)
  - Мне кажется крупный инфраструктурный сервис - как раз то место, где защита нужна, Кирилл, 21-Май-21, 20:58 (135) //
    - AWS и так с этой секурной фигней, зачем ее рекурсивно включать еще внутри , Аноним, 22-Май-21, 18:11 (163)
- наши кодеры вручную могу 3 млн сделать, жоннн, 23-Май-21, 11:01 (171)
интересно, это как, за счёт чего dhclient один раз получил айпи и дальше спит в, Аноним, 21-Май-21, 08:58 (2) //
- Спит и потребляет ресурсы Вот гад , Аноним, 21-Май-21, 09:02 (4)
- ВОЗМОЖНО это связано со сроком аренды от сервера DHCP Клиент, получивший сетевы, Василий, 21-Май-21, 09:08 (7) //
  - мде , ryoken, 21-Май-21, 09:45 (19) //
    - лень читать, вкратце перескажите что мде , пожалуйста, Аноним, 21-Май-21, 11:55 (67)
      - Что это за адрес такой 192 0 0 400 , Andrii, 21-Май-21, 12:10 (73)
        
        некто ryoken, чё сложно что ли сразу написать про 400 иди-ка сделай что делают , Аноним, 21-Май-21, 12:36 (77)
      - БАЙТРАЗМЕР БАЙТАХе , Жироватт, 21-Май-21, 14:34 (100)
        
        А собственно с чего смешки то Задать - может и может , ыы, 21-Май-21, 16:02 (113)
        
        Да и вообще что мы знаем о способностях администраторов selectel ru Может они п, ыы, 21-Май-21, 16:06 (114)
    - Скорее всего опечатка, там дальше по тексту видно что до 200, Аноним, 21-Май-21, 12:12 (74)
      - 192 0 0 400Две ошибки в одном адресе Доннер веттер , Dzen Python, 21-Май-21, 23:57 (140)
- Скорее всего рн держит открытый raw сокет в прицепленым к нему bpf фильтром, что, Аноним, 21-Май-21, 09:55 (30) //
  - Надеюсь кто-то решит эту проблему Использование dhcp на серверах это хороший то, mumu, 21-Май-21, 16:23 (115) //
    - Выкинуть на мороз все ваши bpf, Аноним, 21-Май-21, 20:16 (131)
      - И станет еще тормознее Экспертов по сетевому стеку линукса подвезли, Аноним, 22-Май-21, 06:29 (144)
        
        Ну, с прибытием, чё , Аноним, 22-Май-21, 13:42 (156)
    - DHCP -- это хорошо для provisioning-а Но использовать его на постоянной основе , anonymous, 21-Май-21, 23:47 (139)
Выключаем оптимизации от дыр в процессоре и все работает быстрее Кто бы мог под, Аноним, 21-Май-21, 09:01 (3) //
- Они наконец стали BDS догонять Но ещё много работы , B, 22-Май-21, 00:07 (141)
LOL Вообще вот это все для чего Для бенчмарков или для production , Catwoolfii, 21-Май-21, 09:03 (5) //
- для prodiction, но не твоего, васян, а пейсбука Когда у тебя ряд из сотни стоек,, нах.., 21-Май-21, 09:47 (22) //
  - Да эти шкафы от стоек как чемоданы без ручки Когда нужны их нет, а когда стоят , Аноним, 21-Май-21, 09:52 (27) //
    - Иппать ты лох Я ДВАЖДЫ находил в таких как бы стоящих без дела майнеры, остав, нах.., 21-Май-21, 10:00 (33)
    - Я с удовольствием заберу, если оно им так мешает Самовывозом, даже на демонтаж, YetAnotherOnanym, 21-Май-21, 12:40 (79)
    - Подари мне лишние У меня лишних нет Майнить не на чем Как подаришь -- побегу , Брат Анон, 22-Май-21, 09:52 (151)
  - 100 дорогущих стоек купили и из-за 6 жмутся Смузиброды , DildoZilla, 21-Май-21, 11:43 (64) //
    - Гретта в бешенстве , Брат Анон, 22-Май-21, 09:53 (152)
  - Ну и ты конечно нам расскажеш про хорошую и безопасную замену dhcp сервера , Аноним, 21-Май-21, 20:19 (132)
  - а когда у тебя 100 вагонов с золотом, то это целых 6 вагонов с золотом6 это все, ewdoror, 22-Май-21, 07:31 (146)
  - я смотрю 12 человек освоило матиматику и знает что такое 6 но потом пейсбук ввод, penetrator, 24-Май-21, 00:45 (172) //
    - не становятся - повторю, именно поэтому к шкафу и прикован инженер, настоящий, н, нах.., 24-Май-21, 11:10 (173)
      - это все верно, но для низковолатильной системы, чет я сомневаюсь что пейсбук име, penetrator, 24-Май-21, 11:21 (174)
        
        у пейсбука это не 100, а скорее 1000 на самую мелкую доработку алгоритмов слежки, нах.., 24-Май-21, 11:26 (175)
Интересное исследование, добавил в закладки, Аноним, 21-Май-21, 09:07 (6)
Гениально , pin, 21-Май-21, 09:21 (8)
а потом они откроют для себя gentoo, и окажется что правильной компиляцией с под, Аноним, 21-Май-21, 09:22 (9) //
- то есть после отключения будет ещё быстрее , Аноним, 21-Май-21, 09:32 (13)
заморочились кому-то может сэкономить время, иначе потраченное на бесполезный в, Агл, 21-Май-21, 09:28 (12) //
- кто заморочилИСЬ чувак сидел дома в изоляции от ковида, писал статьи, ему было, ыы, 21-Май-21, 12:04 (69)
Это шутка такая В чем собственно, тогда цель исследования Посмотреть насколько , Аноним, 21-Май-21, 09:35 (14) //
- Цель исследования - как делать больше бабок на меньшем числе серверов , Аноним, 21-Май-21, 09:39 (16) //
  - пофиксил, YetAnotherOnanym, 21-Май-21, 09:46 (21) //
    - Фикс фикса, Жироватт, 21-Май-21, 14:36 (101)
  - Если вы, и вот автор которому вы отвечаете, наконец прочтете текст исследования , ыы, 21-Май-21, 11:14 (54)
- и выключить то, что влияет сильно, оставив безобидное, да изначально это был бы , нах.., 21-Май-21, 09:56 (31) //
  - Мне еще понравился прирост от привязки к ядрам Сейчас это слишком трудно делаетс, evk, 21-Май-21, 10:59 (51) //
    - Да нет там никакой привязки смотрите текст исследования Чувак запустил htop и , ыы, 21-Май-21, 11:17 (55)
    - похоже, какая-то личная проблема именно этого пейсбукосервера Я не добился взаи, нах.., 21-Май-21, 11:30 (60)
Я знаю где ещё достать 146 производительности, удалив одну прокладку, Аноним, 21-Май-21, 09:38 (15) //
- Без докера не модно , YetAnotherOnanym, 21-Май-21, 09:44 (18)
- весь текст не осилили , Леголас, 21-Май-21, 10:20 (44) //
  - Вы тоже не осилили Мне кажется проще его выключить, evk, 21-Май-21, 11:01 (52) //
    - Я прочитаю это за Вас и скопирую сюда Отдельный запуск libreactor не отличался , ыы, 21-Май-21, 11:20 (56)
      - благодарствую, Леголас, 21-Май-21, 11:24 (58)
      - То есть они сначала у контейнера отключили аудит и безопасность, а уже потом про, Rev, 21-Май-21, 13:08 (86)
        
        скажите тогда уж в чем шутка, чтоб все посмеялись А то как-то странно выглядят, ыы, 21-Май-21, 14:26 (98)
        ага Напоминает любимое Оленем исследование неэффективности закрытия общественн, нах.., 21-Май-21, 15:18 (106)
        Контейнеры не столько для безопасности, сколько для повторяемости результата на , Аноним, 21-Май-21, 15:42 (107)
        
        они вообще не про безопасность они про развертывание и воспроизводимость , ыы, 21-Май-21, 15:57 (112)
    - Вероятно, пейсбук не умеет в rpm - dpkg или что там у них Еще и host networki, нах.., 21-Май-21, 11:35 (62)
А это точно оптимизация Linux Осталось выставить соответствующие сервисы голой, YetAnotherOnanym, 21-Май-21, 09:43 (17)
На картинке Actix производительнее, чем Nginx Это что же, сишечка слила ржавому, Анонус, 21-Май-21, 09:45 (20) //
- Наоборот же, nginx быстрее оказался , Shatur, 21-Май-21, 10:42 (47)
- Скорость набора какая - 9000 знаков в минуту - Разве можно с такой скоростью п, Онаним, 21-Май-21, 09:49 (25)
Кстати, интересно, а как им удалось при использовании ненужнодоскер избавиться о, нах.., 21-Май-21, 09:51 (26) //
- Вероятно что --network host , Аноним, 21-Май-21, 11:10 (53) //
  - и по одному контейнеру на хост Нда, я бы докер выбросил еще предыдущим ходом , нах.., 21-Май-21, 11:33 (61)
Т е 28 производительности процессора у нас украл его изготовитель, встроив уяз, anonymous, 21-Май-21, 09:52 (28) //
- Белка-истеричка, ты ее сама у себя украла , включив защиту от того, чего быть н, нах.., 21-Май-21, 09:57 (32) //
  - Дол б шт0ле, с-ка Заshitу завезли превентивно, тебя не спросили Теперь выков, Аноним, 22-Май-21, 13:43 (157) //
    - там чувак песни пел про проклятуууущих производителей процессоров, не ты, надеюс, нах.., 22-Май-21, 14:38 (160)
Хммм Не думал, что на Linux файервол настолько дорог Интересно бы сравнить , 1, 21-Май-21, 10:04 (35) //
- это для пейсбука он настолько Ты, скорее всего, даже и не заметишь разницу с, нах.., 21-Май-21, 10:25 (45)
- На фряхе он оказался ещё дороже Я как лох повёлся на бздишный хайп и взял VPSку, Аноним, 22-Май-21, 21:10 (165) //
  - А не судьбы была либо взять готовое решение из sense-семейства pfsense или opn, братюня анонов, 24-Май-21, 13:03 (178) //
    - тем не менее, несколько десятков мегабит там вполне намеряли, вовсе не килобиты,, нах.., 28-Май-21, 13:02 (180)
интересно, а что надо подкрутить на моём двухядерном корче athlon 5000 и nvidi, Аноним, 21-Май-21, 10:10 (39) //
- Поставить генту арч отстой и крутить его до полного просветления , Аноним, 21-Май-21, 10:18 (43) //
  - Просветления, что пора покупать новый пк , Аноним, 21-Май-21, 10:27 (46)
- там же написано, Аноним, 21-Май-21, 10:54 (50)
- Поставить арч генту отстой и крутить его до полного просветления , Anonim, 21-Май-21, 12:07 (71) //
  - Купить козу с а через месяц -- продать , Аноним84701, 21-Май-21, 12:50 (81)
- Это норма 10 лет назад давности Сейчас норма на стационарнике - 16 Так что для, Аноним, 21-Май-21, 12:21 (75) //
  - ага, ддр2, 16 гигов рамы там планку на 4гб найти невозможно, Vlad violentiy, 21-Май-21, 14:55 (105)
  - Мне на восьми уже 10 лет нормально, думаю ещё года 3-4 тоже будет нормально , Ууууу..., 21-Май-21, 20:24 (133)
в жизни бы не догадался, что это может влиятьи таким образом лишили многих линук , Нанобот, 21-Май-21, 10:13 (41) //
- Зато падение до 2 6 дает прирост, но там докер может сделать ручкой , Аноним, 21-Май-21, 10:18 (42) //
  - не факт, посмотри на героическую борьбу со спинлоками, и учти что 2 6 это времен, нах.., 21-Май-21, 11:41 (63)
- Наоборот, добавило уверенности, что новые ядра не медленнее старых , Аноним, 21-Май-21, 12:23 (76)
нуу если они из кода уберут if else могут еше прибавить , Аноним, 21-Май-21, 10:48 (48) //
- i если они из кода уберут if else i - дешевле отказаться от json в сторону би, eganru, 21-Май-21, 11:53 (65)
- if else решает предсказатель переходов, который попадает в 98 случаев да, коне, Vlad violentiy, 21-Май-21, 14:52 (103)
- или не могут https habr com ru company selectel blog 557410 Какой предел у пр, Аноним, 21-Май-21, 21:28 (136)
Linux - можно настроить все , Anonim, 21-Май-21, 11:53 (66) //
- Linux - нужно настраивать всё , Rev, 21-Май-21, 13:22 (88) //
  - Современный Linux можно настраивать годами, и не получить ровным счётом ничего, , пох., 21-Май-21, 13:52 (91) //
    - переходите на винду индийский программист всегда подскажет, что больше ничего на, Anonim, 21-Май-21, 14:03 (94)
      - В винде изначально ясно, что как бы ты её не форсил, прироста не будет, а на лин, пох., 21-Май-21, 14:53 (104)
я вот сейчас подумал, в венде и макос всё системное окружение воспринимается как, Anonim, 21-Май-21, 12:02 (68) //
- Всегда отключаю эту дрянь, и пускай знатоки systemГ и сотрудники RedHat с ЛОРа н, пох., 21-Май-21, 13:56 (92)
А где вой негентушников что -O3 и -march-native ненужны ведь памяти жрется приме, Аноним, 21-Май-21, 12:40 (80) //
- Расскажи поподробнее, сколько миллионов JSON-запросов в секунду у тебя в хромом , анонн, 21-Май-21, 13:19 (87)
- При чём тут память С O3 браузер собирать Ну такое , Аноним, 21-Май-21, 14:19 (97)
Разве mitigations off не отключает это все одной опцией , Аноним, 21-Май-21, 12:56 (82) //
- Оставлены без изменения настройки для защиты от атак L1TF Foreshadow l1tf flus, Аноним, 21-Май-21, 13:07 (85) //
  - Тогда всё это откровенный звиздёшь, так как mitigations off не даёт ровно ника, пох., 21-Май-21, 14:00 (93) //
    - Есть узкие кейсы на которых повышается производительность Но это интересует тол, Аноним, 21-Май-21, 14:18 (96)
      - Вот я и говорю что звиздёж , пох., 21-Май-21, 14:51 (102)
        
        Человек измерил, привёл цифры, не вижу основной ему не верить, а вы 171 звиздё, edo, 21-Май-21, 19:22 (127)
        
        Нет у него никаких цифр Это типичный обитатель впопеннета, с единственным void , нах.., 22-Май-21, 14:26 (159)
    - Почему не даёт В моих тестах давал вполне воспроизводимый прирост хоть и не оч, edo, 21-Май-21, 19:12 (126)
      - Ну не знаю, по моим ощущениям сразу после mitigations off наблюдалась какая-то д, пох., 21-Май-21, 19:36 (128)
        
        разница между тобой и инженером именно в этом Он - мерял А у тебя - ощущения , нах.., 22-Май-21, 14:18 (158)
        Очень достоверно, как всегда, Аноним, 22-Май-21, 21:37 (166)
не пробовали DPDK запользовать , Аноним, 21-Май-21, 13:00 (83) //
- А есть какое-то осмысленное обоснование для DPDK в виртуалках , ыы, 21-Май-21, 14:30 (99) //
  - Dpdk в первую очередь про уменьшение переключений контекста, что тут меняет вирт, edo, 21-Май-21, 19:38 (129)
Возможности тюнинга ядра безграничны, Аноним12345, 21-Май-21, 13:06 (84)
я тоже заметил это, Аноним, 21-Май-21, 13:25 (89)
Как же достало отсутствие документирования в Линукс Теперь вот это nospectre_, пох., 21-Май-21, 13:45 (90) //
- Они не всё отключали В линуксе всё прекрасно документировано бтв , Аноним, 21-Май-21, 14:16 (95) //
  - он ОН отключал Это исследование сделал ОДИН человек которому было скучно сид, ыы, 21-Май-21, 15:44 (108) //
    - Они -- это гендерно-нейтральная форма , Аноним, 21-Май-21, 15:57 (111)
      - Они - это множественное число Тогда там либо сиамские близнецы, либо Николай v , Аноним, 21-Май-21, 17:29 (119)
        
        Оно это -- средний род, а не неопределённый Если пол хотя сейчас модно гендер , Аноним, 21-Май-21, 17:40 (120)
        
        Это что же получается, маньяк в молчании ягнят опередил свое время и был политко, Ananimasss, 21-Май-21, 17:56 (121)
        
        Если он обращался через оно , то это неодушевлённый предмет или животное , Аноним, 21-Май-21, 18:05 (122)
        
        Инклюзивисты даже в гуманитарщину не смогли Они - множественное число среднего , Аноним, 21-Май-21, 18:05 (123)
        
        Вообще-то, это серьёзно форма для неопределённого пола при обращении, и никакого, Аноним, 21-Май-21, 18:08 (124)
- просто добавь этот сайт себе в закладки https make-linux-fast-again com парам, Аноним, 22-Май-21, 00:24 (142)
В нормальных конторах фаервол сугубо хардварный отдельными железками На самих с, Аноним, 21-Май-21, 15:48 (109) //
- То что файрвол сделан в виде отдельной железки и покрашен в модный цвет- ничего , ыы, 21-Май-21, 15:55 (110) //
  - да, поинтересуйтесь Напоминаю - в cisco asa 5510 - pentium3 celeron Одноядерны, нах.., 21-Май-21, 16:44 (117) //
    - Например не умеет вставать колом при 100к с синов , Аноним, 23-Май-21, 00:02 (168)
      - А если найду Чудес не бывает, если ты их собираешься парсить, а не дропать сраз, нах.., 23-Май-21, 10:32 (170)
        
        Не бывает, да 5585Х затыкается на примерно 130к даже при дропе , Аноним, 30-Май-21, 01:18 (181)
        
        А линукс на древнем 8-ядернике держит до 2 5 млн с в режиме синпрокси, то есть с, Аноним, 30-Май-21, 01:53 (182)
  - То что там есть процессор общего назначения не значит что через него идёт весь т, Аноним, 26-Май-21, 22:18 (179)
- и первый же червяк, пробивший внешний контур безопасности, или обиженный сотру, нах.., 21-Май-21, 16:36 (116) //
  - Для альтернативно одаренных ником - кроме внешнего фаервола еще бывают внутренни, Аноним, 23-Май-21, 00:00 (167)
Так может, если местные иксперты поднастроят свои локалхосты, то у них и хром то, Нанобот, 21-Май-21, 16:52 (118) //
- Ну, если все что они при этом будут делать на своих компах- это гонять пусты, ыы, 22-Май-21, 08:25 (149)
Поймать поймали 10005000 заисей как и куда их оптимальней всегл записать на диск, Аноним, 21-Май-21, 18:50 (125) //
- С какой целью Если это, например, список параметров отображения ленты друзей в , Брат Анон, 22-Май-21, 10:04 (153)
Патчи из Миннесоты животворящие ты посмотри что творят ВАХ , Аноним, 21-Май-21, 21:55 (137)
Опять на Ц Было бы на каком-то языке, на котором можно сразу и логику нормальну, Аноним, 21-Май-21, 22:12 (138) //
- В данном случае надо сперва решительно закончить школу Ах да, некоторые уже за, ыы, 22-Май-21, 08:22 (148)
- Есть такие ОС, для оборочавания вокруг одной программы Ну и вы вполне такое из л, Аноньимъ, 24-Май-21, 12:28 (176)
Интересные оптимизации, которые больше всего сводтся к аналогу А давайте с авто, Kuromi, 22-Май-21, 05:29 (143) //
- Именно так делают автомобили для гонок- убирают все лишнее- все что не имеет отн, ыы, 22-Май-21, 08:13 (147) //
  - я думаю, стоит начать с js-программистов Просто вы еще не поняли этого , darkshvein, 22-Май-21, 14:42 (162)
  - Ну разумеется, вот только гоночные болиды никто на улицы не выпускает Да и исти, Kuromi, 23-Май-21, 00:31 (169)
И снова не на расте, Аноним, 22-Май-21, 07:23 (145) //
- Ну так перепишите libreactor на расте и будет счастье , ыы, 22-Май-21, 08:27 (150)
эт как гигагерцы в штеудече частота на гиг больше чем у амуди, а толку никакого, darkshvein, 22-Май-21, 14:41 (161)
Вот никого не смущат нет Всё нормально Сначала это г везде всунули а теперь си, Аноним, 22-Май-21, 20:33 (164) //
- Да вроде простой формат для парсинга, и человеку таки куда проще xml Непонятно к, Аноньимъ, 24-Май-21, 12:35 (177)

Форумы | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру