Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Оптимизация Linux для обработки 1.2 млн JSON-запросов в секунду"	+/–
Сообщение от opennews (ok), 21-Май-21, 08:56
Опубликовано детальное руководство по тюнингу окружения Linux для достижения максимальной производительности обработки HTTP-запросов. Предложенные методы позволили поднять производительность обработчика JSON на основе библиотеки libreactor   в окружении Amazon EC2 (4 vCPU) c 224 тысяч запросов API в секунду при штатных настройках Amazon Linux 2 с ядром 4.14 до 1.2 млн запросов в секунду после проведения оптимизации (прирост 436%), а также привели к сокращению задержек при обработке запросов на 79%. Предложенные методы не специфичны для libreactor и работают при использовании других http-серверов, включая nginx, Actix, Netty  и Node.js (libreactor использовался в тестах, так как решение на его основе показало лучшую производительность)... Подробнее: https://www.opennet.me/opennews/art.shtml?num=55186
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

1. Сообщение от Леголас (ok), 21-Май-21, 08:56	–9 +/–
> Отключение защиты от уязвимостей, вызванных спекулятивным выполнением инструкций отличное решение
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #10, #11, #171

2. Сообщение от Аноним (2), 21-Май-21, 08:58	+11 +/–
>Отключение dhclient и установка IP-адреса вручную привела к повышению производительности на 6%, а пропускная способность возросла с 1.06M req/s до 1.12M req/s. интересно, это как, за счёт чего? dhclient один раз получил айпи и дальше спит всё время
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #4, #7, #30

3. Сообщение от Аноним (4), 21-Май-21, 09:01	+11 +/–
Выключаем оптимизации от дыр в процессоре и все работает быстрее. Кто бы мог подумать.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #141

4. Сообщение от Аноним (4), 21-Май-21, 09:02	+4 +/–
Спит и потребляет ресурсы. Вот гад.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

5. Сообщение от Catwoolfii (ok), 21-Май-21, 09:03	–2 +/–
>Отключение системных сервисов, приводящих к лишним блокировкам в сетевом стеке. Отключение dhclient и установка IP-адреса вручную привела к повышению производительности на 6%, а пропускная способность возросла с 1.06M req/s до 1.12M req/s. LOL. Вообще вот это все для чего? Для бенчмарков или для production?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #22

6. Сообщение от Аноним (6), 21-Май-21, 09:07	+/–
Интересное исследование, добавил в закладки
Ответить | Правка | Наверх | Cообщить модератору

7. Сообщение от Василий (??), 21-Май-21, 09:08	–6 +/–
ВОЗМОЖНО это связано со сроком аренды от сервера DHCP. Клиент, получивший сетевые настройки, ОБЯЗАН по истечении половины срока аренды снова обратиться к серверу DCHP. Если срок аренды короткий, то, возможно, клиент часто обращается к DHCP серверу, что, каким-то образом, негативно влияет на производительность по сравнению со  static IP. https://selectel.ru/blog/dhcp-protocol/
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #19

8. Сообщение от pin (??), 21-Май-21, 09:21	+12 +/–
> который был улучшен путём удаления кода для ограничения числа используемых ядер CPU Гениально.
Ответить | Правка | Наверх | Cообщить модератору

9. Сообщение от Аноним (9), 21-Май-21, 09:22	–3 +/–
а потом они откроют для себя gentoo, и окажется что правильной компиляцией с подходящим списком зависимостей, можно повысить производительность до аналогичного уровня не отключая защиты
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #13

10. Сообщение от Аноним (10), 21-Май-21, 09:25	+45 +/–
Зачем вам защита от Spectre на сервере, на котором выполняется только ваш собственный процесс? Вы же там чужой код и браузер не запускайте.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #23, #24, #29

11. Сообщение от Аноним (11), 21-Май-21, 09:27	+6 +/–
В большинстве случаев эта защита и не нужна
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #78, #135

12. Сообщение от Агл (?), 21-Май-21, 09:28	+1 +/–
заморочились. кому-то может сэкономить время, иначе потраченное на бесполезный вариант оптимизации
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #69

13. Сообщение от Аноним (13), 21-Май-21, 09:32	+16 +/–
то есть после отключения будет ещё быстрее?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

14. Сообщение от Аноним (14), 21-Май-21, 09:35	+/–
> Предложенные методы не специфичны для libreactor > Пункт 1. Оптимизация кода libreactor. Общий прирост производительности после оптимизации кода составил 55%. Это шутка такая? > Отключение защиты от уязвимостей > Отключение механизмов аудита В чем собственно, тогда цель исследования? Посмотреть насколько это губит производительность? Или что? Изначально было понятно, что это всё не бесплатно и пагубно влияет на производительность.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #16, #31

15. Сообщение от Аноним (16), 21-Май-21, 09:38	+1 +/–
>> при запуске контейнера docker Я знаю где ещё достать 146% производительности, удалив одну прокладку
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #18, #44

16. Сообщение от Аноним (16), 21-Май-21, 09:39	+/–
Цель исследования - как делать больше бабок на меньшем числе серверов.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #21, #54

17. Сообщение от YetAnotherOnanym (ok), 21-Май-21, 09:43	–2 +/–
> Оптимизация кода libreactor А это точно "оптимизация Linux"? > Отключение защиты от уязвимостей > Отключение механизмов аудита и блокировки > Отключение iptables/netfilter Осталось выставить соответствующие сервисы голой дупой в Интернет и ждать гостей.
Ответить | Правка | Наверх | Cообщить модератору

18. Сообщение от YetAnotherOnanym (ok), 21-Май-21, 09:44	+1 +/–
Без докера не модно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15

19. Сообщение от ryoken (ok), 21-Май-21, 09:45	+21 +/–
>> https://selectel.ru/blog/dhcp-protocol/ > Например, администратор может задать диапазон используемых IP-адресов от 192.0.0.10 до 192.0.0.400. мде...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #67, #74

20. Сообщение от Анонус (?), 21-Май-21, 09:45	+/–
На картинке Actix производительнее, чем Nginx. Это что же, сишечка слила ржавому по скорости??
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #47

21. Сообщение от YetAnotherOnanym (ok), 21-Май-21, 09:46	–4 +/–
> как дать возможность неведомым майнерам делать больше бабок на любом числе ваших серверов. пофиксил
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16 Ответы: #101

22. Сообщение от нах.. (?), 21-Май-21, 09:47	+13 +/–
для prodiction, но не твоего, васян, а пейсбука. Когда у тебя ряд из сотни стоек, то 6% - это минус шесть стоек под той же нагрузкой. Каждая из которых стоит больше, чем все твои почки, печенка и прочий ливер, даже если они еще и годятся для донорства, а не только на рояльканин. Ну и да, прикольно, однако, получилось. То есть интуитивно, конечно, всегда считал dhcp для серверов исключительно унылым г-ном, но такого совершенно не ожидал. (ну а чо вы хотите, он же, помнится, любитель raw socket?)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #27, #64, #132, #146, #172

23. Сообщение от YetAnotherOnanym (ok), 21-Май-21, 09:48	–7 +/–
> только ваш собственный процесс > в окружении Amazon EC2 Не знал, что омерзон даёт каждому клиенту отдельный физический сервер.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #40

24. Сообщение от Аноним (24), 21-Май-21, 09:49	+3 +/–
Откуда ты знаешь?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10

25. Сообщение от Онаним (?), 21-Май-21, 09:49	–2 +/–
- Скорость набора какая? - 9000 знаков в минуту. - Разве можно с такой скоростью печатать? - Конечно можно, правда такая херня получается!
Ответить | Правка | Наверх | Cообщить модератору

26. Сообщение от нах.. (?), 21-Май-21, 09:51	–1 +/–
Кстати, интересно, а как им удалось при использовании ненужнодоскер избавиться от iptables?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #53

27. Сообщение от Аноним (24), 21-Май-21, 09:52	+1 +/–
Да эти шкафы от стоек как чемоданы без ручки. Когда нужны их нет, а когда стоят без дела не знаешь кому их отдать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22 Ответы: #33, #79, #151

28. Сообщение от anonymous (??), 21-Май-21, 09:52	+8 +/–
Т.е. 28% производительности процессора у нас украл его изготовитель, встроив уязвимость, от которой необходимо защищаться такой большой ценой
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #32

29. Сообщение от _hide_ (ok), 21-Май-21, 09:53	–2 +/–
В браузере уже вшиты средства защиты с "плавающими задержками", которые очень сильно затрудняют несанкционированный доступ к памяти.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #10 Ответы: #59

30. Сообщение от Аноним (30), 21-Май-21, 09:55	+14 +/–
Скорее всего рн держит открытый raw сокет в прицепленым к нему bpf фильтром, что и вызывает массу ненужных действий внутри ядра.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #115

31. Сообщение от нах.. (?), 21-Май-21, 09:56	–1 +/–
> В чем собственно, тогда цель исследования? Посмотреть насколько это губит производительность? и выключить то, что влияет сильно, оставив безобидное, да. > Изначально было понятно, что это всё не бесплатно и пагубно влияет на производительность. изначально это был бы твои васянские фантазии. А теперь у пейсбука есть замеры, позволяющие обоснованно отключить ненужную видимость безопасности там, где она реально вредит бизнесу. И у тех кто в голову умеет не только кушать - тоже, спасибо пейсбуку за наше счастливое детство. Ну то есть стало очевидно что борцунство с изоляцией бессмысленно, как и идеи секты свидетелей -09 ломающие все подряд, эти доли процента нужны только пейсбуку, а вот nospectre_v2 критично. Ну и dhcp, конечно, впечатлил. Не столько выигрышем, сколько тем что он вообще измерим, причем заметен.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #51

32. Сообщение от нах.. (?), 21-Май-21, 09:57	–10 +/–
Белка-истеричка, ты ее сама у себя "украла", включив защиту от того, чего быть не может.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28 Ответы: #157

33. Сообщение от нах.. (?), 21-Май-21, 10:00	–3 +/–
Иппать ты лох! Я ДВАЖДЫ находил в таких "как бы стоящих без дела" майнеры, оставленные давно уволившимися сотрудниками, и мала-мала капавшие им деньжат в кошелечек. P.S. отдать-то легко, в аренду - но потом нельзя резко забрать, когда подскочит нагрузка, арендатор обидится. Проще и впрямь майнить, особенно, если за электричество платят не по факту а по числу розеток или еще какой дрянной схеме.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

35. Сообщение от 1 (??), 21-Май-21, 10:04	+1 +/–
Хммм ... Не думал, что на Linux файервол настолько дорог. Интересно бы сравнить с pf и ipfw
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #45, #165

39. Сообщение от Аноним (39), 21-Май-21, 10:10	+1 +/–
интересно, а что надо подкрутить на моём двухядерном корче (athlon 5000+ и nvidia 8100) что бы то же 5 раз ускорить? ssdшку поставил, рамы 4, xubuntu какой там параметр ядра надо поковырять?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #43, #50, #71, #75

40. Сообщение от Аноним (10), 21-Май-21, 10:13	+18 +/–
При рассматриваемой интенсивности обработки запросов все атаки по сторонним каналам бессмысленны из-за зашумлённости, их разве что можно в лабораторных условиях воспроизвести, где кроме кода жертвы и атакующего ничего не выполняется. И даже в идеальных условиях защита от cross-VM утечек нужна на стороне гипервизора, а не гостевого окружения.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #49, #70

41. Сообщение от Нанобот (ok), 21-Май-21, 10:13	+3 +/–
> замены вызовов read/write на recv/send (5-10%) в жизни бы не догадался, что это может влиять > Не повлияло на производительность обновление ядра Linux до версий 4.19 и 5.4 и таким образом лишили многих линуксоидов смысла жизни
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #42, #76

42. Сообщение от Аноним (43), 21-Май-21, 10:18	+/–
Зато падение до 2.6 дает прирост, но там докер может сделать ручкой.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41 Ответы: #63

43. Сообщение от Аноним (43), 21-Май-21, 10:18	+3 +/–
Поставить генту (арч отстой) и крутить его до полного просветления.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39 Ответы: #46

44. Сообщение от Леголас (ok), 21-Май-21, 10:20	+7 +/–
> Отдельный запуск libreactor не отличался в производительности от запуска в контейнере весь текст не осилили?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #52

45. Сообщение от нах.. (?), 21-Май-21, 10:25	–5 +/–
> Хммм ... Не думал, что на Linux файервол настолько дорог. это для пейсбука он "настолько". Ты, скорее всего, даже и не заметишь разницу. > Интересно бы сравнить с pf и ipfw сравнивай, методику тебе выложили. Предвижу отвратительные результаты у обоих, эффективность ни разу не их конек. Но, опять же, актуально для пейсбуков. Все остальные не сумеют обнаружить разницу на своем реальном траффике.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35

46. Сообщение от Аноним (39), 21-Май-21, 10:27	+4 +/–
Просветления, что пора покупать новый пк?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43

47. Сообщение от Shatur (ok), 21-Май-21, 10:42	+1 +/–
Наоборот же, nginx быстрее оказался.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20

48. Сообщение от Аноним (48), 21-Май-21, 10:48	+/–
нуу... если они из кода уберут if/else... могут еше прибавить...
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #65, #103, #136

49. Сообщение от Аноним (49), 21-Май-21, 10:49	+9 +/–
Про Spectre раньше так говорили в принципе, пока реальные эксплоиты не появились.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40

50. Сообщение от Аноним (50), 21-Май-21, 10:54	–1 +/–
там же написано >Использование параметров при загрузке ядра "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off" позволило поднять производительность
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39

51. Сообщение от evk (??), 21-Май-21, 10:59	+/–
Мне еще понравился прирост от привязки к ядрам. Сейчас это слишком трудно делается. Показан не теоретический, а конкретный и значительный прирост. Это явное место развия ядра, предоставление простых механизмов привязки процессов.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #55, #60

52. Сообщение от evk (??), 21-Май-21, 11:01	+1 +/–
Вы тоже не осилили. >Отключение механизмов аудита и блокировки системных вызовов при помощи команды "auditctl -a never,task" и указания опции "--security-opt seccomp=unconfined" при запуске контейнера docker. Общий прирост производительности составил 11%, а пропускная способность возросла с 446k req/s до 495k req/s. Мне кажется проще его выключить
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #44 Ответы: #56, #62

53. Сообщение от Аноним (53), 21-Май-21, 11:10	+1 +/–
Вероятно что "--network host"
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #61

54. Сообщение от ыы (?), 21-Май-21, 11:14	+/–
Если вы, и вот автор которому вы отвечаете, наконец прочтете текст исследования - то узнаете что автор исследования делал это для собственного развлечения. "just for fun" Вот так вот...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

55. Сообщение от ыы (?), 21-Май-21, 11:17	+1 +/–
Да нет там  никакой привязки. смотрите текст исследования. Чувак запустил htop и обнаружил что программа использовала только два ядра из 4-х. задался вопросом зачем?? Может быть авторы таким образом пытались избавится от переключения контента, от снижения конкурентного доступа на ядрах... Он в качестве пробы убрал этот код...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #51

56. Сообщение от ыы (?), 21-Май-21, 11:20	+/–
Я прочитаю это за Вас и скопирую сюда: "Отдельный запуск libreactor не отличался в производительности от запуска в контейнере" (с) Не благодарите...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52 Ответы: #58, #86

58. Сообщение от Леголас (ok), 21-Май-21, 11:24	+/–
благодарствую
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56

59. Сообщение от _unhide_ (?), 21-Май-21, 11:24	+3 +/–
новость про сервер, а доступ к серверу не обязательно через браузер
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29

60. Сообщение от нах.. (?), 21-Май-21, 11:30	+/–
> Мне еще понравился прирост от привязки к ядрам. похоже, какая-то личная проблема именно этого пейсбукосервера. Я не добился взаимности от отключения irqbalance и ручного рассовывания по ядрам на своих коробочках, где ядра мало того что тормозные, так еще и половина маломощные. Возможно, потому что они, разумеется, загружены не на 100, а на 10%, и обычный планировщик и так успешно справляется с распиныванием задач по процессорам, не слишком часто меняя их на ходу (и да, он у меня нештатный и знает про big.LITTLE) Может еще дело в EC2. Мамазон может использовать (да наверняка и) железо с NUMA, не пробрасывая эту информацию в виртуализацию. Не то чтобы мне удавалось глазами увидеть разницу, но вот техподдержка вмвари, например, со мной не согласна. Сочетание неэффективной адресации с автобалансировкой, теоретически, может дать вполне заметные потери (опять же - на фейсбуко-нагрузках, простым смертным пофигу). > Это явное место развия ядра, предоставление простых механизмов привязки процессов. да они вообще-то простые, только их двадцать таких простых. taskset для юзерспейса, /sys для прерываний и кстати угадай какое от чего, другой /sys для многоголовых сетевых карт.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #51

61. Сообщение от нах.. (?), 21-Май-21, 11:33	–2 +/–
> Вероятно что "--network host" и по одному контейнеру на хост? Нда, я бы докер выбросил еще предыдущим ходом.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53

62. Сообщение от нах.. (?), 21-Май-21, 11:35	+/–
> Мне кажется проще его выключить Вероятно, пейсбук не умеет в rpm ;-) [dpkg или что там у них] Еще и host networking до кучи, ага.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #52

63. Сообщение от нах.. (?), 21-Май-21, 11:41	+/–
> Зато падение до 2.6 дает прирост, но там докер может сделать ручкой. не факт, посмотри на героическую борьбу со спинлоками, и учти что 2.6 это времена двухпроцессорных петниумовпро. Тогда никто вообще не заморачивался подобными оптимизациями, внутри ядра в том числе.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42

64. Сообщение от DildoZilla (?), 21-Май-21, 11:43	+1 +/–
100 дорогущих стоек купили и из-за 6 жмутся? Смузиброды!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22 Ответы: #152

65. Сообщение от eganru (?), 21-Май-21, 11:53	+1 +/–
[i]если они из кода уберут if/else[/i] - дешевле отказаться от json в сторону бинарных форматов, чем оптимизировать по if/else.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48

66. Сообщение от Anonim (??), 21-Май-21, 11:53	+1 +/–
Linux! - можно настроить все!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #88

67. Сообщение от Аноним (67), 21-Май-21, 11:55	–8 +/–
лень читать, вкратце перескажите что "мде", пожалуйста
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #73, #100

68. Сообщение от Anonim (??), 21-Май-21, 12:02	+1 +/–
я вот сейчас подумал, в венде и макос всё системное окружение воспринимается как данность, ну т.е. оно есть и трогать его не надо... а в линуксе, прикинте, системный журнал можно отключить! Обожаю первооткрывателей.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #92

69. Сообщение от ыы (?), 21-Май-21, 12:04	+/–
кто "заморочилИСЬ"? чувак сидел дома в изоляции от ковида, писал статьи, ему было скучно...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #12

70. Сообщение от Аноним (70), 21-Май-21, 12:05	+3 +/–
Но интенсивность запросов может иногда и снижаться до приемлемого для анализа по сторонним каналам уровня. В зависимости от времени суток, времени года, и т.д.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40 Ответы: #134

71. Сообщение от Anonim (??), 21-Май-21, 12:07	+1 +/–
Поставить арч (генту отстой) и крутить его до полного просветления.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39 Ответы: #81

73. Сообщение от Andrii (?), 21-Май-21, 12:10	+5 +/–
Что это за адрес такой 192.0.0.400 ?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67 Ответы: #77

74. Сообщение от Аноним (74), 21-Май-21, 12:12	+/–
Скорее всего опечатка, там дальше по тексту видно что до 200
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #140

75. Сообщение от Аноним (70), 21-Май-21, 12:21	–2 +/–
>рамы 4 Это норма 10 лет назад давности. Сейчас норма на стационарнике - 16. Так что для тюнинга поставь, как минимум, 32.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39 Ответы: #105, #133

76. Сообщение от Аноним (70), 21-Май-21, 12:23	+1 +/–
Наоборот, добавило уверенности, что новые ядра не медленнее старых.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #41

77. Сообщение от Аноним (78), 21-Май-21, 12:36	–11 +/–
некто ryoken, чё сложно что ли сразу написать про 400? иди-ка сделай что делают за 300
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #73

78. Сообщение от Аноним (78), 21-Май-21, 12:37	+6 +/–
да-да-да, кл-ко-ко, местные знатоки IT подъехали
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11 Ответы: #130

79. Сообщение от YetAnotherOnanym (ok), 21-Май-21, 12:40	+2 +/–
Я с удовольствием заберу, если оно им так мешает. Самовывозом,  даже на демонтаж готов из своих заплатить.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

80. Сообщение от Аноним (80), 21-Май-21, 12:40	–1 +/–
А где вой негентушников что -O3 и -march-native ненужны ведь памяти жрется примерно столько же и ваще хромой лучше, ибо там же есть ангуглед версия?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #87, #97

81. Сообщение от Аноним84701 (ok), 21-Май-21, 12:50	+/–
> Поставить арч Купить козу (с) (а через месяц -- продать).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #71

82. Сообщение от Аноним (82), 21-Май-21, 12:56	+1 +/–
>nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off Разве mitigations=off не отключает это все одной опцией?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #85

83. Сообщение от Аноним (83), 21-Май-21, 13:00	+/–
не пробовали DPDK запользовать ?....
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #99

84. Сообщение от Аноним12345 (?), 21-Май-21, 13:06	+/–
Возможности тюнинга ядра безграничны
Ответить | Правка | Наверх | Cообщить модератору

85. Сообщение от Аноним (85), 21-Май-21, 13:07	+1 +/–
"Оставлены без изменения настройки для защиты от атак L1TF/Foreshadow (l1tf=flush), iTLB multihit, Speculative Store Bypass и SRBDS, которые не влияли на производительность, так как не пересекались с тестируемой конфигурацией"
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #82 Ответы: #93

86. Сообщение от Rev (?), 21-Май-21, 13:08	+4 +/–
То есть они сначала у контейнера отключили аудит и безопасность, а уже потом пробовали запускать в этом контейнере и без него? :)))
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56 Ответы: #98, #106, #107

87. Сообщение от анонн (ok), 21-Май-21, 13:19	+/–
> А где вой негентушников что -O3 и -march-native ненужны ведь памяти жрется > примерно столько же и ваще хромой лучше, Расскажи поподробнее, сколько миллионов JSON-запросов в секунду у тебя в хромом нагрузка (а так же, причем тут "негентушники" и прочее сравнение жопы с пальцем)?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #80

88. Сообщение от Rev (?), 21-Май-21, 13:22	+3 +/–
Linux - нужно настраивать всё!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #66 Ответы: #91

89. Сообщение от Аноним (89), 21-Май-21, 13:25	+/–
> Отмечается, что nftables работает более эффективно, чем iptables я тоже заметил это
Ответить | Правка | Наверх | Cообщить модератору

90. Сообщение от пох. (?), 21-Май-21, 13:45	–1 +/–
Как же достало отсутствие документирования в Линукс. Теперь вот это: "nospectre_v1 nospectre_v2 pti=off mds=off tsx_async_abort=off", а разве "mitigations=off" уже недостаточно?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #95, #142

91. Сообщение от пох. (?), 21-Май-21, 13:52	+4 +/–
> Linux - нужно настраивать всё! Современный Linux можно настраивать годами, и не получить ровным счётом ничего, (знаем, сам такой), ядро от 3.0 убило всё.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #88 Ответы: #94

92. Сообщение от пох. (?), 21-Май-21, 13:56	+/–
Всегда отключаю эту дрянь, и пускай знатоки systemГ и сотрудники RedHat с ЛОРа не п**ят, что это убивает систему.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68

93. Сообщение от пох. (?), 21-Май-21, 14:00	–1 +/–
Тогда всё это откровенный звиздёшь, так как "mitigations=off" не даёт ровно никакого прироста, если не наоборот.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #85 Ответы: #96, #126

94. Сообщение от Anonim (??), 21-Май-21, 14:03	+2 +/–
переходите на винду. индийский программист всегда подскажет, что больше ничего настраивать не нужно.   вам даже расскажут, где именно настраивать ничего не нужно...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #91 Ответы: #104

95. Сообщение от Аноним (97), 21-Май-21, 14:16	+/–
Они не всё отключали. В линуксе всё прекрасно документировано бтв.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #90 Ответы: #108

96. Сообщение от Аноним (97), 21-Май-21, 14:18	+/–
Есть узкие кейсы на которых повышается производительность. Но это интересует только хайлоад на десятки тысяч нод.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93 Ответы: #102

97. Сообщение от Аноним (97), 21-Май-21, 14:19	+/–
При чём тут память? С O3 браузер собирать? Ну такое.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #80

98. Сообщение от ыы (?), 21-Май-21, 14:26	–1 +/–
скажите тогда уж в чем шутка, чтоб все посмеялись...А то как-то странно выглядят смайлики в этом месте.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #86

99. Сообщение от ыы (?), 21-Май-21, 14:30	+/–
А есть какое-то осмысленное обоснование для DPDK в виртуалках?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #83 Ответы: #129

100. Сообщение от Жироватт (ok), 21-Май-21, 14:34	+2 +/–
БАЙТ РАЗМЕР БАЙТА Хе.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67 Ответы: #113

101. Сообщение от Жироватт (ok), 21-Май-21, 14:36	+1 +/–
> как дать возможность неведомым GraceLoverBear сливать больше инфы на любом числе ваших серверов. Фикс фикса
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #21

102. Сообщение от пох. (?), 21-Май-21, 14:51	+/–
Вот я и говорю что звиздёж)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #96 Ответы: #127

103. Сообщение от Vlad violentiy (?), 21-Май-21, 14:52	+2 +/–
if/else решает предсказатель переходов, который попадает в 98% случаев (да, конечно, если вероятность предсказания увеличить до 99.9, то можно увеличить производительность на процентов 5-10-15, но это почти невозможно) если уже так глубоко копать и мы говорим про приложение - надо смотреть и оценивать задержки по памяти через манипуляции с L1/L2/L3 кешем, но виртуализация
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48

104. Сообщение от пох. (?), 21-Май-21, 14:53	+/–
В винде изначально ясно, что как бы ты её не форсил, прироста не будет, а на линуксе он был, раньше, сейчас это тупо профанация
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #94

105. Сообщение от Vlad violentiy (?), 21-Май-21, 14:55	+2 +/–
ага, ддр2, 16 гигов рамы. там планку на 4гб найти невозможно
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75

106. Сообщение от нах.. (?), 21-Май-21, 15:18	+/–
> То есть они сначала у контейнера отключили аудит и безопасность, а уже потом пробовали запускать > в этом контейнере и без него? :))) ага. Напоминает любимое Оленем исследование "неэффективности закрытия общественного транспорта как карантинной меры". Ага, абсолютно никакого эффекта не дает - во всех проверенных исследователями случаях (когда транспорт закрывали уже ПОСЛЕ того как оцелопы п-ли дубинкой за попытку высунуть нос из квартиры - и до него уже давно никто просто не доходил). А так-то да, неплохой подсчет потерь эффективности на докер в докере под докером. Похоже, как бы не больше чем от паравиртуализации получается.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #86

107. Сообщение от Аноним (107), 21-Май-21, 15:42	+/–
Контейнеры не столько для безопасности, сколько для повторяемости результата на других железках.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #86 Ответы: #112

108. Сообщение от ыы (?), 21-Май-21, 15:44	+/–
он. ОН отключал... Это исследование сделал ОДИН человек которому было скучно сидя дома из-за ковида.. И вот пока он маялся дурь....бездельем -  провел это исследование ради интереса. о чем и рассказывает с своем посте...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95 Ответы: #111

109. Сообщение от Аноним (107), 21-Май-21, 15:48	–2 +/–
В нормальных конторах фаервол сугубо хардварный отдельными железками. На самих сервисах не нужен никакой iptables или pf.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #110, #116

110. Сообщение от ыы (?), 21-Май-21, 15:55	–1 +/–
То что файрвол сделан в виде отдельной железки и покрашен в модный цвет- ничего не говорит о том сколько там внутри "железа" и сколько делается на обычных бытовых процессорах... поинтересуйтесь на досуге как "сугубо хардварный" сделан  у популярных брендов. Что же касается файрвола на самом сервисе - то эта рекомендация гуляет по сети лет 40. Ее нюанс- в том что если вы не обрабатываете хайлоада- она вам как пятое колесо к телеге...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #109 Ответы: #117, #179

111. Сообщение от Аноним (97), 21-Май-21, 15:57	+/–
"Они" -- это гендерно-нейтральная форма.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #108 Ответы: #119

112. Сообщение от ыы (?), 21-Май-21, 15:57	–2 +/–
они вообще не про безопасность. они про развертывание и воспроизводимость...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #107

113. Сообщение от ыы (?), 21-Май-21, 16:02	+/–
>Например, администратор может задать диапазон .... до 192.0.0.400. А собственно с чего смешки то? Задать - может и может :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #100 Ответы: #114

114. Сообщение от ыы (?), 21-Май-21, 16:06	+3 +/–
Да и вообще что мы знаем о способностях администраторов selectel.ru ? Может они переписали сетевой стэк на dword и баста...их сети, что хотят то и делают...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #113

115. Сообщение от mumu (ok), 21-Май-21, 16:23	+1 +/–
Надеюсь кто-то решит эту проблему. Использование dhcp на серверах это хороший тон в администрировании, и то что они все сейчас из-за этого хоть немного, но тормозят, уже не делает мой сон настолько сладким.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #131, #139

116. Сообщение от нах.. (?), 21-Май-21, 16:36	+/–
> В нормальных конторах фаервол сугубо хардварный отдельными железками. и первый же червяк, пробивший внешний контур безопасности, или "обиженный" сотрудник, имеет всю контору? Ну, ооок. А не могли бы вы опубликовать список лично вам известных "нормальных контор", ну чисто так для интереса - чтоб ненароком там личные данные не засветить или, упаси Б-же, денег не похранить? Да, и вот как там с докером, тут пацаны интересуются? В "нормальной конторе" вы его тоже с "--network host" запускаете, вручную на каждом сервере (ибо никакие  стандартные оркестраторы такой авангард не поддерживают) ?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #109 Ответы: #167

117. Сообщение от нах.. (?), 21-Май-21, 16:44	–2 +/–
> поинтересуйтесь на досуге как "сугубо хардварный" сделан  у популярных брендов. да, поинтересуйтесь. Напоминаю - в cisco asa 5510 - pentium3 celeron. Одноядерный, конечно (ибо пентиум3) По-моему даже не тулатин, так что там что-нибудь не выше гигагерца. Очень интересно, много ли вы лично таким нафайрволите, даже без шифрования (которое она худо-бедно тоже могет на сотню-полторы юзеров и пяток site2site если не слишком насиловать траффиком). Это в общем-то единственный "популярный бренд" про которого точно известно, что у него внутри и приблизительно - как оно работает (поскольку его ковыряли и доковырялись таки до возможности запуска отдельно от железа). Что там и как у pa5xxx - один аллах ведает. Но ничего подобного ваш линoops все равно не умеет в принципе.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #110 Ответы: #168

118. Сообщение от Нанобот (ok), 21-Май-21, 16:52	+/–
Так может, если местные иксперты поднастроят свои локалхосты, то у них и хром тормозить перестанет? 🤔 Правда тогда у них не будет возможности поныть...
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #149

119. Сообщение от Аноним (119), 21-Май-21, 17:29	+/–
Они - это множественное число. Тогда там либо сиамские близнецы, либо Николай v.2. Корректно будет - "оно" или "это".
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #111 Ответы: #120

120. Сообщение от Аноним (97), 21-Май-21, 17:40	–1 +/–
Оно/это -- средний род, а не неопределённый. Если пол (хотя сейчас модно гендер) неизвестен, нейтральная форма более корректна.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #119 Ответы: #121, #123

121. Сообщение от Ananimasss (?), 21-Май-21, 17:56	+/–
Это что же получается, маньяк в молчании ягнят опередил свое время и был политкорректным, когда обращался к жертве "оно"? Во дела.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #120 Ответы: #122

122. Сообщение от Аноним (97), 21-Май-21, 18:05	+/–
Если он обращался через "оно", то это неодушевлённый предмет или животное.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #121

123. Сообщение от Аноним (119), 21-Май-21, 18:05	+/–
Инклюзивисты даже в гуманитарщину не смогли? Они - множественное число среднего рода. Нет никакой "нейтральной" формы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #120 Ответы: #124

124. Сообщение от Аноним (97), 21-Май-21, 18:08	+/–
Вообще-то, это серьёзно форма для неопределённого пола при обращении, и никакого отношения к инклюзивности не имеет…
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #123

125. Сообщение от Аноним (125), 21-Май-21, 18:50	–1 +/–
Поймать поймали 10005000 заисей как и куда их оптимальней всегл записать на диск для хранения и дальнейщей обработки
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #153

126. Сообщение от edo (ok), 21-Май-21, 19:12	+/–
Почему не даёт? В моих тестах давал вполне воспроизводимый прирост (хоть и не очень большой)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93 Ответы: #128

127. Сообщение от edo (ok), 21-Май-21, 19:22	+/–
Человек измерил, привёл цифры, не вижу основной ему не верить, а вы «звиздёж». Или вы про то, что под вашей нагрузкой цифры другие получаются? Так ничего удивительного, разве в статье утверждается, что любая нагрузка получит именно такое ускорения?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #102 Ответы: #159

128. Сообщение от пох. (?), 21-Май-21, 19:36	–2 +/–
Ну не знаю, по моим ощущениям сразу после mitigations=off наблюдалась какая-то дубовость что-ли, хз как обьяснить.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #126 Ответы: #158, #166

129. Сообщение от edo (ok), 21-Май-21, 19:38	+/–
Dpdk в первую очередь про уменьшение переключений контекста, что тут меняет виртуализация?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #99

130. Сообщение от Аноним (130), 21-Май-21, 20:13	+1 +/–
Это ты так себя вызываешь?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #78

131. Сообщение от Аноним (130), 21-Май-21, 20:16	+/–
Выкинуть на мороз все ваши bpf
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #115 Ответы: #144

132. Сообщение от Аноним (130), 21-Май-21, 20:19	+/–
Ну и ты конечно нам расскажеш про хорошую и безопасную замену dhcp сервера?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22

133. Сообщение от Ууууу... (?), 21-Май-21, 20:24	+2 +/–
Мне на восьми уже 10 лет нормально, думаю ещё года 3-4 тоже будет нормально.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #75

134. Сообщение от Кирилл (??), 21-Май-21, 20:56	–1 +/–
Попытка атаки будет очень заметна в графике производительности, особенно с учётом того, что они там привязались к ядрам (очевидно физическим, я хз как, но смысл привязываться к виртуальным?). Им всего то надо держать высокую загрузку серверов и останавливать простаивающие контейнеры для экономии денег.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70

135. Сообщение от Кирилл (??), 21-Май-21, 20:58	+1 +/–
Мне кажется крупный инфраструктурный сервис - как раз то место, где защита нужна.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11 Ответы: #163

136. Сообщение от Аноним (-), 21-Май-21, 21:28	+1 +/–
или не могут. https://habr.com/ru/company/selectel/blog/557410/ Какой предел у предсказателя ветвлений? Проверили на x86 и M1 "... На x86 код должен распределить бюджет BTB между вызовами функций и условными переходами. BTB имеет размер всего в 4096 записей. Код, критичный к производительности должен быть меньше 16 КиБ, чтобы получить серьезное преимущество благодаря использованию BTB."
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #48

137. Сообщение от Аноним (137), 21-Май-21, 21:55	+1 +/–
Патчи из Миннесоты животворящие ты посмотри что творят! ВАХ!
Ответить | Правка | Наверх | Cообщить модератору

138. Сообщение от Аноним (138), 21-Май-21, 22:12	–1 +/–
Опять на Ц. Было бы на каком-то языке, на котором можно сразу и логику нормальную написать (типа того же Раста) и можно было бы отправить на свалку всякие Ноды. Кстати, коль скоро сейчас всё-равно крутится в виртуалках, почему бы не написать сразу операционку без поддержки графики, пользователей и прочьего, у которой одна задача - обрабатывать HTTP запросы. Очевидно не нужно раз не пишут. Но почему? Слишком мал выигрыш в производительности будет?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #148, #176

139. Сообщение от anonymous (??), 21-Май-21, 23:47	+/–
DHCP -- это хорошо для provisioning-а. Но использовать его на постоянной основе на серверах -- это достаточно спорное решение. И вовсе не из-за производительности, а из-за reliability.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #115

140. Сообщение от Dzen Python (ok), 21-Май-21, 23:57	+1 +/–
192. 0 .0. 400 Две ошибки в одном адресе. Доннер веттер!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74

141. Сообщение от B (?), 22-Май-21, 00:07	+/–
Они наконец стали BDS догонять. Но ещё много работы...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3

142. Сообщение от Аноним (142), 22-Май-21, 00:24	+/–
просто добавь этот сайт себе в закладки https://make-linux-fast-again.com/ параметры для /etc/default/grub
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #90

143. Сообщение от Kuromi (ok), 22-Май-21, 05:29	–1 +/–
Интересные оптимизации, которые больше всего сводтся к аналогу "А давайте с автомобиля снимем весь обвес, оставив только раму, откажемся от риятных излищество вродеподушек безопасности, уберем все предохранители и втопим педаль в пол". Вопрос только как быстро пилот сможет "уехать" на таком шайтан-шаттле? Но, в принципе, почему нет?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #147

144. Сообщение от Аноним (144), 22-Май-21, 06:29	+/–
И станет еще тормознее. Экспертов по сетевому стеку линукса подвезли
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #131 Ответы: #156

145. Сообщение от Аноним (137), 22-Май-21, 07:23	+/–
И снова не на расте
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #150

146. Сообщение от ewdoror (?), 22-Май-21, 07:31	+/–
а когда у тебя 100 вагонов с золотом, то это целых 6 вагонов с золотом 6% это всегда 6%
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22

147. Сообщение от ыы (?), 22-Май-21, 08:13	+2 +/–
Именно так делают автомобили для гонок- убирают все лишнее- все что не имеет отношения к решению поставленной задачи. Более того, ВСЕ оптимизации делаются этим путем. Просто вы еще не поняли этого. Ну и не все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать что можно убрать а что нельзя.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #143 Ответы: #162, #169

148. Сообщение от ыы (?), 22-Май-21, 08:22	+1 +/–
В данном случае надо сперва решительно закончить школу...Ах да, некоторые уже закончили...первый класс вроде уже отучились... Но надо не этот год обучения, а школу вообще... После чего пойти выучить что такое операционная система и чем она отличается от прикладной программы. Узнать, что прикладные программы выполняющиеся на baremetal - существуют, и вы можете паковать свои проги в такой вид (в этом смысле вы ломитесь в открытую дверь). Узнать какие при этом у вас возникнут проблемы, если ваше железо - более чем один роутер или платка распберри. И... мы  Вас ждем с новыми остроумными комментариями и мнением по глобальным вопросам :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #138

149. Сообщение от ыы (?), 22-Май-21, 08:25	+1 +/–
Ну, если все что они при этом будут делать на своих компах- это гонять ... пустые json запросы... на AWS - то почему бы и нет... :)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #118

150. Сообщение от ыы (?), 22-Май-21, 08:27	–1 +/–
Ну так перепишите   libreactor  на расте и будет счастье...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #145

151. Сообщение от Брат Анон (ok), 22-Май-21, 09:52	–1 +/–
Подари мне лишние. У меня лишних нет. Майнить не на чем. Как подаришь -- побегу к соседям лектричество выпрашивать не ставя соседей в известность.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

152. Сообщение от Брат Анон (ok), 22-Май-21, 09:53	+/–
Гретта в бешенстве!!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #64

153. Сообщение от Брат Анон (ok), 22-Май-21, 10:04	+/–
С какой целью? Если это, например, список параметров отображения ленты друзей в пейсбуке? Зачем это всё хранить?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #125

156. Сообщение от Аноним (156), 22-Май-21, 13:42	+/–
> Экспертов по сетевому стеку линукса подвезли Ну, с прибытием, чё.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #144

157. Сообщение от Аноним (156), 22-Май-21, 13:43	+/–
Дол!@#б шт0ле, с-ка? Заshitу завезли превентивно, тебя не спросили. Теперь выковыривай ее полностью из ведра ручками, не забудь предварительно в аптеке Визином(tm) запастись.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32 Ответы: #160

158. Сообщение от нах.. (?), 22-Май-21, 14:18	+/–
разница между тобой и инженером именно в этом. Он - мерял. А у тебя - "ощущения". Поэтому он работает в фейсбуке, а ты в подвале.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #128

159. Сообщение от нах.. (?), 22-Май-21, 14:26	+/–
Нет у него никаких цифр. Это типичный обитатель впопеннета, с единственным void linux в дуалбуте. "ощущения" у него, чего ж неясно. > Так ничего удивительного, разве в статье утверждается, что любая нагрузка получит именно такое > ускорения? в целом, очевидно, почти любая получит какое-то ускорение, поскольку ничего специфичного не делалось. Но для этого надо чтоб нагрузка вообще была, а не "страничка опеннета в браузере открывается". Печалька, конечно, в малоприменимости во многих реальных ситуациях, отличных от фейсбуковой, с единственным приложением на инстанс. И очень обидны 6% экономии на pti=off (напоминаю, что потери на самих патчах по гуглозамерам - до 30%, но сделать с этим, видимо, ничего уже нельзя, белки-истерички позаботились о нашей безопасТносте - особенно возрадоваться должны владельцы amd)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #127

160. Сообщение от нах.. (?), 22-Май-21, 14:38	–1 +/–
> Дол!@#б шт0ле, с-ка? Заshitу завезли превентивно, тебя не спросили. там чувак песни пел про проклятуууущих производителей процессоров, не ты, надеюсь? Но твое неумение читать на что отвечаешь, а не последнее в треде это не отменяет. Проблема ж не в процессорах, в белках-истеричках присунувших нам всем свою безопастность - в ядре, в котором миллион пищалок перделок и крутилок не сделав еще одной, а прибив метровыми гвоздями. И божок-с-пальцем ничего не вякнул об их неумении кодить, заметь. > Теперь выковыривай ее полностью из ведра ручками а тут согласен. 6% vs 30 :-( > не забудь предварительно в аптеке Визином(tm) запастись. визин тут не слишком поможет, а капли вечной жизни в аптеке не продают. Судя по тому что патчи достали многих и в гугле, и в мордокниге в том числе, но антипатч так никто и не сумел предложить, колются, плачут, отключают отключалками и продолжают грызть кактус - в мире есть буквально несколько десятков человек, способных на такой подвиг. Я, конечно, кое где еще могу себе позволить: ls: cannot access /sys/devices/system/cpu/vulnerabilities: No such file or directory но это вряд ли надолго. Поддерживать 3.0 ведро так себе развлекуха.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #157

161. Сообщение от darkshvein (ok), 22-Май-21, 14:41	+2 +/–
>XXXX-запросов в секунду эт как гигагерцы в штеудече. частота на гиг больше чем у амуди, а толку никакого. не поможет увеличение объёма обработки запросов при говнокоде, как авторитетный диванный эксперт вам заявляю.
Ответить | Правка | Наверх | Cообщить модератору

162. Сообщение от darkshvein (ok), 22-Май-21, 14:42	+1 +/–
>Ну и не все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать что можно убрать а что нельзя. я думаю, стоит начать с js-программистов. Просто вы еще не поняли этого.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #147

163. Сообщение от Аноним (163), 22-Май-21, 18:11	+/–
AWS и так с этой секурной фигней, зачем ее рекурсивно включать еще внутри?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #135

164. Сообщение от Аноним (164), 22-Май-21, 20:33	–1 +/–
> поднять производительность обработчика JSON Вот никого не смущат нет? Всё нормально? Сначала это г везде всунули а теперь систему тюнить? Очень просто всё ребята, не использовать уродский JSON. Это чуждо как человеку так и машине.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #177

165. Сообщение от Аноним (-), 22-Май-21, 21:10	–3 +/–
На фряхе он оказался ещё дороже. Я как лох повёлся на бздишный хайп и взял VPSку на этой самой фряхе. Чисто попробовать. Фряхой я пользуюсь сильно изредка, но тк там кое-что нужное мне - нативное, поэтому вот. Но первым делом мне нужен был впн. Соответственно - NAT. Втыкаю natd - пропускная способность падает до килобит, вместо 200mbit, выделенных VPSке. Пробовал in-kernel NAT, чуть лучше, но все равно остается в килобитном диапазоне. Даже до мегабита не дотягивает, не то что до 200mbit. Самое смешное, что я не знал, что фряха так может лажать и накатал тикет провайдеру, типа чо за хрень у вас с сеткой. Они тоже не знали что фряха такое говно и перевели мою VPSку на другой сервер, что, разумеется, не помогло. Уже потом, когда я стал ковырять это говно глубже, вот тогда все это и выяснилось. Перед провайдером я, конечно, извинился, но как юзер не могу считать себя виноватым. Всё делал строго по букварям, а уж если буквари годятся только для розжига, ну и система ваша туде же должна идти. Вобщем, все надо использовать с особой осторожностью и никому не верить, типа нетфликс всё раздает с фряхи и все норм. Лажа все это.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #35 Ответы: #178

166. Сообщение от Аноним (166), 22-Май-21, 21:37	+/–
Очень достоверно, как всегда
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #128

167. Сообщение от Аноним (168), 23-Май-21, 00:00	+/–
Для альтернативно одаренных ником - кроме внешнего фаервола еще бывают внутренние и еще сегментация, и еще много чего интересного.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #116

168. Сообщение от Аноним (168), 23-Май-21, 00:02	+/–
Например не умеет вставать колом при 100к/с синов.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #117 Ответы: #170

169. Сообщение от Kuromi (ok), 23-Май-21, 00:31	+/–
> Именно так делают автомобили для гонок- убирают все лишнее- все что не > имеет отношения к решению поставленной задачи. Более того, ВСЕ оптимизации делаются > этим путем. Просто вы еще не поняли этого. Ну и не > все оптимизаторы достаточно компетентны чтобы при убирании ненужных элементов понимать > что можно убрать а что нельзя. Ну разумеется, вот только гоночные болиды никто на улицы не выпускает. Да и истинный гоночный болид уже ну очень далек от классического автомобиля, а тут именно что берут серийную тачку и делают из нее шайтан-мобиль. Может если так сильно оптимизировать линукс под запросы стоит уже ...подумать об альтернативах?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #147

170. Сообщение от нах.. (?), 23-Май-21, 10:32	+/–
> Например не умеет вставать колом при 100к/с синов. А если найду?! Чудес не бывает, если ты их собираешься парсить, а не дропать сразу на входе до попадания в conntrack.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #168 Ответы: #181

171. Сообщение от жоннн (?), 23-Май-21, 11:01	+/–
наши кодеры вручную могу 3 млн сделать
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

172. Сообщение от penetrator (?), 24-Май-21, 00:45	+/–
я смотрю 12 человек освоило матиматику и знает что такое 6% но потом пейсбук вводит новую функцию, на которую нужно еще 100 шкафов, и почти все старые оптимизации становятся бессмысленны. а дальше очередной раунд оптимизаций... за цену оптимизаторов можно девелоперам накинуть, чтобы говна поменьше писали, самый маржинальный прирост производительности - архитектурный. это не оптимизация CRC16 в линухе, которая никогда не поменяется, и то могут быть нюансы для разных процессорных архитектур.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22 Ответы: #173

173. Сообщение от нах.. (?), 24-Май-21, 11:10	+/–
> потом пейсбук вводит новую функцию, на которую нужно еще 100 шкафов, и почти все старые > оптимизации становятся бессмысленны. не становятся - повторю, именно поэтому к шкафу и прикован инженер, настоящий, не впопеннетчик, и даже цепь достаточно длинная чтобы он мог заниматься в нерабочее время подобными экспериментами. > а дальше очередной раунд оптимизаций... старые при этом никуда не деваются. Обрати внимание - больше половины там не за счет конкретного сервера (который тоже никуда, скорее всего, не денется сам по себе, поскольку это не фейсбукоспецифичное, а универсальное, и для новой функции тоже будет употреблено) а общесистемного. Поэтому шкафов изначально поменьше, чем потребовалось бы без прикованного к ним кожанного мешка. А там, глядишь, и еще что сумеет оптимизировать. Т.е. вопрос исключительно цены - если твои 6% в твоем единственном сервере не видны вообще никак - то тебе оно и не надо. Если ты Сцукенберг - твои 6% очень даже выгодно получить налом, не потратившись на лишние шкафы. Одна цепь и одна миска с кормом существенно дешевле обходится. Если ты где-то в промежутке - то внедрив у себя даже только небольшую часть тех улучшизмов - все еще можешь заслужить себе в миску хотя бы рояльканин, а не педигри.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #172 Ответы: #174

174. Сообщение от penetrator (?), 24-Май-21, 11:21	+/–
это все верно, но для низковолатильной системы, чет я сомневаюсь что пейсбук именно такой, хотя может развитие и остановилось, но в прогресирующих системах следующие 100 шкафов просто факт P.S. народ подскажите лучше какие есть альтернативы LUKS+dmcrypt для FDE, сильно проседает производительность дисковой подситемы, теряем около 30-40%
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #173 Ответы: #175

175. Сообщение от нах.. (?), 24-Май-21, 11:26	+/–
> прогресирующих системах следующие 100 шкафов просто факт у пейсбука это не 100, а скорее 1000 на самую мелкую доработку алгоритмов слежки. И да, экономия даже 60 из них - вполне оправдают содержание одного приличного раба. А там на самом деле куда больше наэкономилось.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #174

176. Сообщение от Аноньимъ (ok), 24-Май-21, 12:28	+/–
Есть такие ОС, для оборочавания вокруг одной программы. Ну и вы вполне такое из линукса можете сделать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #138

177. Сообщение от Аноньимъ (ok), 24-Май-21, 12:35	+1 +/–
Да вроде простой формат для парсинга, и человеку таки куда проще xml. Непонятно к чему вы это. Я вижу проблему в том, что взаимодействие сетевых приложений стали повально делать через передачу файлов по шттп. И непонятно лучше это или хуже ftp. Шизофрения настоящая.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #164

178. Сообщение от братюня анонов (?), 24-Май-21, 13:03	+/–
А не судьбы была либо взять готовое решение из *sense-семейства (pfsense или opnsense)? Или хотя бы погуглить на тему "freebsd natd" и прочитать сответствующий материал (аж десятилетней давности) на том же хабре - https://habr.com/ru/post/111580/ Где, в частности, в конце есть сравнения - и они точно не в пользу natd. И комментарии там есть вполне информативные в обсуждении. Так чтааа, панимаишь - кулст0ри бр0, пеши исч0.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #165 Ответы: #180

179. Сообщение от Аноним (107), 26-Май-21, 22:18	–1 +/–
То что там есть процессор общего назначения не значит что через него идёт весь траффик. Учи матчасть.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #110

180. Сообщение от нах.. (?), 28-Май-21, 13:02	+/–
тем не менее, несколько десятков мегабит там вполне намеряли, вовсе не килобиты, причем на железе десятилетней давности и вряд ли особо пафосном - так что тут что-то не так. Либо с vps, либо с провайдером. Ну а в принципе, когда там появился ipfw nat без divert socket (остальные глюкала я настоятельно не советую даже пробовать) - лет пятнадцать тому? Надо ж иногда и обращать внимание на дату копипасты, которую себе копируешь из вопроса, не дочитав до ответа.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #178

181. Сообщение от Аноним (168), 30-Май-21, 01:18	+/–
Не бывает, да. 5585Х затыкается на примерно 130к даже при дропе.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #170 Ответы: #182

182. Сообщение от Аноним (168), 30-Май-21, 01:53	+/–
А линукс на древнем 8-ядернике держит до 2.5 млн/с в режиме синпрокси, то есть с  парсингом и кучей дополнительных операций.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #181

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема