https://www.opennet.me/openforum/vsluhforumID1/76960.html Приветствую.<br><br>Есть некоторая сеть довольно больших размеров, клиентский трафик сейчас шейпится ipfw, на общем потоке 400 мбит р4 2.8 уже начинает не хватать (шейперов около 100). Топ показывает в среднем около 50% загрузки, если шейперы снять, то 10-15 (при трафике возросшем до 600-700 мбит).<br><br>Так вот, дошли слухи, что ipfw работает только на первом процессоре и покупка мощного многокаменного тазика его счастливым не сделает. Религия не запрещает перейти на pf, но интересно, как он с этим дружит.<br><br>Да и вообще - поделитесь опытом шейпинга больших потоков на ipfw и pf.<br><br>ЗЫ: таблицы не использую, шейпинг по направлениям сделан на основе ядерных таблиц роутинга: бгпой разные направления трафика разнесены по вланам и правила выглядят так:<br><br>${ipfw} pipe 14020 config bw 5Mbit/s<br>${ipfw} pipe 14021 config bw 5Mbit/s<br>${ipfw} pipe 14022 config bw 15Mbit/s<br>${ipfw} pipe 14023 config bw 15Mbit/s<br>${ipfw} add 14020 pipe 14020 ip from any to any recv vlan402 xmit vlan200<br>${ipfw} add 14021 pipe 14021 ip from any https://www.opennet.me/openforum/vsluhforumID1/76960.html#16 Wed, 24 Oct 2007 10:06:59 GMT &gt;&gt; А если памяти ядру на <br>&gt;&gt;сеть добавить, мегабайт 500? Может сгладяться пики?<br>&gt;<br>&gt;как конкретно это сделать?? <br>&gt;если не секрет <br><br>Вы сначала проверте в этом ли проблема с помощью, netstat -m, параметра два в sysctl<br>kern.ipc.nmbclusters и kern.ipc.nsfbufs.<br><br>The NMBCLUSTERS kernel configuration option dictates the amount of network Mbufs available to the system. A heavily-trafficked server with a low number of Mbufs will hinder FreeBSD's ability. Each cluster represents approximately 2 K of memory, so a value of 1024 represents 2 megabytes of kernel memory reserved for network buffers. A simple calculation can be done to figure out how many are needed. If you have a web server which maxes out at 1000 simultaneous connections, and each connection eats a 16 K receive and 16 K send buffer, you need approximately 32 MB worth of network buffers to cover the web server. A good rule of thumb is to multiply by 2, so 2x32 MB / 2 KB = 64 MB / 2 kB = 32768. We recommend values between 4096 and 32768 for machines w https://www.opennet.me/openforum/vsluhforumID1/76960.html#15 Wed, 24 Oct 2007 09:22:10 GMT &gt; А если памяти ядру на <br>&gt;сеть добавить, мегабайт 500? Может сгладяться пики?<br><br>как конкретно это сделать??<br>если не секрет<br> https://www.opennet.me/openforum/vsluhforumID1/76960.html#14 Wed, 24 Oct 2007 09:01:56 GMT &gt;А вот где 5 minute input rate 30272000 bits/sec, 10013 packets/sec нефиговый <br>&gt;рутер не справляется. Валится по интераптам... <br><br>По каким таким интераптам? По интераптам из-за забивания очередей на вход/выход и как следствие из-за нехватки памяти в ядре под сетевую обработку во времена коротких, резких скачков вверх потока? А если памяти ядру на сеть добавить, мегабайт 500? Может сгладяться пики? Просто я знаю сумашедших админов, которые потоки в районе 70-80 Мб/с через фрибсд пускали и проблемы у них были другого плана.<br><br> https://www.opennet.me/openforum/vsluhforumID1/76960.html#13 Wed, 24 Oct 2007 08:45:00 GMT &gt;Судя по выводу, похоже на кошку. Моя говорит так: <br>&gt;<br>&gt;5 minute input rate 173037000 bits/sec, 19113 packets/sec <br>&gt;5 minute output rate 179100000 bits/sec, 25659 packets/sec <br><br>Ну... Что я вам скажу...<br>Исходя из моего опыта, не могу представить машинку способную выдержать это:))))<br>Но думаю есть какие то нюансы способные эту ситуацию поправить... Просто я пока решения ещё не нашёл.:( Есть опция в ядро для ALTQ_NOPCC для многопроцессорных машинок.. Может она поможет.<br> https://www.opennet.me/openforum/vsluhforumID1/76960.html#12 Wed, 24 Oct 2007 08:29:28 GMT &gt;&gt;А вот где 5 minute input rate 30272000 bits/sec, 10013 packets/sec нефиговый <br>&gt;&gt;рутер не справляется. Валится по интераптам... <br>&gt;&gt;Или 5 minute input rate 12239000 bits/sec, 3580 packets/sec средненькая машинка валится <br>&gt;&gt;просто на лопатки... <br>&gt;<br>&gt;Кстати, чем снимали статистику? Попробую свою привести. <br><br>Судя по выводу, похоже на кошку. Моя говорит так:<br><br>5 minute input rate 173037000 bits/sec, 19113 packets/sec<br>5 minute output rate 179100000 bits/sec, 25659 packets/sec<br> https://www.opennet.me/openforum/vsluhforumID1/76960.html#11 Wed, 24 Oct 2007 08:23:55 GMT &gt;Кстати, чем снимали статистику? Попробую свою привести. <br><br>Да просто на цисковском свиче sh int fa0/??<br><br> https://www.opennet.me/openforum/vsluhforumID1/76960.html#10 Wed, 24 Oct 2007 08:07:33 GMT &gt;А вот где 5 minute input rate 30272000 bits/sec, 10013 packets/sec нефиговый <br>&gt;рутер не справляется. Валится по интераптам... <br>&gt;Или 5 minute input rate 12239000 bits/sec, 3580 packets/sec средненькая машинка валится <br>&gt;просто на лопатки... <br><br>Кстати, чем снимали статистику? Попробую свою привести.<br> https://www.opennet.me/openforum/vsluhforumID1/76960.html#9 Wed, 24 Oct 2007 07:42:36 GMT &gt;[оверквотинг удален]<br>&gt;&gt;вход и на выход<br>&gt;<br>&gt;В случае с вланами в этом проблем нет. Трафик роутиться насквозь.. И <br>&gt;поэтому режется в обе стороны. Есть множество машин где такое работает... <br>&gt;НО. к вопросу о производительности.. На неособо загруженных узлах проблем нет... <br>&gt;<br>&gt;А вот где 5 minute input rate 30272000 bits/sec, 10013 packets/sec нефиговый <br>&gt;рутер не справляется. Валится по интераптам... <br>&gt;Или 5 minute input rate 12239000 bits/sec, 3580 packets/sec средненькая машинка валится <br>&gt;просто на лопатки... <br><br>Кстати попробую тогда поднять этот вопрос....<br>Кто нить тюнил каким либо образом PF чтоб он хоть не проигрывал ipfw в вопросах производительности..<br> https://www.opennet.me/openforum/vsluhforumID1/76960.html#8 Wed, 24 Oct 2007 07:37:13 GMT &gt;работает он через выходную очередь сетевой карты, то есть ты не <br>&gt;можешь на одной карточке шейпить входной и выходной траффик как в <br>&gt;IPFW+DUMMYNET, для этого тебе нужно иметь две карточки в рутору на <br>&gt;вход и на выход<br><br>В случае с вланами в этом проблем нет. Трафик роутиться насквозь.. И поэтому режется в обе стороны. Есть множество машин где такое работает... НО. к вопросу о производительности.. На неособо загруженных узлах проблем нет... <br>А вот где 5 minute input rate 30272000 bits/sec, 10013 packets/sec нефиговый рутер не справляется. Валится по интераптам...<br>Или 5 minute input rate 12239000 bits/sec, 3580 packets/sec средненькая машинка валится просто на лопатки...<br>