https://slinkov.ru/openforum/vsluhforumID3/49783.html При записи пакетов используя tcpdump на больших скоростях возможна потеря пакетов.<br><br>Для 1 гигабита помогли такие изменения в /etc/sysctl.conf:<br><br> net.core.rmem_default = 33554432<br> net.core.rmem_max = 33554432<br> net.core.netdev_max_backlog = 16384<br><br><br>URL: http://catap.ru/blog/2009/02/19/karma-tcpdump-i-gigabit/<br>Обсуждается: http://www.opennet.ru/tips/info/1956.shtml<br> https://slinkov.ru/openforum/vsluhforumID3/49783.html#9 Fri, 22 May 2009 20:21:03 GMT Дабы осталось сохраненным нужно отметить<br><br>&gt;ulog пакеты не теряет. <br><br>полностью согласен. Как технология - не теряет. А вот как конкретное решение - реализация с конкретным демоном статистики ulogd, предлагаемым именно на сайте www.netfilter.ru - траффик вполне теряется, как я и описывал выше<br> https://slinkov.ru/openforum/vsluhforumID3/49783.html#8 Sat, 28 Mar 2009 11:19:11 GMT &gt;&gt;независимый опыт нескольких специалистов в UNIX со стажем более 15 лет каждого (в т.ч. мой) говорит, что пакеты под нагрузкой теряются.<br>&gt;<br>&gt;попробуйте -j ULOG --ulog-cprange 100 --ulog-qthreshold 30 <br><br>Это все, что вы знаете в части тюнинга ULOG ? Ну, во первых cprange может быть и меньше гораздо (достаточно, чтобы влезали заголовки IP и TCP/UDP), если вы не анализируете тунели, а очередь можно сделать и побольше. Да, это несколько снижает потери ... Конфигурации, похожие на ваши используются в моих решениях давно (года 4 точно), но этого, к сожалению, явно мало - траффик таки теряется. Так что решение - под конкретные условия<br> https://slinkov.ru/openforum/vsluhforumID3/49783.html#7 Tue, 24 Mar 2009 17:29:30 GMT &gt;независимый опыт нескольких специалистов в UNIX со стажем более 15 лет каждого (в т.ч. мой) говорит, что пакеты под нагрузкой теряются.<br><br>попробуйте -j ULOG --ulog-cprange 100 --ulog-qthreshold 30<br> https://slinkov.ru/openforum/vsluhforumID3/49783.html#6 Mon, 23 Mar 2009 19:16:03 GMT независимый опыт нескольких специалистов в UNIX со стажем более 15 лет каждого (в т.ч. мой) говорит, что пакеты под нагрузкой теряются. Результат поддаётся моделированию и обладает повторяемостью - разворачиваете ULOG (с журналированием всего траффика) на относительно слабой машине, например celeron 1700, копируете несколько файлов по несколько гигабайт и получаете такую вот картинку - до 60% потерь в статистике при корректно переданном файле<br><br>из тюнинга пробовались - варианты вывода (больше потери при запись напрямую в базу, меньше - в файл, ограничение учитываемой порции данных не всем пакетом, а достаточной для выборки интересующих данных начальным куском, игрались с размерами кэшей)<br><br>допускаю, что где-то что-то есть в виде тайных знаний или best practice, но на текущий момент результат таков, как я описал. Да, на нагрузке сети до 10мбит траффик не теряется<br><br><br><br><br><br> https://slinkov.ru/openforum/vsluhforumID3/49783.html#5 Thu, 26 Feb 2009 14:15:30 GMT ulog пакеты не теряет.<br><br>Точка.<br><br>Лечите кривые руки.<br> https://slinkov.ru/openforum/vsluhforumID3/49783.html#4 Tue, 24 Feb 2009 21:48:33 GMT &gt;Из-за потерь приходится выкручиваться, переводить детализированные данные в процентное отношение, относительно суммы. <br>&gt;Затем брать тарфик посчитанный на интерфейсе и уже к нему применять <br>&gt;посчитанные проценты для получения конечных данных. Так как теряются пакеты равномерно <br>&gt;и только в пиках, то погрешность получается вполне допустимой. <br><br>Попрбуйте патченый pcap - результаты удивят, как никак, а чувак из Los Alamos National Laboratory - а там ламеров уж точно не держат :)<br><br><br> https://slinkov.ru/openforum/vsluhforumID3/49783.html#3 Tue, 24 Feb 2009 09:49:05 GMT Из-за потерь приходится выкручиваться, переводить детализированные данные в процентное отношение, относительно суммы. Затем брать тарфик посчитанный на интерфейсе и уже к нему применять посчитанные проценты для получения конечных данных. Так как теряются пакеты равномерно и только в пиках, то погрешность получается вполне допустимой.<br> https://slinkov.ru/openforum/vsluhforumID3/49783.html#2 Tue, 24 Feb 2009 09:43:27 GMT про патченный вариант не скажу ничего, а вот стандартных пакеты теряет лихо ... как и ULOG. По моим экспериментам потери на чистом pcap доходили до 20% под нагрузкой, у ULOG - до 60% !!!<br><br>Что не теряет пакеты - libipq Но может замедлять работу ... и требует повозиться с настройкой<br> https://slinkov.ru/openforum/vsluhforumID3/49783.html#1 Sat, 21 Feb 2009 23:48:29 GMT Надо юзать libpcap с поддержкой MMAP или Device pooling <br><br>http://public.lanl.gov/cpw/<br>http://labs.ee.psu.edu/faculty/kesidis/EMIST/TCPDUMP%20subsampling%20tech-report.pdf (118Kb PDF)<br><br><br><br>Improving Passive Packet Capture: Beyond Device Polling - http://luca.ntop.org/Ring.pdf<br>High-Speed Dynamic Packet Filtering - http://luca.ntop.org/Blooms.pdf<br>Как настроить PF_RING в линухе - http://www.ntop.org/PF_RING.html<br><br><br>libpcap + PF_RING - svn co https://svn.ntop.org/svn/ntop/trunk/PF_RING<br><br><br><br><br>