The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

OpenNews: В OpenBSD появилась возможность экспорта статистики PF в виде Netflow v5 потока, opennews (??), 09-Сен-08, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


5. "В OpenBSD появилась возможность экспорта статистики PF в виде Netflow v5 потока"  +/
Сообщение от Аноним (3), 10-Сен-08, 11:11 
Ждём порта под Linux (ни одной вменяемой стандартной netflow-probe нет под Linux, которая бы не pcap-based и не ULOG-based).
Ответить | Правка | Наверх | Cообщить модератору

6. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от pavel_simple (??), 10-Сен-08, 11:39 
>Ждём порта под Linux (ни одной вменяемой стандартной netflow-probe нет под Linux,
>которая бы не pcap-based и не ULOG-based).

спорим?
ipcad (ulog,pcap, _IPQ_)
а ещё... http://sourceforge.net/projects/ipt-netflow/

а ещё -- лучше жевать, когда не уверен.

Ответить | Правка | Наверх | Cообщить модератору

7. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от pavel_simple (??), 10-Сен-08, 11:41 
>>Ждём порта под Linux (ни одной вменяемой стандартной netflow-probe нет под Linux,
>>которая бы не pcap-based и не ULOG-based).
>
>спорим?
>ipcad (ulog,pcap, _IPQ_)
>а ещё... http://sourceforge.net/projects/ipt-netflow/
>
>а ещё -- лучше жевать, когда не уверен.

для желающих очень быстро
http://www.few.vu.nl/~wdb/streamline/

Ответить | Правка | Наверх | Cообщить модератору

9. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от greyork (??), 10-Сен-08, 14:01 
На всякий случай...

> ipcad (ulog,pcap, _IPQ_)

What is libnetfilter_queue?
libnetfilter_queue is a userspace library providing an API to packets that have been queued by the kernel packet filter. It is is part of a system that deprecates the old ip_queue / libipq mechanism.
(Цитата с http://www.netfilter.org/projects/libnetfilter_queue/index.html)
Попытка выяснить поддерживает ли libnetfilter_queue Netflow экспорт успехом не увенчалась.

Поиск ipt-netflow по репозиторию пакетов Debian успехом не увенчался.

Выходит так, что экспорт Netflow решается далеко не штатными средствами и, IMHO, не так гладко, как хотелось бы. Но ничего на корню отрицать не берусь, поскольку сам не пробовал. Если есть информация поделитесь ей.

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

10. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от Аноним (3), 10-Сен-08, 14:02 
>а ещё... http://sourceforge.net/projects/ipt-netflow/

почему его нет на netfilter.org?

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

11. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от pavel_simple (??), 10-Сен-08, 14:17 
>>а ещё... http://sourceforge.net/projects/ipt-netflow/
>
>почему его нет на netfilter.org?

товарищам выше посвящается

упор делать можно на разное -- я сделал на "вменяемой" -- Вы на "стандартной" -- не буду спорить о том у кого какие стандарты -- скажу всем хорошо известной поговоркой -- "Кто хочет - ищет способ, кто не хочет - причину" (C) Народная Мудрось.

Ответить | Правка | Наверх | Cообщить модератору

12. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от Аноним (3), 10-Сен-08, 14:34 
>товарищам выше посвящается

Ты меня не понял. Видно что ipt_netflow очень свежая вешь. Понятно что в стабильном дебиане его быть не может. Но в репозитории netfilter где располагаются модули iptables, и где их все ищут, этой вещи самое место.

Ответить | Правка | Наверх | Cообщить модератору

13. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от pavel_simple (??), 10-Сен-08, 14:44 
>>товарищам выше посвящается
>
>Ты меня не понял. Видно что ipt_netflow очень свежая вешь. Понятно что
>в стабильном дебиане его быть не может. Но в репозитории netfilter
>где располагаются модули iptables, и где их все ищут, этой вещи
>самое место.

ну видимо нет у человека сил бороться с netfilter.org -- там в POM то попасть сложно.

Ответить | Правка | Наверх | Cообщить модератору

14. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от pavel_simple (??), 10-Сен-08, 14:45 
>>>товарищам выше посвящается
>>
>>Ты меня не понял. Видно что ipt_netflow очень свежая вешь. Понятно что
>>в стабильном дебиане его быть не может. Но в репозитории netfilter
>>где располагаются модули iptables, и где их все ищут, этой вещи
>>самое место.
>
>ну видимо нет у человека сил бороться с netfilter.org -- там в
>POM то попасть сложно.

P.S. судя по ipt_account

Ответить | Правка | Наверх | Cообщить модератору

31. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от User294 (ok), 12-Сен-08, 15:26 
>ну видимо нет у человека сил бороться с netfilter.org -- там в
>POM то попасть сложно.

Зато видимо есть силы самому колупаться с -CURRENT версией системы, указанной в новости?Ну да, наверное это проще :))

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

15. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от Аноним (3), 10-Сен-08, 15:10 
Видимо, придётся жевать вам, так как: http://www.free-it.de/archiv/talks_2005/paper-11076/paper-11...

Статья была представлена на Linux Симпозиуме 2005 года и с тех пор (!!!) не было сделано ни одной работающей версии, как говорится "правильно".

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

16. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от pavel_simple (??), 10-Сен-08, 15:47 
>Видимо, придётся жевать вам, так как: http://www.free-it.de/archiv/talks_2005/paper-11076/paper-11...
>
>Статья была представлена на Linux Симпозиуме 2005 года и с тех пор
>(!!!) не было сделано ни одной работающей версии, как говорится "правильно".
>

версии чего?
-- что вы пытаетесь доказать? что НЕТ ни одного работающего стабильного инструмента для решения поставленной задачи (без ULOG, без PCAP) ? -- так ведь я вроде конкретные ссылки даже указал -- или Вам удобнее найти статью 2005 года выпуска ? что, не удалось найти старее?

Ответить | Правка | Наверх | Cообщить модератору

17. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от Аноним (3), 10-Сен-08, 16:07 
>версии чего?
> -- что вы пытаетесь доказать?

Это обьяснение почему этих вещей нет в PoM.

Команда netfilter считает что с учёт трафика должен делать conntrack. А для получения данных в userspace, conntrack нужно обложить хуками и забирать из него данные.

Но видимо conntrack постоянно радикально переделывают, что с ним связыватся никто не хочет. А может просто нравятся велосипеды и процесс написание модулей ядра? :)

Ответить | Правка | Наверх | Cообщить модератору

23. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от nuclightemail (ok), 12-Сен-08, 12:47 
>>Ждём порта под Linux (ни одной вменяемой стандартной netflow-probe нет под Linux,
>>которая бы не pcap-based и не ULOG-based).
>
>спорим?
>ipcad (ulog,pcap, _IPQ_)
>а ещё... http://sourceforge.net/projects/ipt-netflow/
>
>а ещё -- лучше жевать, когда не уверен.

Ну и какое же оно вменяемое, если оно userspace? Речь шла о ядре, а что ULOG, что PCAP, что IPQ - все отправляют в userland сами пакеты, а не уже готовый netflow.

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

24. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от pavel_simple (??), 12-Сен-08, 12:50 
>[оверквотинг удален]
>>
>>спорим?
>>ipcad (ulog,pcap, _IPQ_)
>>а ещё... http://sourceforge.net/projects/ipt-netflow/
>>
>>а ещё -- лучше жевать, когда не уверен.
>
>Ну и какое же оно вменяемое, если оно userspace? Речь шла о
>ядре, а что ULOG, что PCAP, что IPQ - все отправляют
>в userland сами пакеты, а не уже готовый netflow.

если для вас вменяемое == !юзерспайс предлагаю выкинуть у вас из системы(какая она у вас там)всё кроме ядра.
а по делу -> http://web.yl.is.s.u-tokyo.ac.jp/~tosh/kml/

Ответить | Правка | Наверх | Cообщить модератору

27. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от nuclightemail (ok), 12-Сен-08, 13:16 
>[оверквотинг удален]
>>>а ещё... http://sourceforge.net/projects/ipt-netflow/
>>>
>>>а ещё -- лучше жевать, когда не уверен.
>>
>>Ну и какое же оно вменяемое, если оно userspace? Речь шла о
>>ядре, а что ULOG, что PCAP, что IPQ - все отправляют
>>в userland сами пакеты, а не уже готовый netflow.
>
>если для вас вменяемое == !юзерспайс предлагаю выкинуть у вас из системы(какая
>она у вас там)всё кроме ядра.

Ну идите, заведите это на гигабите с 100kpps на механизмах с негарантированной доставкой в юзерлэнд. Потом передергивайте себе на здоровье дальше.

>а по делу -> http://web.yl.is.s.u-tokyo.ac.jp/~tosh/kml/

Сами-то пробовали завести эту связку с netflow или так, теоретизируете?

Ответить | Правка | Наверх | Cообщить модератору

29. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от pavel_simple (??), 12-Сен-08, 14:50 
>>[оверквотинг удален]
>>>>а ещё... http://sourceforge.net/projects/ipt-netflow/
>>>>
>>>>а ещё -- лучше жевать, когда не уверен.
>>>
>>>Ну и какое же оно вменяемое, если оно userspace? Речь шла о
>>>ядре, а что ULOG, что PCAP, что IPQ - все отправляют
>>>в userland сами пакеты, а не уже готовый netflow.

и не сами пакеты -- а только метаинформацию о них (по желанию)
>>
>>если для вас вменяемое == !юзерспайс предлагаю выкинуть у вас из системы(какая
>>она у вас там)всё кроме ядра.
>
>Ну идите, заведите это на гигабите с 100kpps на механизмах с негарантированной

ошибочка -- старый ipq и новый netlink_ipq -- строго через, строго гарантируемая
>доставкой в юзерлэнд. Потом передергивайте себе на здоровье дальше.
>
>>а по делу -> http://web.yl.is.s.u-tokyo.ac.jp/~tosh/kml/
>
>Сами-то пробовали завести эту связку с netflow или так, теоретизируете?

а что там пробовать -- железно работает -- благо на задачах по подсчёту обычно нет каких-то других сервисов и сильно заботиться о безопасности оных не нужно

Ответить | Правка | Наверх | Cообщить модератору

38. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от Lessless (?), 25-Июн-09, 12:57 
netlink_ipq - Google об этом не знает. А зависимость LInux'оидов на каждом угле выписывать как у них там - это паталогическая склонность к решению проблем детским путем, видимо в школе прогуливали и жить не научились :)
умывайтесь на здоровье.
Ответить | Правка | Наверх | Cообщить модератору

37. "В OpenBSD появилась возможность экспорта статистики PF в вид"  +/
Сообщение от DK (??), 07-Дек-08, 20:10 
>[оверквотинг удален]
>>
>>спорим?
>>ipcad (ulog,pcap, _IPQ_)
>>а ещё... http://sourceforge.net/projects/ipt-netflow/
>>
>>а ещё -- лучше жевать, когда не уверен.
>
>Ну и какое же оно вменяемое, если оно userspace? Речь шла о
>ядре, а что ULOG, что PCAP, что IPQ - все отправляют
>в userland сами пакеты, а не уже готовый netflow.

ipt_netflow это _не_ юзерспейс... это модуль кернела с управлением через iptables.
вся обработка потоков и экспорт живет в ядре.
...так что жевать таки лучше.

Проекту ipt_netflow в феврале будет год и стал он паблик после полугодового использования в продакшин на тех задачах под которые был написан. Основная причина по которой он появился, это 100% cpu на машине с ipcad из за контекст свитчинга. Никаких телодвижений воткнуть его в офицал iptables никто не делал, ибо лень. Нужен будет - все произойдет само собой. =)

А патч для RAW был сделан потому, что захотелось выбросить ng_netflow вместе с freebsd на единственной машине которая и стояла только для сбора трафика и генерации netflow, а все остальные в этой сетке были под linux'ами (коих там десятки).

И кстате, если сравнивать по загрузке cpu ng_netflow vs ipt_netflow, то последний выигрывает. Однако никто не задавался задачей это тестить, просто по факту загрузка cpu упала, ну а желающие могут это проверить самостоятельно. =:)


Пример одной из продакшин машин:
19:45:17 up 46 days, 10:13,  4 users,  load average: 0.72, 0.69, 0.69

root@<censored>:~# grep Xeon /proc/cpuinfo
model name      : Intel(R) Xeon(TM) CPU 2.80GHz
model name      : Intel(R) Xeon(TM) CPU 2.80GHz

root@<censored>:~# lspci | grep Ethernet
0000:03:04.0 Ethernet controller: Intel Corp. 82546GB Gigabit Ethernet Controller (rev 03)
0000:03:04.1 Ethernet controller: Intel Corp. 82546GB Gigabit Ethernet Controller (rev 03)
0000:03:09.0 Ethernet controller: Intel Corp.: Unknown device 107c (rev 05)

Это top (дада... named нужно-бы убрать на другой бокс):
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                      
30785 bind      25   0  234m 198m 2288 S 23.9  6.5   3908:38 named                                        
3064 quagga    15   0 74452  71m  716 S  2.3  2.3 178:04.49 zebra                                        
3612 netflow   18   0 12064 5824 1576 S  0.7  0.2 132:11.20 nfmon                                        
... остальное там мелочи (nfmon локальный сборщик netflow udp).

root@<censored>:~# cat /proc/net/stat/ipt_netflow
Flows: active 55480 (peak 88853 reached 15d0h16m ago), mem 3034K
Hash: size 100000 (mem 390K), metric 1.4, 1.0, 1.0, 1.0. MemTraf: 43560110 pkt, 28305939 K (pdu 35, 4373).
Timeout: active 1800, inactive 15. Maxflows 2000000
Rate: 423049796 bits/sec, 82556 packets/sec; Avg 1 min: 418214503 bps, 81680 pps; 5 min: 417531966 bps, 82153 pps
cpu#  stat: <search found new, trunc frag alloc maxflows>, sock: <ok fail cberr, bytes>, traffic: <pkt, bytes>, drop: <pkt, bytes>
Total stat: 28232973609 84793565693 2728047348,    0    0    0    0, sock: 181865964 160 399107, 260011495 K, traffic: 87521613041, 54154242 MB, drop: 23386, 28145 K
cpu0  stat: 14493719122 43168138945 1537740460,    0    0    0    0, sock:      0 0 399107, 0 K, traffic: 44705879405, 25516990 MB, drop: 0, 0 K
cpu1  stat: 13739254487 41625426749 1190306888,    0    0    0    0, sock: 181865964 160 0, 260011495 K, traffic: 42815733637, 28637252 MB, drop: 23386, 28145 K
sock0: 127.0.0.1:20001, sndbuf 83886080, filled 0, peak 0; err: sndbuf reached 0, other 19
sock1: <censored>:20001, sndbuf 83886080, filled 0, peak 34080; err: sndbuf reached 0, other 25
aggr#0 net: match <censored>/19 strip 32
aggr#1 net: match <censored>/20 strip 32
aggr#2 net: match <censored>/27 strip 32
aggr#3 net: match <censored>/22 strip 32
aggr#4 net: match 0.0.0.0/0 strip 24
root@<censored>:~# vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
0  0      0 556452 216540 1268764    0    0     1     4    5     3  3 42 55  0
0  0      0 557184 216540 1267284    0    0     0     4    0  1097  7 72 22  0
0  0      0 556820 216540 1267608    0    0     0    48    0   979  3 69 29  0
0  0      0 556204 216540 1267756    0    0     0    44    0  1166  3 70 27  0
1  0      0 555400 216540 1267800    0    0     0     0    0  1043  2 70 28  0
1  0      0 554476 216548 1267940    0    0     0    72    0  1243  3 65 32  0
0  0      0 556712 216552 1268128    0    0     0   204    0  1032  3 62 36  0
0  0      0 556776 216552 1268128    0    0     0    20    0  1049  3 64 33  0
0  0      0 556540 216552 1268516    0    0     0     0    0  1144  3 61 36  0

При этом на машине живет NAT и per-ip HTB (htb_hashiz) в обе стороны (через IMQ) для 3-х сетей: /19 /20 /22. Машина под debian 4.0, правда лично я не поклонник, просто так получилось.

Всем удачи, я сюда случайно зашел =)

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

39. "В OpenBSD появилась возможность экспорта статистики PF в вид"  +/
Сообщение от Lessless (?), 25-Июн-09, 13:10 
>[оверквотинг удален]
> 0  0      0 556540 216552
>1268516    0    0  
>  0     0    
>0  1144  3 61 36  0
>
>При этом на машине живет NAT и per-ip HTB (htb_hashiz) в обе
>стороны (через IMQ) для 3-х сетей: /19 /20 /22. Машина под
>debian 4.0, правда лично я не поклонник, просто так получилось.
>
>Всем удачи, я сюда случайно зашел =)

да пожалуйста :)

Ответить | Правка | Наверх | Cообщить модератору

36. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от yason (?), 17-Сен-08, 23:33 
>Ждём порта под Linux (ни одной вменяемой стандартной netflow-probe нет под Linux,
>которая бы не pcap-based и не ULOG-based).

его никогда не будет, ибо pf и netgraph сугубо ядреные фичи bsd.
может быть только аналогичная реализация.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

40. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от TiFFolkemail (ok), 02-Фев-10, 01:59 
netgraph портирован под линукс
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру