The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от opennews (??), 08-Ноя-23, 23:41 
Опубликован релиз Netflow/IPFIX коллектора Xenoeye 23.11, позволяющего собирать  с различных сетевых устройств статистику о потоках трафика, передаваемую с использованием протоколов Netflow v5, v9 и IPFIX, а также обрабатывать данные, генерировать отчёты и строить графики.  Ядро проекта написано на языке С, код распространяется под лицензией ISC...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=60077

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +1 +/
Сообщение от Аноним (1), 08-Ноя-23, 23:41 
GEOIP показывает страну с точностью в районе 15000км, а вы долготу и широту угадывать собрались. Это называется попробуй придумать нечто более бесполезное и ненадёжное.
Ответить | Правка | Наверх | Cообщить модератору

2. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +1 +/
Сообщение от OpenEcho (?), 09-Ноя-23, 00:19 
> с точностью в районе 15000км

халявной максмайнд базой пользуетесь?

Ответить | Правка | Наверх | Cообщить модератору

3. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от penetrator (?), 09-Ноя-23, 05:17 
альтернативы?
Ответить | Правка | Наверх | Cообщить модератору

9. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  –3 +/
Сообщение от onanim (?), 09-Ноя-23, 08:35 
платная база, очевидно же.
если нищeбpод или паспорт не того цвета - можно купить базу на торрентах.
Ответить | Правка | Наверх | Cообщить модератору

8. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +1 +/
Сообщение от Аноним (8), 09-Ноя-23, 08:23 
Широта и долгота есть в базах ipapi. Это просто широта и долгота города, плюс-минус. Эти данные используют для того чтобы показать "точки" (или пятна) на карте мира.

Менеджерам среднего звена и скучающим домохозяйкам такие карты с пятнами нравятся. Загуглите geoip, там будут такие картинки. Их делают как раз из этих данных.

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

7. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +2 +/
Сообщение от San (??), 09-Ноя-23, 08:15 
А sflow он не умеет? очень жаль :(
Ответить | Правка | Наверх | Cообщить модератору

12. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от Аноним (8), 09-Ноя-23, 08:59 
Откройте ишшуй на гитхабе, если не сложно. Можно на русском. Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют. Или хотя бы дамп + пояснения.

Насколько я понимаю, сделать полноценную поддержку sFlow довольно сложная задача. Он же умеет экспортировать кусочки пакетов. Если делать нормально, то нужно уметь парсить эти кусочки, причем придется писать практически все заново. *DPI проекты не заточены на такое, им нужны пакеты целиком

Ответить | Правка | Наверх | Cообщить модератору

17. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от San (??), 09-Ноя-23, 11:38 
Да нет меня на гитхабе и не будет к сожалению :(

Если внесете sflow в планы, то для генерации sflow можно использовать pmacct. Он умеет это с помощью плагина sfprobe

Ответить | Правка | Наверх | Cообщить модератору

20. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +1 +/
Сообщение от Аноним (8), 09-Ноя-23, 13:18 
> меня на гитхабе и не будет

Кто-то уже создал issue, все нормально. Хорошо, я поговорил с нашими сетевыми гуру, они пообещали найти железку с sFlow для экспериментов. Посмотрим еще на host-generated sFlow. Не могу обещать, что поддержка появится скоро, но в планы ее точно добавили

Ответить | Правка | Наверх | Cообщить модератору

29. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от Аноним (29), 10-Ноя-23, 03:45 
>Для того чтобы добавить поддержку sflow нужны железки, которые этот sflow генерируют.

Посмотрите софтроутер VyOS, он вроде умеет в sFlow делать экспорт: https://docs.vyos.io/en/latest/configuration/system/sflow.html

>VyOS supports sFlow accounting for both IPv4 and IPv6 traffic. The system acts as a flow exporter, and you are free to use it with any compatible collector.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

34. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от Аноним (34), 11-Ноя-23, 14:48 
> А sflow он не умеет? очень жаль :(

goflow2 умеет. Собираем им статистику с наших SRX, работает отлично.

Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

11. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от Аноним (11), 09-Ноя-23, 08:55 
>экспортирует данные в PostgreSQL

Хотелось бы в influxdb, оно для этих целей больше годится, или там postgre надо с timescaledb собирать?

Ответить | Правка | Наверх | Cообщить модератору

13. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +2 +/
Сообщение от Аноним (8), 09-Ноя-23, 09:08 
>Хотелось бы в influxdb, оно для этих целей больше годится

Нет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут. Наберите в гугле "influxdb performance issues", удивитесь.

Как ни странно, обычный постгрис, без timescaledb - очень, очень неплохой вариант.

То есть мы можем дописать экспорт в вашу любимую БД, это несложно. Коллектор будет генерировать текстовые файлы в другом формате. Откройте ишшуй на гитхабе, если вам действительно нужно. Но сами у себя пользоваться influxdb мы точно не станем

Ответить | Правка | Наверх | Cообщить модератору

14. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от Аноним (11), 09-Ноя-23, 09:50 
Погоняю на postgre, посмотрю как оно. У меня сейчас netflow на допотопном nfcapd, когда нужно было что-то поставить ничего кроме него не нашлось, а ваш проект поживее выглядит, надеюсь что продолжит развиваться.
Ответить | Правка | Наверх | Cообщить модератору

15. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +1 +/
Сообщение от Третий П (?), 09-Ноя-23, 10:07 
> Погоняю

Вот он, настоящий линукс-гейминг.

Ответить | Правка | Наверх | Cообщить модератору

28. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от sabitov (ok), 09-Ноя-23, 20:29 
> на допотопном nfcapd

А чем плох nfcapd + nfsen? Не, я не спорю, мне для общего понимания ситуации :)

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

21. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +2 +/
Сообщение от Аноним (34), 09-Ноя-23, 14:56 
> Нет, не очень годится. Мы его попробовали чуть ли не в первую очередь. Он же на слуху, везде про него рассказывают. По факту он очень слабо держит большие (и даже средние) нагрузки, когда в него много пишут.

Практически все БД так себя ведут, вопрос только в пороговой нагрузке. С influx вы приехали раньше, с постгресом приедете чуть позже. Исключением являются разве что OLAP, например, кликхаус, способный жрать миллионы записей в секунду.

Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в БД, а в брокер (как правило, Kafka), из которого отдельный компонент уже выгребает и вставляет в БД. Благодаря нефиговым возможностям горизонтального масштабирования кафки, эта штука может переварить гигантские пики данных.

При прямой вставке в БД, когда поток данных превысить возможности БД, система, скорее всего, просто повиснет (в лучшем случае, если БД настроена хорошо и есть таймауты и реконнекты в клиенте, дело ограничится потерей данных).

Ответить | Правка | К родителю #13 | Наверх | Cообщить модератору

26. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от ivan_erohin (?), 09-Ноя-23, 20:14 
> Именно поэтому хорошим тоном в архитектуре является отправка коллектором данных не в
> БД, а в брокер

хорошим тоном является не усложнять без особой нужды.
иначе будет как у этих: habr.com/ru/companies/leroy_merlin/articles/

Ответить | Правка | Наверх | Cообщить модератору

33. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от Аноним (34), 11-Ноя-23, 12:34 
> хорошим тоном является не усложнять без особой нужды.

Естественно. И способность переваривать пики входных данных - это и есть "особая нужда".
Потому что система не должна виснуть под нагрузкой.

Ответить | Правка | Наверх | Cообщить модератору

38. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от glad_valakas (?), 12-Ноя-23, 09:54 
> Естественно. И способность переваривать пики входных данных -
> это и есть "особая нужда".

где-то мощностей недодали. не вижу ничего "особого".

Ответить | Правка | Наверх | Cообщить модератору

24. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от LocalObserver (?), 09-Ноя-23, 16:15 
Я пробовал Influx с Netflow-данными и он показался тормозным и сильно жрущим дисковое пространство. Сейчас гляжу в сторону VictoriaMetrics, он вроде получше.
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

35. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от Аноним (34), 11-Ноя-23, 14:54 
IMHO, Prometheus-подобные TSDB - не лучший выбор для таких задач. Если вы хотите агрегацию статистики по сетям хотя бы /20 (например), то кардинальность рядов (количество сочетаний меток для ряда с одним именем) будет зашкаливающей, и даже Victoria может не вывезти.

Мы пришли к использованию кликхауса, который отлично переваривает огромные объемы данных и поддерживает аггрегирующие таблицы, что позволяет хранить обобщенные данные за большой период (грубо говоря, как graphite).

Ответить | Правка | Наверх | Cообщить модератору

16. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +1 +/
Сообщение от ivan_erohin (?), 09-Ноя-23, 10:16 
эхехе где же вы были в моем 2005 году ?
нетфлоу коллектором мне пришлось заводить какую-то индусскую поделку на java и ту под виндой. что-то оно даже показывало, но тормоза и глюки доставали.
Ответить | Правка | Наверх | Cообщить модератору

18. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от Аноним 80_уровня (ok), 09-Ноя-23, 12:14 
В 2004 уже был flow-capture из flow-tools. Показывать, конечно, сам ничего не показывал, он же коллектор, а собирал исправно.
Ответить | Правка | Наверх | Cообщить модератору

23. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от Аноним (23), 09-Ноя-23, 15:29 
> где же вы были в моем 2005 году ?

Использовали ipcad и не парились?

Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

25. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от ivan_erohin (?), 09-Ноя-23, 20:04 
> Использовали ipcad и не парились?

он же только экспорт умеет ?

я в конце концов подобрал простой и быстрый
https://cgit.freebsd.org/ports/tree/net-mgmt/ipacctd
разумеется чужой поток netflow он принимать не умел.
а потом безлимиты пошли, ничего уже не надо считать,
только резать мусор и иногда шейпить.

Ответить | Правка | Наверх | Cообщить модератору

27. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от sabitov (ok), 09-Ноя-23, 20:26 
ой, вот тут Вы про "считать" не правы! приходит к Вам "товарищмайор" и спрашивает: "а вот вас полгода назад чучело студентообразное из Мухозасиженска атаковало с ип адреса ... что Вы на это можете сказать?" Или как альтернатива: "с ип-адреса (указывается ip-адрес Вашего НАТа) были атаки на ..."

И если у Вас таки есть логи фаервола и статистика netflow, то Вы за 2 минуты даёте исчерпывающий ответ, а в противном случае имеете массу приятных мгновений.

Ответить | Правка | Наверх | Cообщить модератору

30. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от ivan_erohin (?), 10-Ноя-23, 11:17 
> И если у Вас таки есть логи фаервола и статистика netflow, то

ничего не гарантирует, если полицай закусил удила в погоне за палкой или заказом.
"ваши логи - поддельный фуфел. вот наши эксперты посмотрят изъятое железо
и сами все определят (или нарисуют, неважно)".

Ответить | Правка | Наверх | Cообщить модератору

31. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +1 +/
Сообщение от sabitov (ok), 10-Ноя-23, 12:03 
> ничего не гарантирует, если полицай закусил удила в погоне ...

Ну, тут есть два момента: 1) я описываю свой личный положительный опыт, 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди.

Ответить | Правка | Наверх | Cообщить модератору

36. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от glad_valakas (?), 12-Ноя-23, 09:42 
> 1) я описываю свой личный положительный опыт

вы могли бы положить на их дурацкие запросы болт.
"логов не ведем, даже по закону ярозулиной не обязаны (если тогда был тот закон вообще),
обратитесь к аплинку, возможно у них есть". на этом все.

> 2) ко мне в гости приходили из чуть более другой службы абсолютно нормальные вменяемые люди.

вестись на добрых полицаев - признак лоховства.

кстати ZOGадка: добрый полицай и злой полицай - какой хуже ?

Ответить | Правка | Наверх | Cообщить модератору

32. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от Аноним (32), 11-Ноя-23, 10:03 
полицай (если ему не дали конкретно за тебя денег)  даже не пошевелится твой телефон набрать. Плавали знаем. Если ты не светился в уголовной хронике, можешь забивать и не париться.

у меня такой был, в финале позвонил и хотел вызвать на допрос в день рождения. Был послан, страшно удивился, но больше не звонил.

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

37. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от glad_valakas (?), 12-Ноя-23, 09:45 
> позвонил и хотел вызвать на допрос в день рождения.

есть у них лайфхак, когда неохота возиться с повестками или отчитываться за повестки:
"примите телефонограмму под запись". можно отморозиться.

Ответить | Правка | Наверх | Cообщить модератору

19. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  –1 +/
Сообщение от Аноним (19), 09-Ноя-23, 12:40 
Опять на Сях, писать блин больше не на чем чтоли? Нечитаемая каша в итоге, как всегда.
Ответить | Правка | Наверх | Cообщить модератору

22. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +2 +/
Сообщение от 1 (??), 09-Ноя-23, 15:12 
Так специальный язык сделали, чтобы нечитаемость кода увеличилась на порядок.
Жаль, что его нельзя называть.
Ответить | Правка | Наверх | Cообщить модератору

39. "Выпуск Netflow/IPFIX коллектора Xenoeye 23.11"  +/
Сообщение от вячеславус (?), 22-Ноя-23, 06:09 
Зато быстро работает.
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру