Доступен Netflow-коллектор Xenoeye, который позволяет собирать с различных сетевых устройств статистику о потоках трафика, передаваемую с использованием протоколов Netflow v9 и IPFIX, обрабатывать данные, генерировать отчёты и строить графики. Кроме этого, коллектор может запускать пользовательские скрипты при превышении порогов. Ядро проекта написано на языке С, код распространяется под лицензией ISC...Подробнее: https://www.opennet.me/opennews/art.shtml?num=58958
Мне название не нравится, плохой маркетинг, не взлетит.
А кто в теме, поясните, зачем оно?
Коллектор использует скользящие средние для подсчёта превышения скорости трафика.
Коллектор можно использовать для поиска заражённых хостов (рассылающих почтовый спам, HTTP(S)-flood, SSH-сканеров), для определения резких всплесков при DoS/DDoS-атаках.
Для сбора нетфлоу очевидно. Что это такое - гугл в помощь.
коллекторов как грязи еще в конце нулевых было.
> коллекторов как грязи еще в конце нулевых былоПочему-то их любили писать на Java и на каких-то скриптовых языках.
Из опенсорсных выжило с тех времен буквально 1.5 штуки - простейший nfdump и полу-коммерческий FastNetMon.
Сейчас, в 2023 ситуация очень непонятная. Иностранные коммерческие коллекторы закрыли даже доступ к своим сайтам для русских IP
https://www.solarwinds.com/netflow-traffic-analyzer
https://www.plixer.com/products/scrutinizer/
Непонятно зачем, их все равно легально нельзя купить. Насколько я понимаю, FastNetMon тоже не продает коммерческие версии, хотя Павел вроде как из России. У него на github-странице написано что разработкой занимается какое-то LTD из Лондона.
Современные опенсорсные коллекторы массово появились, когда Cloudflare выложили в свободный доступ свою netflow-библиотеку goflow. Сейчас классический опенсорс коллектор это экспортер на go + Kafka/Elastic/Greylog + какое-то хранилище + визуализатор. Докеры, кластеры, пайплайны, терабайтные хранилища, вот это все
Nfacctd (из состава pmacct) вполне себе жив, шустр и кошерен. Но это только коллектор, морду/экспортер к нему надо самому пилить.
А как же https://www.ntop.org/?
> А как же https://www.ntop.org/Ни разу не видел чтобы кто-то им пользовался именно для netflow
А он именно под него и заточен изначально.
Для продвинутого сетевого мониторинга. По IP адресам, протоколам, портам, TCP-флагам. И по другим полям, которые могут быть в netflow (а их может быть дофига разных). AS, VLAN, номер порта и т.п.
для закона Мизулиной (или закона Яровой ? забыл точно кто из этих дурных баб - кто).я в свое время для сверки с провайдером обходился ipacctd.
>Ядро проекта написано на языке СКому-то нужно, чтобы его флоу стали общедоступны из-за очередной уязвимости? Вперёд и с песней использовать коллектор на Це =)
Просто серьезные вещи для рельного применения пишут на Це очень даже.
дооооо, инкремент в табличке значения в соотв паттерн-матчингом по полю - серьезная вещь, куда уж
Так в чем собственно вопрос в надежности и безопасности Си?
Или в быстродействии Rust?
В быстродействии чего?
> Кому-то нужно, чтобы его флоу стали общедоступны из-за очередной уязвимости?Непонятно, что вы этим хотели сказать. Netflow экспортируется от роутера к коллектору, это обычно происходит внутри доверенной сети. Из дикого интернета netflow никто не принимает. Он (обычно) ходит по UDP, адрес источника можно легко заспуфить.
Единственное, что из коллектора может торчать наружу - это визуализатор, например Grafana. Или самодельная страничка с отчетами. Но если там найдут дыры, то претензии уже не к коллектору
Недоброжелатели обычно тусят именно в доверенной сети. И обычно этот тот человек, который сидит рядом с тобой и которому ты максимально доверяешь.
этот недоброжелатель он сейчас с тобой в комнате?
под кроватью посмотри кстати
> под кроватью посмотри кстатиНашёл! Спасибо за подсказку.
> Недоброжелатели обычно тусят именно в доверенной сетиА зачем тогда недоброжелателю искать дыры в коллекторе? Он же может и так сделать флоу общедоступными?
> происходит внутри доверенной сетиТаких сетей существует ровно две: ::1/128 и 127.0.0.0/8. Все остальные сети недоверенные.
можно подумать дыры зависят от языка, а не от человеческого фактора...
В свое время остановился на logstash, там препроцессинг удобнее. Да и выводить данные можно почти куда угодно.
Elastic стек, скажем так, на любителя.У них еще произошла смена лицензий, часть продуктов стали не совсем open source:
https://www.elastic.co/pricing/faq/licensing#elasticsearch-k...
> Neither the Elastic License nor SSPL have been approved by the OSI, so to prevent confusion, we no longer refer to Elasticsearch or Kibana as open source
То есть пока для обычных пользователей вроде как ничего не изменилось, но кто знает что им дальше придет в голову
Не, у меня: logstash -> clickhouse -> grafana
Um, и зачем это, если есть flowd?
Еще nfdump есть.Вообще, какой смысл у сий поделки? Что там такого, чего бы не хватало в имеющемся?
> Производительность коллектора в зависимости от характера трафика и отчётов может достигать нескольких сотен тысяч "flows per second" на одном CPU.Для этого
nfdump вполне себе справляется и с бОльшим количеством, вне зависимости от характера трафика :D
> nfdump вполне себе справляется и с бОльшим количеством, вне зависимости от характера трафика :DПонятно. nfdump - это определенно не самый быстрый коллектор. Слово dump в названии кагбе намекает, что он пишет все фловы на диск и только потом их обрабатывает
Нет, если тебе надо обрабатывать вот строго одним алкоритмом - да, можно не писать.
Но если у тебя пост-аналитика и возможны изменяющиеся обработки - придётся писать, куда ты денешься.
Ну и опять же, "диск" - понятие очень растяжимое. tmpfs и zram - диск или не диск?
flowd настолько прекрасен, что им уже лет 10 не пользуются даже авторы.Выше написал - из старых коллекторов остались более-менее в живых только FastNetMon и nfdump. Причем у FastNetMon все интересное только в коммерческих версиях.
Можно считать, что xenoeye это такой гибрид nfdump (для отчетов, графиков, поиска аномалий в трафике) + FastNetMon (для быстрой реакции на пробитие порогов) + экспорт в Grafana для современных дашбордов
Ну короче смузихлёбство, я понял.
Хочется поблагодарить авторов и пожелать им успехов.