https://www.opennet.ru/openforum/vsluhforumID6/15168.html Привествую всех!!! Сразу извинюсь так как таких тем здесь уйма но ответа на свой вопрос пока не нашел,пишу для биллинга, netflow + mysql,<br>написал shell скрипт для экспорта притом он файлы (5мин-ки) разбивает по дням и кладет в таблицы mysql типа nf20071218 (я думал это ускорит) хотелось бы узнать два вопроса:<br>Если лить все в одну таблицу хотяб на три месяца как это повлияет на скорость;?<br>Или все таки обрабатывать допустим дневную таблицу или вообще 5-мин-ку но так чтоб в новой таблице был не сырой трафик netflow в формате<br>1.1.1.1 2.2.2.2 srcport dstport octets &lt;-in пакет<br>2.2.2.2 1.1.1.1 srcport dstport octets -&gt; out пакет<br>а в нормальном виде 1.1.1.1 2.2.2.2 srcport dstport !in !out .<br>Не могу такой sql запрос собрать - голову уже сломал, отдельно по входящему и исходящему могу выводить причем уже с посчитаными байтами на одинаковых dstip , а надо чтоб красиво было ip remip in out. <br>Я уже решил другой вариант пробовать, снчала flow-export-ом в ascii а оттуда пхп или shellом агрегировать и закидывать в с https://www.opennet.ru/openforum/vsluhforumID6/15168.html#7 Tue, 26 Aug 2008 07:32:19 GMT &gt;&gt;СНГ! <br>&gt;&gt;Пишет, <br>&gt;&gt;flow-cat: Warning, partial inflated record before EOF <br>&gt;&gt;Это нормально или гдето собака зарыта, учитывая то что я без фильтра <br>&gt;&gt;делал? <br>&gt;<br>&gt;Сам же отвечу: <br>&gt;По ошибке tmp 5тку загнал, вообщем все красиво,но есть одно но, файлы <br>&gt;получаються без времени, время придеться все равно брать из raw потока <br>&gt;или есть другой вариант? <br><br>17. I'm seeing: "flow-cat: Warning, partial inflated record before EOF"<br> This error message may indicate that you are trying to read an empty directory. This error<br> would appear for Exporter users in the very initial release of version 3.3. This was <br> was caused by FlowTracker_Collector trying to read a device_name directory even though<br> the user was not using devices. This was fixed in version 3.3.1.<br> <br> This error may also occur during the processing of data in normal directories. It is not<br> understood at this point why this happens, however it appears to be mostly harmless. I have<br> seen it occur on every third FlowTracker_Collecto https://www.opennet.ru/openforum/vsluhforumID6/15168.html#6 Wed, 09 Jan 2008 06:16:27 GMT &gt;СНГ! <br>&gt;Пишет, <br>&gt;flow-cat: Warning, partial inflated record before EOF <br>&gt;Это нормально или гдето собака зарыта, учитывая то что я без фильтра <br>&gt;делал? <br><br>Сам же отвечу:<br>По ошибке tmp 5тку загнал, вообщем все красиво,но есть одно но, файлы получаються без времени, время придеться все равно брать из raw потока или есть другой вариант?<br> https://www.opennet.ru/openforum/vsluhforumID6/15168.html#5 Wed, 09 Jan 2008 05:29:44 GMT СНГ!<br>Пишет,<br>flow-cat: Warning, partial inflated record before EOF<br>Это нормально или гдето собака зарыта, учитывая то что я без фильтра делал?<br> https://www.opennet.ru/openforum/vsluhforumID6/15168.html#4 Wed, 09 Jan 2008 04:29:55 GMT &gt;[оверквотинг удален]<br>&gt;filter-primitive mynet <br>&gt; type ip-address-prefix <br>&gt; permit 192.168.0.0/16 <br>&gt; default deny <br>&gt;<br>&gt;filter-definition inp <br>&gt; match ip-destination-address mynet <br>&gt;<br>&gt;filter-definition out <br>&gt; match ip-source-address mynet <br><br>Проблема соббственно в том что я только пишу скрипт и в кису не лезу, и все это первый раз, но все равно огромное спасибо за подсказку бум пробовать по этому способу!<br> https://www.opennet.ru/openforum/vsluhforumID6/15168.html#3 Fri, 28 Dec 2007 15:40:31 GMT а собственно в чем проблема<br><br>flow-capture запускаем втом числе и с параметром -R /usr/local/netflow/rotate<br><br>соответственно он создавая 5 минутки будет запускать этот файл с имянем файла-5минутки<br>от корневой директории указанной в ключе -w flow-capture-а<br><br>flow-cat $1 &#124; flow-nfilter -Fout &#124; flow-stat -f8 &gt; out<br>flow-cat $1 &#124; flow-nfilter -Finp &#124; flow-stat -f9 &gt; inp<br><br>вызываем скрипт в нем парсим файлы inp и out<br>и пишем в базу<br><br>этот файл определяет фильтры для flow-nfilter<br>usr/local/var/cfg/filter.cfg<br>filter-primitive mynet<br> type ip-address-prefix<br> permit 192.168.0.0/16<br> default deny<br><br>filter-definition inp<br> match ip-destination-address mynet<br><br>filter-definition out<br> match ip-source-address mynet<br><br> https://www.opennet.ru/openforum/vsluhforumID6/15168.html#2 Fri, 28 Dec 2007 13:33:44 GMT &gt;[оверквотинг удален]<br>&gt;&gt;рад всем ответившим!! <br>&gt;<br>&gt;у нас 5 минутки разбираются perl скриптом <br>&gt;создается хеш массив %data <br>&gt;$data{ip}{inp} отфильтровываем средствами flow-tools и пишем сюда только входящий трафик <br>&gt;$data{ip}{out} отфильтровываем средствами flow-tools и пишем сюда только исходящий трафик <br>&gt;<br>&gt;затем этот массив записываем в базу <br>&gt;<br>&gt;мож я че не понял, вроде не сложно ... <br><br>ВОТ ВОТ ВОТ то что нужно!!! Если можно поподробнее насчет фильтрации средствами flow tools! Я совсем первый раз с этим столкнулься, новая работа, приходиться со всем быстро разбираться, столько уже всего перелопатил, но смысл насчет массива понятен! Заранее спасибо<br> https://www.opennet.ru/openforum/vsluhforumID6/15168.html#1 Fri, 28 Dec 2007 12:50:48 GMT &gt;[оверквотинг удален]<br>&gt;а в нормальном виде 1.1.1.1 2.2.2.2 srcport dstport !in !out . <br>&gt;Не могу такой sql запрос собрать - голову уже сломал, отдельно по <br>&gt;входящему и исходящему могу выводить причем уже с посчитаными байтами на <br>&gt;одинаковых dstip , а надо чтоб красиво было ip remip in <br>&gt;out. <br>&gt;Я уже решил другой вариант пробовать, снчала flow-export-ом в ascii а оттуда <br>&gt;пхп или shellом агрегировать и закидывать в скуль уже нормальные таблицы <br>&gt;в нормальном формате!!! <br>&gt;Если есть у кого наработки поделитесь чтоб велосипед не изобретать!! Очень буду <br>&gt;рад всем ответившим!! <br><br>у нас 5 минутки разбираются perl скриптом<br>создается хеш массив %data<br>$data{ip}{inp} отфильтровываем средствами flow-tools и пишем сюда только входящий трафик<br>$data{ip}{out} отфильтровываем средствами flow-tools и пишем сюда только исходящий трафик<br><br>затем этот массив записываем в базу <br><br>мож я че не понял, вроде не сложно ...<br><br>