URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 73634
[ Назад ]

Исходное сообщение
"LOG и ULOG в ipTables"

Отправлено s0lar , 20-Апр-07 18:21 
Здравствуйте.. Понимаю, тема заежена, но все же подскажите:
можно ли с помощью LOG или ULOG вести статистику по хостам, куда ходили пользователи?


Содержание

Сообщения в этом обсуждении
"LOG и ULOG в ipTables"
Отправлено chocholl , 20-Апр-07 19:14 
>Здравствуйте.. Понимаю, тема заежена, но все же подскажите:
>можно ли с помощью LOG или ULOG вести статистику по хостам, куда
>ходили пользователи?


можно.
удобнее по ulog


"LOG и ULOG в ipTables"
Отправлено user1 , 23-Апр-07 11:50 
>>Здравствуйте.. Понимаю, тема заежена, но все же подскажите:
>>можно ли с помощью LOG или ULOG вести статистику по хостам, куда
>>ходили пользователи?
>
>
>можно.
>удобнее по ulog


У меня немного другой вопрос. Как настроить ULOG, чтобы он писал в БД только первый пакет при работе клиента с одним ip-адресом, а не абсолютно все пакеты (может что-то типа ESTABLISED нужно....). И сколько примерно будет занимать на диске БД (число пользователей больше 1000, инетом пользуются активно), если писать все пакеты по всем пользователям в Postgres?


"LOG и ULOG в ipTables"
Отправлено chocholl , 23-Апр-07 12:35 
>>>Здравствуйте.. Понимаю, тема заежена, но все же подскажите:
>>>можно ли с помощью LOG или ULOG вести статистику по хостам, куда
>>>ходили пользователи?
>>
>>
>>можно.
>>удобнее по ulog
>
>
>У меня немного другой вопрос. Как настроить ULOG, чтобы он писал в
>БД только первый пакет при работе клиента с одним ip-адресом, а
>не абсолютно все пакеты (может что-то типа ESTABLISED нужно....). И сколько
>примерно будет занимать на диске БД (число пользователей больше 1000, инетом
>пользуются активно), если писать все пакеты по всем пользователям в Postgres?
>

можно конечно писать в базу только пакеты со статусом NEW...
ну а как ты тогда трафик считать будешь?

размер базы зависит не столько от количества клиентов, сколько от потребляемого трафика.
средние значения суточного размера базы примерно 3Gb (считал размер директорий базы постгреса), при трафике порядка двух гигов.

постгрес с дефолтной конфигурацией от RHEL (специально ничего не менял, посмотреть...) на машинке 3Ghz и 1Gb ram начинал захлебываться когда база превышала 5Gb.



"LOG и ULOG в ipTables"
Отправлено chocholl , 23-Апр-07 12:39 
да... забыл написать.
работало все это на простых ide винтах.
писался только входящий поток.
скорость интерфейса ~10Mbit

"LOG и ULOG в ipTables"
Отправлено user1 , 23-Апр-07 13:33 
>да... забыл написать.
>работало все это на простых ide винтах.
>писался только входящий поток.
>скорость интерфейса ~10Mbit


Тогда скорее всего мне не подойдет :(. Трафик до 15-20 Гб в сутки, канал 10Мбит в сек.
Считать можно в отдельной цепочку, а ULOG для детализации.
В чем проявляется захлебывание базы? Есть Бд около 5 Гб, почти все в одной таблице, вставляется по 5-10 тыс записей в час, пока вроде не сильно тормозит.

PS:Может есть другие решения хранения детальной статистики (кто куда ходил), желательно с ротацией (что-то типа RRD)? Вроде можно как-то Gigabase под это приспособить? Кто как это реализует?


"LOG и ULOG в ipTables"
Отправлено Den , 23-Апр-07 17:22 
у меня ipcad слушает интерфейс и отдает flow-tools который ложит в файл. Раз в 5 минут запускается скрипт на перле формирует файл конфигурации для flow-tag и пару фильтров и все это скармливается flow-tools результат ложится в базу (тоесть идет подсчет трафика по различным трафик зонам, у меня их 5), далее по цепочке тригеров, вызываются хранимые процедуры и 5 -минутные интервалы агрегируются в часовые, те в свою очередь в суточные и тд.  Один недостаток такого решения клиент не видит посещенных сайтов, а надо ли? для меня не нада, для меня важнее меньший обьем данных в базе и быстродействие. Если нужно делать разбор полетов, то другой скрипт на перле получая начальный и конечный отрезок времени и ип адрес клиента грепает статистику с файлов flow-tools и отсылает ему на мыло.

"LOG и ULOG в ipTables"
Отправлено s0lar , 24-Апр-07 10:37 
>Здравствуйте.. Понимаю, тема заежена, но все же подскажите:
>можно ли с помощью LOG или ULOG вести статистику по хостам, куда
>ходили пользователи?

Подскажите, пожалуйста по моей теме. У нас 10 компов, все идет через линуксовый сервак, и количество траффика считается через net-acct и пишется в mysql базу, но теперь нужно добавить учет хостов, на которые ходили пользователи.. Насколько я знаю net-acct не поможет здесь и мне посоветовали через iptables.. Подскажите, хоть про ULOG.. :
пример правила и есть ссылка(работоспособная)   на программу работеущую с базой и ULOG!