forum.opennet.ru - "обработка логов..........." (7)

форумы

помощь

поиск

регистрация

майллист

ВХОД

слежка

"обработка логов..........."

Форумы Программирование под UNIX (Public)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[Проследить за развитием треда]

"обработка логов..........."
Сообщение от micolo (??) on 05-Апр-06, 10:47
Доброго времени суток! У меня тут появилась необходимость написать shell-скрипт, построчной обработки логов, т.е. сопостовлять каждую строку с шаблоном регулярных выражений, производить другие манипуляции со строками на предмет соответствия. Затем переписать данный лог-файл с уже обработанными данными. У меня нет абсолютно никакой практики в написании шелл-скриптов. Каким образом можно решить данную задачу. Если будут ссылки на инфу или на примеры, буду очень признателен.
Правка \| Высказать мнение \| Ответить \| Cообщить модератору \| Наверх

Оглавление

обработка логов..........., Дениска, 10:49 , 05-Апр-06, (1)
обработка логов..........., redd, 13:32 , 05-Апр-06, (2)

обработка логов..........., micolo, 15:06 , 05-Апр-06, (4)

обработка логов..........., redd, 15:08 , 05-Апр-06, (5)

обработка логов..........., micolo, 15:11 , 05-Апр-06, (6)

обработка логов..........., redd, 16:46 , 05-Апр-06, (7)

обработка логов..........., redd, 13:38 , 05-Апр-06, (3)

Сообщения по теме [Сортировка по времени, UBB]

1. "обработка логов..........."

Сообщение от Дениска (ok) on 05-Апр-06, 10:49

>Каким образом можно решить данную задачу. Если будут ссылки на
>инфу или на примеры, буду очень признателен.
скорее всего вам должно хватить awk, sed.
соответственно man awk, man sed. С примерами.

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

2. "обработка логов..........."

Сообщение от redd on 05-Апр-06, 13:32

можно awk
можно perl

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

4. "обработка логов..........."

Сообщение от micolo (??) on 05-Апр-06, 15:06

а если лог файл весит 170 метров, что лучше с точки зрения производительности

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

5. "обработка логов..........."

Сообщение от redd on 05-Апр-06, 15:08

вам шашечки или ехать ?

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

6. "обработка логов..........."

Сообщение от micolo (??) on 05-Апр-06, 15:11

>вам шашечки или ехать ?
всмысле некоррктный вопрос, или нет разницы

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

7. "обработка логов..........."

Сообщение от redd on 05-Апр-06, 16:46

Ну ты это попробуй и скажи что вот этот скрипт при обр. файла 170 Мб тратит 5 сек , а мне нужно 4,5 сек по зарез

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

3. "обработка логов..........."

Сообщение от redd on 05-Апр-06, 13:38

Ну вот так например
#!/usr/bin/perl
open (infile,"<in");
open (outfile,">out");
while ($str=<infile>){
$str=~/([0-9.]+)\s+(\d+)\s+(\d+)/g;
$IP{$1}+=$2;
$IP1{$1}+=$3;
}

for $key(sort keys %IP){
print outfile "$key $IP{$key} $IP1{$key}\n";
}
close (infile);
close (outfile);
exit 0

Правка | Высказать мнение | Ответить | Cообщить модератору | Наверх

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "обработка логов..........."
Сообщение от Дениска (ok) on 05-Апр-06, 10:49
>Каким образом можно решить данную задачу. Если будут ссылки на >инфу или на примеры, буду очень признателен. скорее всего вам должно хватить awk, sed. соответственно man awk, man sed. С примерами.
Правка \| Высказать мнение \| Ответить \| Cообщить модератору \| Наверх

2. "обработка логов..........."
Сообщение от redd on 05-Апр-06, 13:32
можно awk можно perl
Правка \| Высказать мнение \| Ответить \| Cообщить модератору \| Наверх


	4. "обработка логов..........."
	Сообщение от micolo (??) on 05-Апр-06, 15:06
	а если лог файл весит 170 метров, что лучше с точки зрения производительности
	Правка \| Высказать мнение \| Ответить \| Cообщить модератору \| Наверх


	5. "обработка логов..........."
	Сообщение от redd on 05-Апр-06, 15:08
	вам шашечки или ехать ?
	Правка \| Высказать мнение \| Ответить \| Cообщить модератору \| Наверх


	6. "обработка логов..........."
	Сообщение от micolo (??) on 05-Апр-06, 15:11
	>вам шашечки или ехать ? всмысле некоррктный вопрос, или нет разницы
	Правка \| Высказать мнение \| Ответить \| Cообщить модератору \| Наверх


	7. "обработка логов..........."
	Сообщение от redd on 05-Апр-06, 16:46
	Ну ты это попробуй и скажи что вот этот скрипт при обр. файла 170 Мб тратит 5 сек , а мне нужно 4,5 сек по зарез
	Правка \| Высказать мнение \| Ответить \| Cообщить модератору \| Наверх

3. "обработка логов..........."
Сообщение от redd on 05-Апр-06, 13:38
Ну вот так например #!/usr/bin/perl open (infile,"<in"); open (outfile,">out"); while ($str=<infile>){ $str=~/([0-9.]+)\s+(\d+)\s+(\d+)/g; $IP{$1}+=$2; $IP1{$1}+=$3; } for $key(sort keys %IP){ print outfile "$key $IP{$key} $IP1{$key}\n"; } close (infile); close (outfile); exit 0
Правка \| Высказать мнение \| Ответить \| Cообщить модератору \| Наверх

Архив \| Удалить	Индекс форумов \| Темы \| Пред. тема \| След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 \| 2 \| 3 \| 4 \| 5 ] [Рекомендовать для помещения в FAQ]