форумы  помощь  поиск  регистрация  майллист  ВХОД  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы Программирование под UNIX (Public)
Изначальное сообщение		[Проследить за развитием треда]

"вычисление одинаковых строк"
Сообщение от pheonix (ok) on 15-Сен-05, 08:50  (MSK)
есть файл около 150 мегабайт, в каждой строчке записана md5 файла, нужно найти одинаковые суммы, как это сделать есть ещё mySQL серве, может его туда ещё как-нитьприделать чтобы ускорить работу, кто нить сталкивался с таким?
	Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

Индекс форумов | Темы | Пред. тема | След. тема

Сообщения по теме

1. "вычисление одинаковых строк"
Сообщение от pheonix (ok) on 15-Сен-05, 09:42  (MSK)
>есть файл около 150 мегабайт, в каждой строчке записана md5 файла, нужно >найти одинаковые суммы, как это сделать есть ещё mySQL серве, может >его туда ещё как-нитьприделать чтобы ускорить работу, кто нить сталкивался с >таким? :))))) sort | uniq
Удалить	Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

	2. "вычисление одинаковых строк"
	Сообщение от allez (ok) on 15-Сен-05, 10:19  (MSK)
	>sort | uniq Или "sort -u file".
	Удалить	Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

3. "вычисление одинаковых строк"
Сообщение от mthawk (ok) on 15-Сен-05, 10:52  (MSK)
>есть файл около 150 мегабайт, в каждой строчке записана md5 файла, нужно >найти одинаковые суммы, как это сделать есть ещё mySQL серве, может >его туда ещё как-нитьприделать чтобы ускорить работу, кто нить сталкивался с >таким? %md5s; open (F,'filename')||die; while (<F>) { chomp; $md5s{$_}++; } close(F); foreach (sort(keys(%md5s))) { print "$_ -> $md5s{$_}\n" if ($md5s{$_} > 1); }
Удалить	Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

4. "вычисление одинаковых строк"
Сообщение от madskull (ok) on 15-Сен-05, 11:57  (MSK)
>есть файл около 150 мегабайт, в каждой строчке записана md5 файла, нужно >найти одинаковые суммы, как это сделать есть ещё mySQL серве, может >его туда ещё как-нитьприделать чтобы ускорить работу, кто нить сталкивался с >таким? ну и я выскажусь :) comm -23 <(sort file) <(sort -u file) | sort -u
Удалить	Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ]

Пожалуйста, прежде чем написать сообщение, ознакомьтесь с данными рекомендациями.