URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 4712
[ Назад ]

Исходное сообщение
"Раздел полезных советов: Как в Perl оптимально заменить символы в строке или разбить строку на части"

Отправлено auto_tips , 30-Ноя-04 15:00 
При работе с большими строками нужно избегать внутреннего копирования строк,
которое происходит при использоании регулярных выражений или оператора split.

Для разбиеная строки вида "small_begin:big_end" на две подстроки используем:
   my $pos=index($str, ':');
   my $begin_str = substr($str, 0, $pos,"");
   # в $str остается только big_end часть, в $begin_str - "small_begin:"

Соответсвенно, для замены символов удобно использовать:
    substr(строка, начало замены, число заменяемых символов, блок на который заменяем);

URL:
Обсуждается: http://www.opennet.me/tips/info/754.shtml


Содержание

Сообщения в этом обсуждении
"Как в Perl оптимально заменить символы в строке или разбить строку на части"
Отправлено bm , 30-Ноя-04 15:00 
А не удобнее ли использовать для замены регулярные выражения вроде:
$str =~ s/h/j/g;

Заменит во всей строке символы h на j.


"Как в Perl оптимально заменить символы в строке или разбить строку на части"
Отправлено Игорь , 02-Дек-04 06:34 
разбить или выделить:
($str1, $str2, str3 ...) = split (":", $string);
замена:
$string =~ s/xaker/maker/g;

"Как в Perl оптимально заменить символы в строке или разбить ..."
Отправлено Maxim Chirkov , 02-Дек-04 09:32 
>разбить или выделить:
>($str1, $str2, str3 ...) = split (":", $string);

Господа, речь идет про исключение лишних копирований в памяти. На досуге, возмите  в качестве $string строку размером несколько Мб и посмотрите сколько будет занимать процесс perl в памяти после split и "=~" (кстати сказать, простейшие замены с совпадением размера память лишнюю не потребляют).



"Как в Perl оптимально заменить символы в строке или разбить ..."
Отправлено Игорь , 03-Дек-04 06:45 
При таких объемах это естественно.
Perl для небольших объемов расчитывался.
Выход: написать на си подпрограмму или скомпилить скрипт в бинарник
perl2bin

"Как в Perl оптимально заменить символы в строке или разбить ..."
Отправлено Maxim Chirkov , 03-Дек-04 10:40 
>При таких объемах это естественно.
>Perl для небольших объемов расчитывался.

Лишние копирования сильно паразитируют в циклах и для маленьких строк.

>Выход: написать на си подпрограмму

Не всегда критический участок поддается такому преобразованию, когда напирмер, используются хэши или регекпсы.

> или скомпилить скрипт в бинарник perl2bin

При цикличных операциях выйгрыша не будет, так как скрипт уже переведен в псевдокод.



"Как в Perl оптимально заменить символы в строке или разбить ..."
Отправлено achmed , 13-Дек-04 15:57 
даже если писать на компилируемом языку (например Си),
скорость при использовании регулярных выражений (библиотек
много разных) будет медленнее чем при использовании
стандартных функций для работы со строками, за удовство
приходится платить скоростью.

"Как в Perl оптимально заменить символы в строке или разбить строку на части"
Отправлено agility_member , 03-Дек-04 09:11 
а awk или sed ?

"Речь шла про 'оптимально'"
Отправлено mic , 09-Дек-04 07:17 
Где-то недавно видел статейку на английском про оптимизацию этого процесса. Щас уже не найду, но скриптик оттуда (переделанный слегка) вот:

---------------------------------------------
#!/usr/bin/perl

my $URI = "http://www.stonehenge.com/merlyn/" .
    "Pictures/Trips/2003/03-06-PerlWhirlMacMania/" .
    "Day-0-Pearl-Harbor/?show=14";
  sub re_match {
    my $str = $URI;
    my ($scheme, $rest) = $str =~ /(.*?):(.*)/;
$ir++;
  }
  sub split_it {
    my $str = $URI;
    my ($scheme, $rest) = split /:/, $str, 2;
$is++;
  }
  sub index_substr {
    my $str = $URI;
    my $scheme = substr($str, 0, index($str, ":")-1);
    my $rest = substr($str, index($str, ":")+1);
$ii++;
  }

# Счетчик цикла
$k=1000000;
$tt = times;
for ($i=0;$i<$k;$i++) { &re_match; }
print "re_match = ",times - $tt," s.\n";

$tt = times;
for ($i=0;$i<$k;$i++) { &split_it; }
print "split_it = ",times - $tt," s.\n";

$tt = times;
for ($i=0;$i<$k;$i++) {
    &index_substr;
}
print "index_substr = ",times - $tt," s.\n";
-----------------------------------------------

Попробуйте запустить и наглядно увидите что "оптимально", а что не очень :)


"Как в Perl оптимально заменить символы в строке или разбить строку на части"
Отправлено tor , 14-Июн-09 22:57 
Если добавить use strict; то результат изменится :-)