The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Паралельное выполнение обработки файлов"
Версия для распечатки Пред. тема | След. тема
Форум WEB технологии
Исходное сообщение [ Отслеживать ]

. "Паралельное выполнение обработки файлов" +/
Сообщение от Nightman_Shaemail (ok), 11-Янв-24, 12:55 
>[оверквотинг удален]
> split -n l/$CPUS $TMPFILE $TMPFILE.
> for LST in $TMPFILE.*
> do
>     wc -l < $LST &
> done
> wait
> wait
>
> Для примера обработки здесь использован wc. Количество параллельных процессов = число ядер-2
> (пару ядер оставим для другой работы).

Меня мало беспокоит производительность ScanDir на большом кол-ве файлов.
Львиная доля времени уходит не на ScanDir, а на последовательную обработку файлов по одному.
И перенести логику обработки из PHP нельзя, там серьезная обработка.
Вот распаралелить возможно , осталось выяснить как :)

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Паралельное выполнение обработки файлов, Nightman_Sha, 09-Янв-24, 08:15  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру