 Парсинг большого XML файла,  svfolder, 29-Ноя-12, 22:29 [смотреть все]Здравствуйте уважаемые форумчане!Имеется xml файл, скажем 50-200 мб. Имеется обычный SimpleXML парсер на php, крутится все на VDS небольшой мощности. Вопросик, как реализовать обработку этого файла и обновление данных в базе, последовательно в цикле с равномерной загрузкой CPU и MySql чтобы скрипт не вешал на 100% процессор, а скажем на 20-30%, если такое возможно? Или необходимо писать менеджер обработки порциями и скажем запускать по крону каждые 30 минут и обрабатывать порциями данные... И еще вопросик, на каком языке будет быстрее парсер работать, php, perl или еще что то, и в частности есть ли более скоростные модули для работы с ними из php, для парсинга. Сервер ubuntu 10.04 Заранее благодарен.
|
- Парсинг большого XML файла, ne4to, 00:55 , 30-Ноя-12 (1)
- Парсинг большого XML файла, svfolder, 15:19 , 30-Ноя-12 (2)
> nice -n 19 parser.php
> и не надо ничего писать Это разве прокатит если php работает как модуль апача???
- Парсинг большого XML файла, Andrey Mitrofanov, 16:03 , 30-Ноя-12 (3)
- Парсинг большого XML файла, svfolder, 16:27 , 30-Ноя-12 (5) –1
>>> nice -n 19 parser.php
>> Это разве прокатит если php
> Покатит запустить отдельный асинхронный, долгоживущий, фоновый, низкоприоритетный процесс
> из этого самого php-под^Wв-апаче.И как подобное сделать из php скрипта? Если не затруднит, покажите примерчик, или ссылку где почитать, желательно на русском ).
- Парсинг большого XML файла, ne4to, 16:16 , 30-Ноя-12 (4)
- Парсинг большого XML файла, svfolder, 16:32 , 30-Ноя-12 (6)
>>> nice -n 19 parser.php
>>> и не надо ничего писать
>> Это разве прокатит если php работает как модуль апача???
> ну ты запускай его через cli и все будет гут cli же еще надо сперва настроить), а что делать если его нет на хостинге? ), из реальной жизни, на hc.ru 2 года назад, неделю долбили тех поддержку, так они и не смогли на своем хостинге настроить чтобы работало set_time_limit(0);, скрипт импорта в магазин тупо умирал через 30 сек... техподдержка развела руками и ничего не смогла на своем vps настроить нам...
|
Версия для распечатки
