Парсинг больших XML - проблема
Bitmag 08.06.2009 12:00
Речь идет о размерах файлов 50-100 МБ.
Проблема заключается в том, что парсер после нескольких секунд работы по парсингу XML и заносу в MYSQL базу зависает, и остается в памяти, отожрав 500-700 МБ оперативы, и при этом использует 0% CPU. Решается только kill-ом...
В цикле перебора регулярно делаю memory:compact - не помогает.
При размерах файолов 5-10 МБ все работает на ура.
Подозреваю, что не предусмотрено парсером такие размеры XML обрабатывать... Может кто подскажет мудрое решение? Может тулза есть какая, которая бъет XML на куски с сохранением структуры... Или другое средство для заноса инфы в базу из XML...
- Парсинг больших XML - проблема, Bitmag 08.06.2009 12:00