parser

Написать ответ на текущее сообщение

 

 
   команды управления поиском

пора наконец задуматься об оптимизации :)

Misha v.3 30.10.2007 15:10 / 30.10.2007 17:00

- большая нагрузка на сервер? (rusage.log поможет понять)
- долго формируются страницы? (чем дольше тем больше вероятность что одновременно окажется запущненными несколько процессов)
- lock-и? (один процесс работает, блокирует что-то, другие не могут быстренько сделать своё дело и уйти, в результате выстраивается очередь. возможно в случае использования file:lock или hashfile, в случае последнего рекомендуется поставить версию 322 и использовать метод .release)
- долгие sql запросы? (аналогично предыдущему, только ждут не снятия блокировки с файла, а ответа от sql. с 2003 года прошло много времени, добавилось много данных, запросы стали медленнее выполняться, надо оптимизировать) (sql.log вам в помощь)
- много 404? (например, если отсутствует favicon.ico, то один запрос к странице == запрос к странице + запрос к несуществующему файлу, ответ для последнего тоже может формироваться парсером)
- парсер случайно не пропускает через себя все картинки (если так -- ваще пипец, т.к. при обработке одной страницы оказывается запущено много парсеров. это также видно в rusage.log)

но вообще 50 одновременных процессов -- многовато.