Я лично пользуюсь только nconvert'ом. Может стоит ограничивать размах при загрузке?
Ну или договаривайтесь с хостером об установке imagemagick'а, и уменьшайте им. Хотя я не думаю, что он уложится в лимиты при таких размерах исходников.
Ведь тупо загрузить битмап в память нужно... ну, сами посчитайте сколько памяти.
