Ответ

MoKo 27.02.2017 23:10

К парсеру это имеет мало отношение, но может еще кто столкнется. Видна проблема с редиректом на https, причем касается она конкретно папки aero, поскольку пара других адресов проблемы не имеет (см. ниже). Подозреваю что:

1. в папке aero есть свой .htaccess
2. директория cgi-bin у вас находится в веб-пространстве (то есть на нее распространяется корневой .htaccess).

В любом случае будет правильно cgi-bin создать свой файл .htaccess, в котором написать RewriteEngine Off, что решит проблему с некорректным редиректом. Ну а чтобы далее в /aero/ таки работал редирект на https, это уже наверное надо включать наследование правил и смотреть чтобы они не конфликтовали...

>lynx --mime_header "http://lifesky.ru/aero/"
HTTP/1.1 301 Moved Permanently
Date: Mon, 27 Feb 2017 20:01:52 GMT
Server: Apache/2.4.18 (Ubuntu)
Location: https://lifesky.ru/cgi-bin/lifesky_parser3.cgi/aero/index.html
Content-Length: 346
Connection: close
Content-Type: text/html; charset=iso-8859-1


>lynx --mime_header "http://lifesky.ru/add/"
HTTP/1.1 301 Moved Permanently
Date: Mon, 27 Feb 2017 20:01:34 GMT
Server: Apache/2.4.18 (Ubuntu)
Location: https://lifesky.ru/add/
Content-Length: 307
Connection: close
Content-Type: text/html; charset=iso-8859-1

Юlynx --mime_header "http://lifesky.ru/about/"
HTTP/1.1 301 Moved Permanently
Date: Mon, 27 Feb 2017 20:03:47 GMT
Server: Apache/2.4.18 (Ubuntu)
Location: https://lifesky.ru/about/
Content-Length: 309
Connection: close
Content-Type: text/html; charset=iso-8859-1

---