Невозможность ползать по веб-страницам HTTPS с помощью Scrapy

У меня есть веб-скраппер, который работает без каких-либо проблем локально, но он не может просматривать веб-страницы HTTPS на рабочем сервере (CentOS).

FYI. все работает как ожидалось, когда я запускаю скрипт через командную строку (т.е. python scan.py), но я получаю следующие ошибки при запуске краулера из Django view.

Я использую веб-сервер Apache на CentOS. (Также он отлично работает в моей локальной установке Django). Я получаю следующую ошибку при попытке просмотра HTTPS веб-страниц

[scrapy.core.scraper] ERROR: Error downloading <GET https://validurl.com/>

Ниже приведен полный журнал ошибок

Ниже приведен исходный код того, как я вызываю скраппер.

 def _start:
    process = CrawlerProcess()
    process.crawl(scanengine.SiteScanSpider, urls = [scan.project.url])
    process.start()

Я запускаю краулер как отдельный процесс от Django view.

p = Process(target=_start,args=(scan_id,))
p.start()

Вернуться на верх