Django celery [celery.worker] DEBUG: Пробуждение таймера! Следующее расчетное время прибытия при запуске процесса scrapy
Я запускаю простого паука в Django, используя celery, в файле task.py. Код, который запускает моего паука, приведен ниже:
file task.py:
@shared_task(bind=True)
def scrape_amazon_products(self,products_urls,current_user,task_id,current_site):
process = CrawlerProcess()
process.crawl(my_spider) #Here the name of the spider
process.start()
process.stop()
Работает отлично, паук запускается и завершается, но:
Проблема: Сельдерей никогда не останавливается и постоянно выдает эти журналы, упомянутые ниже: