Много задач одновременно в Celery?
Если мы используем celery beat и запускаем около 1000 задач по одному расписанию crontab, будут ли задачи выполняться одна за другой или некоторые задачи не будут выполняться (из-за нехватки времени)? redis как MQ
celery beats только запускает эти 1000 задач (по расписанию crontab), а не выполняет их.
Если вы хотите выполнить 1000 задач параллельно, у вас должно быть достаточно работников celery для выполнения этих задач.
Помните, что рабочие могут работать concurrent, поэтому если --concurrency=4 в каждом рабочем, только 250 рабочих могут выполнять все задачи одновременно.
Если у вас всего 125 работников, то ваши 1000 задач будут выполняться двумя группами по 500 человек (при условии, что все задачи выполняются за одинаковое время).