Почему моя конфигурация Celery не работает?
Я запускаю приложение Django с Celery 5.3.4. В качестве брокера я использую Redis.
Я хочу настроить параметры task_time_limit
и task_time_soft_limit
, но не могу заставить их действовать при локальном запуске. Я пробовал установить их на очень низком уровне и запустить медленную задачу, которая sleep
выполняется в течение 10 секунд:
app.conf.task_time_limit = 5
app.conf.task_soft_time_limit = 1
Но при локальном запуске рабочего Celery он завершает медленную задачу и не теряет времени:
2024-03-05T15:46:04.647630Z [info ] Task slow_task[97f51f79-ac48-4aa3-9098-a3ec5a299adc] received [celery.worker.strategy]
2024-03-05T15:46:14.741217Z [info ] Task slow_task[97f51f79-ac48-4aa3-9098-a3ec5a299adc] succeeded in 10.093100208323449s: None [celery.app.trace]
Я пробовал настраивать Celery разными способами. Вот мой текущий конфиг, распределенный по 2 файлам:
celery.py
:
import os
from celery import Celery
from celery.signals import worker_init
from django.conf import settings
# Set the default Django settings module for the 'celery' program.
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "kosa_api.settings")
app = Celery("kosa_api")
# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
# should have a `CELERY_` prefix.
app.config_from_object("django.conf:settings", namespace="CELERY")
# Load task modules from all registered Django apps.
app.autodiscover_tasks()
app.conf.task_time_limit = 5
app.conf.task_soft_time_limit = 1
settings/celery.py
(это импортируется в настройках моего приложения):
from kosa_api.settings.utils import get_safe_redis_url
CELERY_WORKER_HIJACK_ROOT_LOGGER = False
REDIS_URL = get_safe_redis_url()
CELERY_BROKER_URL = f"{REDIS_URL}/0"
CELERY_RESULT_BACKEND = f"{REDIS_URL}/2"
# only store results for a while to prevent redis from filling up
CELERY_RESULT_EXPIRES = timedelta(minutes=30)
# in tests, run celery tasks as regular functions
CELERY_TASK_ALWAYS_EAGER = TEST
CELERY_TASK_ACKS_LATE = True
# i tried all of the following, but none took effect:
# CELERY_CELERYD_SOFT_TIME_LIMIT = 1
# CELERY_CELERYD_TIME_LIMIT = 5
# CELERY_TASK_SOFT_TIME_LIMIT = 1
# CELERY_TASK_TIME_LIMIT = 5
Что я делаю не так?
Используйте как показано ниже.
- Внутри файла celery.py
app.conf.update(
task_soft_time_limit=1,
task_time_limit=5,
)
Или
- Внутри файла django settings.py
CELERY_TASK_TIME_LIMIT = 5
CELERY_TASK_SOFT_TIME_LIMIT = 1