Периодические задачи¶

Введение¶

celery beat - это планировщик; он запускает задания через регулярные промежутки времени, которые затем выполняются доступными рабочими узлами в кластере.

По умолчанию записи берутся из настройки beat_schedule, но можно использовать и пользовательские хранилища, например, хранить записи в базе данных SQL.

Вы должны убедиться, что для расписания одновременно работает только один планировщик, в противном случае вы получите дублирующиеся задачи. Использование централизованного подхода означает, что расписание не нужно синхронизировать, и служба может работать без использования блокировок.

Часовые пояса¶

В расписаниях периодических задач по умолчанию используется часовой пояс UTC, но вы можете изменить используемый часовой пояс с помощью параметра timezone.

Примером часового пояса может быть Европа/Лондон:

timezone = 'Europe/London'

Этот параметр должен быть добавлен в ваше приложение, либо путем его непосредственной настройки с помощью (app.conf.timezone = 'Europe/London'), либо путем добавления его в ваш модуль конфигурации, если вы установили его с помощью app.config_from_object. Более подробную информацию о параметрах конфигурации смотрите в Конфигурация.

Планировщик по умолчанию (хранящий расписание в файле celerybeat-schedule) автоматически определит, что часовой пояс изменился, и сам сбросит расписание, но другие планировщики могут быть не такими умными (например, планировщик базы данных Django, см. ниже), и в этом случае вам придется сбросить расписание вручную.

$ python manage.py shell
>>> from djcelery.models import PeriodicTask
>>> PeriodicTask.objects.update(last_run_at=None)

$ python manage.py shell
>>> from django_celery_beat.models import PeriodicTask
>>> PeriodicTask.objects.update(last_run_at=None)

Записи¶

Чтобы периодически вызывать задачу, необходимо добавить запись в список расписания ударов.

from celery import Celery
from celery.schedules import crontab

app = Celery()

@app.on_after_configure.connect
def setup_periodic_tasks(sender, **kwargs):
    # Calls test('hello') every 10 seconds.
    sender.add_periodic_task(10.0, test.s('hello'), name='add every 10')

    # Calls test('world') every 30 seconds
    sender.add_periodic_task(30.0, test.s('world'), expires=10)

    # Executes every Monday morning at 7:30 a.m.
    sender.add_periodic_task(
        crontab(hour=7, minute=30, day_of_week=1),
        test.s('Happy Mondays!'),
    )

@app.task
def test(arg):
    print(arg)

@app.task
def add(x, y):
    z = x + y
    print(z)

Установка их из обработчика on_after_configure означает, что при использовании test.s() мы не будем оценивать приложение на уровне модуля. Обратите внимание, что on_after_configure отправляется после установки приложения, поэтому задачи вне модуля, в котором объявлено приложение (например, в файле tasks.py, расположенном по celery.Celery.autodiscover_tasks()), должны использовать более поздний сигнал, например on_after_finalize.

Функция add_periodic_task() добавит запись в настройку beat_schedule за кадром, и эту же настройку можно использовать для установки периодических заданий вручную:

Пример: Запускайте задачу tasks.add каждые 30 секунд.

app.conf.beat_schedule = {
    'add-every-30-seconds': {
        'task': 'tasks.add',
        'schedule': 30.0,
        'args': (16, 16)
    },
}
app.conf.timezone = 'UTC'

Использование timedelta для расписания означает, что задание будет отправляться с интервалом в 30 секунд (первое задание будет отправлено через 30 секунд после запуска celery beat, а затем каждые 30 секунд после последнего запуска).

Существует также расписание, подобное Crontab, см. раздел Crontab schedules.

Как и в случае с cron, задачи могут накладываться друг на друга, если первая задача не завершится раньше следующей. Если это вызывает беспокойство, следует использовать стратегию блокировки, чтобы гарантировать, что одновременно может выполняться только один экземпляр (см., например, Обеспечение выполнения задания только по одному разу).

Расписания Crontab¶

Если вы хотите больше контролировать время выполнения задания, например, определенное время суток или день недели, вы можете использовать тип расписания crontab:

from celery.schedules import crontab

app.conf.beat_schedule = {
    # Executes every Monday morning at 7:30 a.m.
    'add-every-monday-morning': {
        'task': 'tasks.add',
        'schedule': crontab(hour=7, minute=30, day_of_week=1),
        'args': (16, 16),
    },
}

Синтаксис этих выражений Crontab очень гибкий.

Некоторые примеры:

Дополнительную документацию см. в разделе celery.schedules.crontab.

Солнечные графики¶

Если у вас есть задание, которое должно выполняться в соответствии с восходом, закатом, рассветом или сумерками, вы можете использовать тип расписания solar:

from celery.schedules import solar

app.conf.beat_schedule = {
    # Executes at sunset in Melbourne
    'add-at-melbourne-sunset': {
        'task': 'tasks.add',
        'schedule': solar('sunset', -37.81753, 144.96715),
        'args': (16, 16),
    },
}

Аргументы просты: solar(event, latitude, longitude)

Обязательно используйте правильный знак для обозначения широты и долготы:

Возможными типами событий являются:

Все солнечные события рассчитываются по UTC, поэтому на них не влияют настройки вашего часового пояса.

В полярных регионах солнце может всходить и заходить не каждый день. Планировщик способен обрабатывать такие случаи (т.е. событие sunrise не будет выполняться в день, когда солнце не восходит). Единственным исключением является solar_noon, которое формально определяется как момент прохождения солнца через небесный меридиан, и будет происходить каждый день, даже если солнце находится ниже горизонта.

Сумерки определяются как период между рассветом и восходом солнца, а также между закатом и сумерками. Вы можете запланировать событие в соответствии с «сумерками» в зависимости от вашего определения сумерек (гражданские, морские или астрономические), а также от того, хотите ли вы, чтобы событие произошло в начале или конце сумерек, используя соответствующее событие из списка выше.

Дополнительную документацию см. в разделе celery.schedules.solar.

Запуск планировщика¶

Чтобы запустить службу celery beat:

$ celery -A proj beat

Вы также можете встроить beat внутрь рабочего, включив опцию workers -B, это удобно, если вы никогда не будете запускать более одного рабочего узла, но это не часто используется и по этой причине не рекомендуется для производственного использования:

$ celery -A proj worker -B

Beat должен хранить последнее время выполнения задач в локальном файле базы данных (по умолчанию он называется celerybeat-schedule), поэтому ему нужен доступ для записи в текущий каталог, или же вы можете указать собственное местоположение для этого файла:

$ celery -A proj beat -s /home/celery/var/run/celerybeat-schedule