История изменений для Celery 1.0¶

Критический¶

• INT/Control-c убивает пул, резко завершая текущие выполняющиеся задачи.

  Исправлено, если заставить рабочие процессы пула игнорировать SIGINT.

• Не следует закрывать потребителей перед завершением пула, просто отмените потребителей.

  Смотрите выпуск #122.

• Теперь зависит от billiard >= 0.3.1

• worker: Ранее исключения, вызванные рабочими компонентами, могли затормозить запуск, теперь исключения корректно регистрируются и завершаются.

• рабочий: Счетчики предварительной выборки были установлены слишком поздно. Теперь QoS устанавливается как можно раньше, так что worker: не может пропустить все сообщения при запуске.

Изменения¶

• celery.contrib.abortable: Прерванные задачи.

  Задачи, которые определяют этапы выполнения, задача может быть прервана после завершения каждого этапа.

• EventDispatcher: Больше не создается AMQP-канал, если события отключены

• Добавлены необходимые имена пакетов RPM в разделе [bdist_rpm] для поддержки сборки RPM из исходных текстов с использованием setup.py.

• Запуск модульных тестов: NOSE_VERBOSE переменная окружения теперь позволяет выводить подробную информацию из Nose.

• celery.execute.apply(): Передавайте аргументы файла журнала/уровня журнала как kwargs задачи.

  Смотрите выпуск #110.

• celery.execute.apply: При ошибке должно возвращаться исключение, а не ExceptionInfo.

  Смотрите выпуск #111.

• Добавлены новые записи в FAQs:

  • Следует ли мне использовать retry или acks_late?

  • Могу ли я назвать задачу по имени?

Важные замечания¶

• Теперь сообщения квитируются непосредственно перед выполнением функции задачи.

  Это то поведение, которое мы хотели получить с самого начала, но не могли из-за ограничений в модуле многопроцессорной обработки. Предыдущее поведение было не очень хорошим, и ситуация ухудшилась с выходом версии 1.0.1, поэтому это изменение определенно улучшит надежность, производительность и работу в целом.

  Более подробную информацию можно найти на сайте http://bit.ly/9hom6T

• Бэкенд результатов базы данных: результат теперь явно устанавливает null=True, поскольку django-picklefield версии 0.1.5 изменил поведение по умолчанию прямо у нас под носом :(

  См.: http://bit.ly/d5OwMr

  Это означает, что те, кто создал свои таблицы Celery (через syncdb или celeryinit) с django-picklefield` версий >= 0.1.5, должны изменить свои таблицы, чтобы позволить полю результата быть NULL вручную.

  MySQL:

  ALTER TABLE celery_taskmeta MODIFY result TEXT NULL
  

  PostgreSQL:

  ALTER TABLE celery_taskmeta ALTER COLUMN result DROP NOT NULL
  

• Удалено Task.rate_limit_queue_type, поскольку оно не было действительно полезным и затрудняло рефакторинг некоторых частей.

• Теперь зависит от carrot >= 0.10.4

• Теперь зависит от бильярда >= 0.3.0

Новости¶

• Бэкенд AMQP: Добавлена поддержка таймаута для result.get() / result.wait().

• Новый параметр задачи: Task.acks_late (по умолчанию: CELERY_ACKS_LATE)

  Late ack означает, что сообщения задачи будут подтверждены после выполнения задачи, а не только перед, что является поведением по умолчанию.

  Примечание

  Это означает, что задания могут быть выполнены дважды, если рабочий сломается в середине выполнения. Это неприемлемо для большинства приложений, но желательно для других.

• Добавлено Crontab-подобное планирование для периодических задач.

  Как и в cronjob, вы можете указать единицы времени, когда вы хотите, чтобы задание было выполнено. Хотя это не полная реализация возможностей cron, она должна обеспечить достаточную степень общих потребностей в планировании.

  Вы можете указать минуту (0-59), час (0-23) и/или день недели (0-6, где 0 - воскресенье, или по именам: sun, mon, tue, wed, thu, fri, sat).

  Примеры:

  from celery.schedules import crontab
  from celery.decorators import periodic_task
  
  @periodic_task(run_every=crontab(hour=7, minute=30))
  def every_morning():
      print('Runs every morning at 7:30a.m')
  
  @periodic_task(run_every=crontab(hour=7, minute=30, day_of_week='mon'))
  def every_monday_morning():
      print('Run every monday morning at 7:30a.m')
  
  @periodic_task(run_every=crontab(minutes=30))
  def every_hour():
      print('Runs every hour on the clock (e.g., 1:30, 2:30, 3:30 etc.).')
  

  Примечание

  Это позднее дополнение. Хотя у нас есть модульные тесты, из-за характера этой функции мы не смогли полностью проверить ее на практике, так что считайте это экспериментальным.

• TaskPool.apply_async: Теперь поддерживает аргумент accept_callback.

• apply_async: Теперь поднимает ValueError, если args задачи не является списком, или kwargs не является кортежем (проблема #95).

• Task.max_retries теперь может иметь значение None, что означает, что попытка будет повторяться вечно.

• celerybeat: Теперь при публикации больших наборов задач повторно используется одно и то же соединение.

• Изменили пример блокировки задач в документации, чтобы использовать cache.add для атомарной блокировки.

• Добавлена экспериментальная поддержка статуса started для задач.

  Если Task.track_started включен, задача будет сообщать о своем статусе как «запущена», когда задача выполняется рабочим.

  Значение по умолчанию - False, так как обычное поведение заключается в том, чтобы не сообщать о таком уровне детализации. Задачи либо ожидают выполнения, либо завершены, либо ожидают повторной попытки. Наличие статуса «начато» может быть полезно, когда есть долго выполняющиеся задачи и есть необходимость сообщить, какая задача выполняется в данный момент.

  Глобальное значение по умолчанию может быть отменено параметром CELERY_TRACK_STARTED.

• Руководство пользователя: Новый раздел Советы и лучшие практики.

  Взносы приветствуются!

Команды дистанционного управления¶

• Команды дистанционного управления теперь могут отправлять ответы обратно вызывающему абоненту.

  Существующие команды были улучшены для отправки ответов, а клиентский интерфейс в celery.task.control имеет новые ключевые аргументы: reply, timeout и limit. Где reply означает, что команда будет ждать ответов, timeout - это время в секундах для прекращения ожидания ответов, а limit - это максимальное количество ответов.

  По умолчанию он будет ждать как можно больше ответов в течение одной секунды.

  • rate_limit(task_name, destination=all, reply=False, timeout=1, limit=0)

    Worker возвращает {„ok“: message} при успехе, или {„failure“: message} при неудаче.

    >>> from celery.task.control import rate_limit
    >>> rate_limit('tasks.add', '10/s', reply=True)
    [{'worker1': {'ok': 'new rate limit set successfully'}},
     {'worker2': {'ok': 'new rate limit set successfully'}}]
    

  • ping(destination=all, reply=False, timeout=1, limit=0)

    Рабочий возвращает простое сообщение «pong».

    >>> from celery.task.control import ping
    >>> ping(reply=True)
    [{'worker1': 'pong'},
     {'worker2': 'pong'},
    

  • revoke(destination=all, reply=False, timeout=1, limit=0)

    Worker просто возвращает True.

    >>> from celery.task.control import revoke
    >>> revoke('419e46eb-cf6a-4271-86a8-442b7124132c', reply=True)
    [{'worker1': True},
     {'worker2'; True}]
    

• Теперь вы можете добавлять свои собственные команды дистанционного управления!

  Команды дистанционного управления - это функции, зарегистрированные в реестре команд. Регистрация команды осуществляется с помощью команды celery.worker.control.Panel.register():

  from celery.task.control import Panel
  
  @Panel.register
  def reset_broker_connection(state, **kwargs):
      state.consumer.reset_connection()
      return {'ok': 'connection re-established'}
  

  Импортировав этот модуль в worker, вы можете запустить команду с помощью celery.task.control.broadcast:

  >>> from celery.task.control import broadcast
  >>> broadcast('reset_broker_connection', reply=True)
  [{'worker1': {'ok': 'connection re-established'},
   {'worker2': {'ok': 'connection re-established'}}]
  

  TIP Вы можете выбрать работника(ов), который(ие) получит команду, используя аргумент destination:

  >>> broadcast('reset_broker_connection', destination=['worker1'])
  [{'worker1': {'ok': 'connection re-established'}]
  

• Новая команда дистанционного управления: dump_reserved

  Сбрасывает задания, зарезервированные рабочим и ожидающие выполнения:

  >>> from celery.task.control import broadcast
  >>> broadcast('dump_reserved', reply=True)
  [{'myworker1': [<TaskRequest ....>]}]
  

• Новая команда дистанционного управления: dump_schedule.

  Выгружает зарегистрированное в данный момент расписание ETA рабочего. Это задания с аргументом eta (или countdown), ожидающие выполнения работником.

  >>> from celery.task.control import broadcast
  >>> broadcast('dump_schedule', reply=True)
  [{'w1': []},
   {'w3': []},
   {'w2': ['0. 2010-05-12 11:06:00 pri0 <TaskRequest
              {name:'opalfeeds.tasks.refresh_feed_slice',
               id:'95b45760-4e73-4ce8-8eac-f100aa80273a',
               args:'(<Feeds freq_max:3600 freq_min:60
                             start:2184.0 stop:3276.0>,)',
               kwargs:'{'page': 2}'}>']},
   {'w4': ['0. 2010-05-12 11:00:00 pri0 <TaskRequest
              {name:'opalfeeds.tasks.refresh_feed_slice',
               id:'c053480b-58fb-422f-ae68-8d30a464edfe',
               args:'(<Feeds freq_max:3600 freq_min:60
                             start:1092.0 stop:2184.0>,)',
               kwargs:'{\'page\': 1}'}>',
          '1. 2010-05-12 11:12:00 pri0 <TaskRequest
              {name:'opalfeeds.tasks.refresh_feed_slice',
               id:'ab8bc59e-6cf8-44b8-88d0-f1af57789758',
               args:'(<Feeds freq_max:3600 freq_min:60
                             start:3276.0 stop:4365>,)',
               kwargs:'{\'page\': 3}'}>']}]
  

Исправления¶

• Поток посредника больше не блокируется более чем на 1 секунду.

  При включенных ограничениях скорости и когда оставалось много времени, поток-посредник мог блокировать завершение работы (и потенциально блокировать поступление других заданий).

• Неправильно применялись ограничения удаленных тарифов (проблема #98).

• Теперь исключения с сообщениями Unicode корректно обрабатываются в TaskRequest.on_failure.

• Бэкенд базы данных: TaskMeta.result: значение по умолчанию должно быть None, а не пустая строка.

Обратные несовместимые изменения¶

• Celery больше не поддерживает отсоединение, поэтому вам придется использовать инструменты, доступные на вашей платформе, или что-то вроде supervisor для превращения celeryd/<< 2 >>>/<< 3 >>> в фоновые процессы.

  У нас было слишком много проблем с самопроизвольным запуском рабочего, поэтому было решено его удалить. Примеры скриптов запуска были добавлены в каталог extra/:

  • Debian, Ubuntu, (start-stop-daemon)

    extra/debian/init.d/celeryd extra/debian/init.d/celerybeat

  • macOS launchd

    extra/mac/org.celeryq.celeryd.plist extra/mac/org.celeryq.celerybeat.plist extra/mac/org.celeryq.celerymon.plist

  • Супервайзер (http://supervisord.org)

    extra/supervisord/supervisord.conf

  В дополнение к –detach, были удалены следующие аргументы программы: –uid, –gid, –workdir, –chroot, –pidfile, –umask. Все хорошие средства демонизации должны поддерживать эквивалентную функциональность, так что не беспокойтесь.

  Также были удалены следующие ключи конфигурации: CELERYD_PID_FILE, CELERYBEAT_PID_FILE, CELERYMON_PID_FILE.

• Уровень журнала рабочего по умолчанию теперь WARN, чтобы включить предыдущий уровень журнала, запустите рабочий с –loglevel=INFO.

• Задачи регистрируются автоматически.

  Это означает, что вам больше не нужно регистрировать задачи вручную. Вам не нужно сразу же менять свой старый код, так как не имеет значения, зарегистрирована ли задача дважды.

  I

  class MyTask(Task):
      abstract = True
  

  При использовании abstract только задачи, подклассифицирующие эту задачу, будут автоматически зарегистрированы (это работает подобно Django ORM).

  I

  I

• I

  Это изменение было добавлено, потому что оно делает внутреннюю часть гораздо более чистой и простой. Однако теперь вы можете превращать функции в задачи с помощью декоратора @task:

  from celery.decorators import task
  
  @task()
  def add(x, y):
      return x + y
  

  См.также

  <

• Система периодических заданий была переписана на централизованное решение.

  Это означает, что рабочий больше не планирует периодические задания по умолчанию, но был введен новый демон: celerybeat.

  Для запуска планировщика периодических задач необходимо выполнить команду celerybeat:

  $ celerybeat
  

  Убедитесь, что он запущен только на одном сервере, если вы запустите его дважды, все периодические задачи также будут выполнены дважды.

  I

  $ celeryd --beat # Embed celerybeat in celeryd.
  

• Руководитель был удален.

  Это означает, что опции -S и –supervised в celeryd больше не поддерживаются. Пожалуйста, используйте вместо них что-то вроде http://supervisord.org.

• `

• Статус задания «DONE» был переименован в «SUCCESS».

• AsyncResult.is_done был удален, вместо него используйте AsyncResult.successful.

• Рабочий больше не сохраняет ошибки, если установлено значение Task.ignore_result, для возврата к предыдущему поведению установите CELERY_STORE_ERRORS_EVEN_IF_IGNORED в True.

• Функциональность статистики была удалена в пользу событий, поэтому переключатели -S и –statistics` были удалены.

• Модуль celery.task.strategy был удален.

• celery.discovery был удален, а его функция autodiscover теперь находится в celery.loaders.djangoapp. Причина: Внутренний API.

• Переменная окружения CELERY_LOADER теперь требует имя класса загрузчика в дополнение к имени модуля,

  Например, если раньше у вас было: «celery.loaders.default», теперь вам нужен «celery.loaders.default.Loader», использование предыдущего синтаксиса приведет к появлению DeprecationWarning.

• Определение загрузчика теперь лениво, и поэтому не выполняется при импорте celery.loaders.

  Для этого celery.loaders.settings был переименован в load_settings и теперь является функцией, возвращающей объект настроек. celery.loaders.current_loader теперь также является функцией, возвращающей текущий загрузчик.

  Итак:

  loader = current_loader
  

  необходимо изменить на:

  loader = current_loader()
  

Амортизация¶

• Следующие переменные конфигурации были переименованы и будут устаревшими в версии 2.0:

  • CELERYD_DAEMON_LOG_FORMAT -> CELERYD_LOG_FORMAT

  • CELERYD_DAEMON_LOG_LEVEL -> CELERYD_LOG_LEVEL

  • CELERY_AMQP_CONNECTION_TIMEOUT -> CELERY_BROKER_CONNECTION_TIMEOUT

  • CELERY_AMQP_CONNECTION_RETRY -> CELERY_BROKER_CONNECTION_RETRY

  • CELERY_AMQP_CONNECTION_MAX_RETRIES -> CELERY_BROKER_CONNECTION_MAX_RETRIES

  • SEND_CELERY_TASK_ERROR_EMAILS -> CELERY_SEND_TASK_ERROR_EMAILS

• Имена публичных API в celery.conf также были изменены на согласованную схему именования.

• Теперь мы поддерживаем потребление из произвольного количества очередей.

  Для этого нам пришлось переименовать синтаксис конфигурации. Если вы используете какие-либо из пользовательских опций маршрутизации AMQP (queue/exchange/routing_key и т.д.), вам следует прочитать новую запись в FAQ: Можно ли отправлять некоторые задания только на некоторые серверы?.

  Предыдущий синтаксис устарел и планируется к удалению в версии 2.0.

• TaskSet.run был переименован в TaskSet.apply_async.

  Функция TaskSet.run уже устарела и планируется к удалению в версии 2.0.

Новости¶

• Поддержка ограничения скорости (для каждого типа задач или глобально).

• Новая система периодических заданий.

• Автоматическая регистрация.

• Новый синтаксис декоратора задач.

• worker: теперь отправляет события, если это разрешено с помощью аргумента -E.

  Отличный инструмент для мониторинга, один из них уже находится в разработке (https://github.com/celery/celerymon).

  Текущие события включают: worker-heartbeat, task-[received/succeeded/failed/retried], worker-online, worker-offline.

• Теперь вы можете удалять (отзывать) задания, которые уже были применены.

• Теперь вы можете задать имя хоста, с которым идентифицируется рабочий, используя аргумент –hostname.

• Кэш-бэкенд теперь учитывает настройку CELERY_TASK_RESULT_EXPIRES.

• Формат сообщений был стандартизирован и теперь использует формат ISO-8601 для дат вместо datetime.

• теперь рабочий отвечает на сигнал SIGHUP перезапуском.

• Периодические задания теперь планируются по часам.

  То есть timedelta(hours=1) означает каждый час в :00 минут, а не каждый час с момента запуска сервера. Чтобы вернуться к предыдущему поведению, вы можете установить PeriodicTask.relative = True.

• Теперь поддерживается передача опций выполнения в список аргументов TaskSets.

  Пример:

  >>> ts = TaskSet(add, [([2, 2], {}, {'countdown': 1}),
  ...                    ([4, 4], {}, {'countdown': 2}),
  ...                    ([8, 8], {}, {'countdown': 3})])
  >>> ts.run()
  

• Получили 3-кратный прирост производительности, установив счетчик prefetch в четыре раза больше параллелизма (со среднего времени обхода задачи 0,1 с до 0,03 с!).

  Добавлена новая настройка: CELERYD_PREFETCH_MULTIPLIER, который по умолчанию установлен на 4.

• Улучшена поддержка задач webhook.

  celery.task.rest теперь устарел и заменен новым и блестящим celery.task.http. С более отражающими именами, разумным интерфейсом и возможностью переопределения методов, используемых для выполнения HTTP-запросов.

• Результаты наборов задач теперь кэшируются путем хранения в бэкенде результатов.

Изменения¶

• Теперь зависит от carrot >= 0.8.1

• Новые зависимости: billiard, python-dateutil, django-picklefield.

• Больше не зависит от python-daemon

• Дистрибутив uuid добавляется в качестве зависимости при запуске Python 2.4.

• Теперь запомните ранее обнаруженный загрузчик, сохранив его в переменной окружения CELERY_LOADER.

  Это может помочь в windows, где используется эмуляция вилки.

• ETA больше не отправляет объекты datetime, а использует формат даты ISO 8601 в строке для лучшей совместимости с другими платформами.

• Больше не отправляет сообщения об ошибках при повторном выполнении заданий.

• Теперь задача может переопределять бэкэнд, используемый для хранения результатов.

• Переработана обёртка ExecuteWrapper, apply и CELERY_ALWAYS_EAGER теперь также выполняют обратные вызовы и сигналы задачи.

• Теперь использую подходящий планировщик для задач с ETA.

  Это означает, что ожидающие ETA задачи сортируются по времени, поэтому нам не нужно постоянно опрашивать весь список.

• Теперь также импортирует модули, перечисленные в CELERY_IMPORTS при запуске с django (согласно документации).

• Уровень журнала для stdout/stderr изменен с INFO на ERROR

• Ошибки импорта теперь правильно распространяются при автообнаружении задач.

• Теперь вы можете использовать celery.messaging.establish_connection для установления соединения с брокером.

• При работе в качестве отдельной службы планировщик периодических задач делает некоторые умные шаги, чтобы не опрашивать слишком регулярно.

  Если вам нужно более быстрое время опроса, вы можете уменьшить значение CELERYBEAT_MAX_LOOP_INTERVAL.

• Теперь вы можете изменять интервалы между периодическими задачами во время выполнения, сделав run_every свойством или подклассом PeriodicTask.is_due.

• Рабочий теперь поддерживает команды управления, включенные с помощью широковещательной очереди, вы можете удаленно отзывать задания или устанавливать ограничение скорости для типа задания. См. celery.task.control.

• Службы теперь устанавливают информативные имена процессов (как показано в списках ps), если установлен модуль setproctitle.

• NotRegistered теперь наследуется от KeyError, и TaskRegistry.__getitem__`+`pop поднимает NotRegistered вместо этого

• Вы можете установить загрузчик через переменную окружения CELERY_LOADER.

• Теперь вы можете установить CELERY_IGNORE_RESULT для игнорирования результатов задач по умолчанию (если это включено, задачи не сохраняют результаты или ошибки в используемом бэкенде).

• Теперь рабочий корректно обрабатывает неправильно сформированные сообщения, отбрасывая и подтверждая сообщение, вместо того, чтобы аварийно завершить работу.

Жучки¶

• Исправлено состояние гонки, которое могло возникнуть при сохранении результатов задания в базе данных.

Документация¶

• Ссылки теперь разделены на два раздела: ссылки на API и ссылки на внутренние модули.

Очень важное замечание¶

Этот релиз (с carrot 0.8.0) включает AMQP QoS (качество обслуживания), что означает, что рабочие будут получать только столько сообщений, сколько они могут обработать за один раз. Как и в случае с любым другим релизом, вы должны протестировать обновление этой версии на своих серверах разработки, прежде чем выкладывать его в продакшн!

Важные изменения¶

• Если вы используете Python < 2.6 и используете бэкпорт мультипроцессинга, то требуется мультипроцессинг версии 2.6.2.1.

• Все настройки AMQP_* были переименованы в BROKER_*, а также AMQP_SERVER был переименован в BROKER_HOST, так что раньше там, где у вас было:

  AMQP_SERVER = 'localhost'
  AMQP_PORT = 5678
  AMQP_USER = 'myuser'
  AMQP_PASSWORD = 'mypassword'
  AMQP_VHOST = 'celery'
  

  Вам нужно изменить это на:

  BROKER_HOST = 'localhost'
  BROKER_PORT = 5678
  BROKER_USER = 'myuser'
  BROKER_PASSWORD = 'mypassword'
  BROKER_VHOST = 'celery'
  

• Пользовательские бэкенды carrot теперь должны включать в себя имя класса бэкенда, так что раньше у вас было:

  CARROT_BACKEND = 'mycustom.backend.module'
  

  вам нужно изменить его на:

  CARROT_BACKEND = 'mycustom.backend.module.Backend'
  

  где Backend - имя класса. Вероятно, это «Backend», так как это было ранее подразумеваемое имя.

• Новые требования к версии для моркови: 0.8.0

Изменения¶

• Включен патч backport мультипроцессинга, исправляющий ошибку processName.

• По умолчанию игнорирует результат выполнения PeriodicTask’ов.

• Добавлен бэкенд хранилища результатов Redis

• Позволяет /etc/default/celeryd определять дополнительные опции для celeryd init-скрипта.

• Исправлена проблема периодических задач MongoDB при использовании времени, отличного от UTC.

• Специфика Windows: Отмените проверку на доступность os.fork (спасибо @miracle2k).

• Теперь попытался обработать сломанные файлы PID.

• В contrib добавлен бегунок тестирования Django, который устанавливает CELERY_ALWAYS_EAGER = True для тестирования с бэкендом базы данных.

• Добавлена настройка CELERY_CACHE_BACKEND для использования чего-то другого, кроме бэкенда Django-global cache.

• Используйте пользовательскую реализацию functools.partial для поддержки Python 2.4 (Вероятно, все еще есть проблемы с запуском на 2.4, но со временем она будет поддерживаться).

• Подготовьте исключение для pickle при сохранении статуса RETRY для всех бэкендов.

• SQLite no concurrency limit должен действовать только при использовании бэкенда базы данных.

Обратные несовместимые изменения¶

• Добавьте трассировку к значению результата при неудаче.

  Примечание

  Если вы используете бэкенд базы данных, вам необходимо заново создать таблицу базы данных celery_taskmeta.

  Обратитесь за помощью по каналу Список рассылки или << 1 >>>.

• Таблицы базы данных теперь создаются только при использовании бэкенда базы данных, поэтому если вы в какой-то момент перейдете на бэкенд базы данных, не забудьте инициализировать таблицы (django: syncdb, python: celeryinit).

  Примечание

  Это применимо только при использовании Django версии 1.1 или выше.

• Теперь зависит от carrot версии 0.6.0.

• Теперь зависит от python-daemon 1.4.8

Важные изменения¶

• Теперь Celery можно использовать в чистом Python (вне проекта Django).

  Это означает, что Celery больше не является специфичным для Django.

  Для получения дополнительной информации см. запись FAQ Является ли Celery только для Django?.

• Celery теперь поддерживает повторные попытки выполнения задач.

  Дополнительную информацию см. в разделе Повторная попытка.

• Теперь у нас есть бэкенд хранилища результатов AMQP.

  Он использует сообщения для публикации возвращаемого значения и статуса задачи. И это невероятно быстро!

  Смотрите выпуск #6 для получения дополнительной информации!

• Реализовано AMQP QoS (подсчет префетчей):

  Это необходимо для того, чтобы не получать больше сообщений, чем мы можем обработать.

• Теперь при отсоединении перенаправляет stdout/stderr в рабочий файл журнала

• Теперь используется inspect.getargspec для передачи только аргументов по умолчанию

  задача поддерживает.

• Добавьте обработчики Task.on_success, .on_retry, .on_failure

  См. celery.task.base.Task.on_success(),

  celery.task.base.Task.on_retry(), celery.task.base.Task.on_failure(),

• celery.utils.gen_unique_id: Обходной путь для

  http://bugs.python.org/issue4607

• Теперь вы можете настроить, что происходит при запуске рабочего, при инициализации процесса и т.д.,

  путем создания собственных загрузчиков (см. celery.loaders.default, celery.loaders.djangoapp, celery.loaders).

• Поддержка нескольких обменов и очередей AMQP.

  Этой функции не хватает документации и тестов, поэтому всем заинтересованным предлагается улучшить эту ситуацию.

• Теперь рабочий выживает после перезапуска AMQP-сервера!

  Автоматическое восстановление соединения с брокером AMQP в случае его потери.

  Новые настройки:

  • AMQP_CONNECTION_RETRY

    Установите значение True, чтобы включить повторные попытки соединения.

  • AMQP_CONNECTION_MAX_RETRIES.

    Максимальное количество перезапусков перед тем, как мы сдадимся. По умолчанию: 100.

Новости¶

• Исправьте несовместимость между python-daemon и многопроцессорностью,

  что приводило к проблеме [Errno 10] No child processes при отсоединении.

• Исправлена возможная ошибка DjangoUnicodeDecodeError при сохранении маринованных файлов

  данные в бэкенд кэша Django`s Memcached.

• Улучшенная совместимость с Windows.

• Новая версия маринованного поля (взято из

  http://www.djangosnippets.org/snippets/513/)

• Введены новые сигналы: task_sent, task_prerun и

  task_postrun, более подробную информацию смотрите в celery.signals.

• TaskSetResult.join вызвал TypeError, когда timeout=None.

  Спасибо Ежи Козера. Закрывается #31

• views.apply должен возвращать экземпляр HttpResponse.

  Спасибо Ежи Козера. Закрывается #32

• PeriodicTask: Сохраните преобразование run_every из int.

  на timedelta в атрибут класса, а не на экземпляр.

• Исключения были перенесены в celery.exceptions, но все еще являются

  имеющиеся в предыдущем модуле.

• Попытайтесь откатить транзакцию и повторить сохранение результата, если произошла ошибка

  при установке статуса задачи с помощью бэкенда базы данных.

• jail() переделан в celery.execute.ExecuteWrapper.

• views.apply теперь правильно устанавливает mime-type в «application/json».

• views.task_status теперь возвращает исключение, если состояние RETRY

• views.task_status теперь возвращает traceback, если состояние FAILURE

  или RETRY

• Документированные аргументы задачи по умолчанию.

• Добавьте разумный __repr__ к ExceptionInfo для облегчения отладки

• Исправьте опечатку в документации …import map -> …import dmap.

  Благодаря @mikedizon.

Важные изменения¶

• Исправлена ошибка, при которой задания, вызывающие нерасщепляемые исключения, приводили к сбою пула

  рабочие. Так что если у вас были случаи таинственного исчезновения работников пула или проблемы с прекращением работы работника, это было исправлено в данной версии.

• Исправлено состояние гонки при выполнении периодических задач.

• Пул задач теперь находится под контролем, поэтому в случае сбоя работника пула,

  пропадает или перестает отвечать, он автоматически заменяется новым.

• Task.name теперь автоматически генерируется из class module+name, например «djangotwitter.tasks.UpdateStatusesTask». Очень удобно. Не знаю, почему мы не сделали этого раньше. Обновлена документация, чтобы не указывать имя задачи вручную.

Новости¶

• Протестировано с Django 1.1

• Новый учебник: Создание счетчика кликов с помощью Carrot и Celery

• Записи в базе данных для периодических заданий теперь создаются в рабочих

  запуск вместо каждой проверки (что уже давно является забытым TODO/XXX в коде)

• Новая переменная настроек: CELERY_TASK_RESULT_EXPIRES

  Время (в секундах, или объект datetime.timedelta), когда после сохранения результатов задачи будут удалены. На данный момент это работает только для бэкенда базы данных.

• Теперь рабочий выдает сообщение журнала отладки о том, для каких периодических задач

  был запущен.

• Таблица периодических задач теперь заблокирована для чтения при получении

  периодический статус задач (пока только MySQL, ищутся патчи для других движков)

• Гораздо больше отладочной информации теперь доступно при включении функции

  Уровень журнала DEBUG (–loglevel=DEBUG).

• Функции/методы с аргументом таймаута теперь работают корректно.

• Новое: celery.strategy.even_time_distribution:

  С помощью итератора, выдающего кортежи task args, kwargs, равномерно распределить обработку своих задач по всему доступному временному окну.

• Сообщение журнала Неизвестная задача проигнорирована… теперь имеет уровень журнала ERROR.

• Сообщение в журнале о получении задания теперь выдается для всех заданий, даже если

  задача имеет ETA (расчетное время прибытия). Также сообщение журнала теперь включает ETA для задачи (если таковая имеется).

• Подтверждение теперь происходит в обратном вызове пула. Невозможно выполнить подтверждение в задании

  цель, так как она не является pickleable (не может разделять AMQP соединение и т.д.).

• Добавлена заметка о зависании .delay в README

• Тесты теперь проходят в Django 1.1

• Исправлено обнаружение, чтобы убедиться, что приложение находится в INSTALLED_APPS

• Ранее переопределенное поведение пула (обрабатывать жатву, ждать, пока работник пула

  доступны и т.д.) теперь обрабатывается самим multiprocessing.Pool.

• Преобразуйте данные статистики в Unicode для использования в качестве kwargs. Спасибо Люси!