Проблема с шаблоном Celery infinite retry
Я использую celery с AWS SQS для асинхронных задач.
@app.task(
autoretry_for=(Exception,),
max_retries=5,
retry_backoff=True,
retry_jitter=False,
acks_late=True,
)
@onfailure_reject(non_traced_exceptions=NON_TRACED_EXCEPTIONS)
def send_order_update_event_task(order_id, data):
.........
Но шаблон повторных попыток сильно запутывается, когда я использую целое значение для аргумента retry_backoff. Количество возникающих задач выходит из-под контроля.
logs:
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [53285c923f-79232a3856] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [1052f09663-c19b42589a] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [dd021828dd-4f6b8ae6f8] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [116bef9273-e4dbfb526b] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [913697ae7e-d4f65d45a5] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [d99e889882-a76718b549] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [d99e889882-30bac3e515] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [d7f01e5b4f-edfa22355f] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [8ba15966ae-2266247e56] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [738688f34d-34067ca58b] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [c790586783-b363d38520] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [6231986f4c-7696b7cf47] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
2024-12-10 05:16:10
ERROR [1b810665-c0b1-4527-8cd9-c142f67d6605] [e020ded4ca-f11c933d87] tasks.order_request_task - [ send_order_update_event_task] Exception for order: 700711926: Order absent 700711926, retry_count: 10
Я печатаю количество повторных попыток для каждой из них, но, похоже, есть несколько задач с одинаковым количеством повторных попыток, например, есть 20 повторных попыток для повторной попытки 1, 40 для повторной попытки 2 и так далее. Я не уверен, почему это происходит. Для выполнения этих задач используется одна конкретная очередь (celery-requests-primary), и все эти задачи выполняются в одном развертывании под названием celery-requests-primary, которое имеет несколько pods. Что может быть причиной этого? Необходима ли какая-либо другая информация для отладки этой проблемы