Celery/django - разбиение задач на части
У меня есть много генерируемых задач, которые я хотел бы сгруппировать в куски, но я думаю противоположным образом, как это делает Celery. Насколько я понимаю, я могу использовать функцию chunks для разделения списка элементов при создании задачи.
Я хотел бы сделать обратное. Имеющиеся у меня данные поступают по одному из разных конечных точек. Но я хотел бы обрабатывать их по частям, чтобы вставлять их в базу данных в отдельных транзакциях.
По сути, я хотел бы добавлять элементы в очередь по 1 за раз, а выводить их по 100 за раз (либо через определенный промежуток времени, либо когда очередь достигнет определенного уровня) и использовать транзакцию для вставки всех этих элементов в базу данных. Это избавит меня от необходимости делать это с помощью celery? Может быть, проще опуститься до redis и создать пользовательскую очередь там?