Использование многопроцессорной обработки для обработки массовых обновлений в Django

Я пишу команду, которая хочет обновить все строки из моей таблицы. Проблема в том, что в этой таблице миллионы записей. Наивно я хотел бы получить что-то вроде этого.

all_entries = MyTable.objects.all()

for entry in all_entries:
    do_some_magic(entry) # this will do entry.save() after changes

Мой вопрос заключается в том, как успешно использовать multiprocessing.Pool для разделения этого на пулы потоков? Допустим, я хочу делать партии по 1000 строк и продолжать выполнять их в пулах потоков, пока они не закончатся.

Кто-нибудь может помочь с фрагментом кода, как это будет выглядеть?

Вернуться на верх