Использование многопроцессорной обработки для обработки массовых обновлений в Django
Я пишу команду, которая хочет обновить все строки из моей таблицы. Проблема в том, что в этой таблице миллионы записей. Наивно я хотел бы получить что-то вроде этого.
all_entries = MyTable.objects.all()
for entry in all_entries:
do_some_magic(entry) # this will do entry.save() after changes
Мой вопрос заключается в том, как успешно использовать multiprocessing.Pool
для разделения этого на пулы потоков? Допустим, я хочу делать партии по 1000 строк и продолжать выполнять их в пулах потоков, пока они не закончатся.
Кто-нибудь может помочь с фрагментом кода, как это будет выглядеть?