Python django параллельная обработка большого количества данных

В моей модели заказа есть около 5M фиктивных записей, я вычисляю их и передаю в другую базу данных. Это работает отлично, но очень медленно! Потому что там огромное количество фиктивных данных.

Я пишу команду django для этого и пытаюсь разделить все записи на несколько процессов, чтобы процесс мог быстро завершиться.

from django.core.management.base import BaseCommand, CommandError
from multiprocessing.pool import Pool
from multiprocessing import Manager

class Command(BaseCommand):
    help = 'Scrape all the site parrally..'


    def handle(self, *args, **options):
       
        for ord in Order.objects.all():
            calculate_n_push(ord)

Может ли кто-нибудь посоветовать мне, как лучше поступить?

Вернуться на верх