Python django параллельная обработка большого количества данных
В моей модели заказа есть около 5M
фиктивных записей, я вычисляю их и передаю в другую базу данных. Это работает отлично, но очень медленно! Потому что там огромное количество фиктивных данных.
Я пишу команду django для этого и пытаюсь разделить все записи на несколько процессов, чтобы процесс мог быстро завершиться.
from django.core.management.base import BaseCommand, CommandError
from multiprocessing.pool import Pool
from multiprocessing import Manager
class Command(BaseCommand):
help = 'Scrape all the site parrally..'
def handle(self, *args, **options):
for ord in Order.objects.all():
calculate_n_push(ord)
Может ли кто-нибудь посоветовать мне, как лучше поступить?