Как осуществить массовую вставку 5.5M записей в mongodb через модель django за небольшое время?

У меня ушло около 6.5-7 часов на вставку большого количества записей из датафрейма pandas с 5.5M записей в мою базу данных mongodb через django model с 12-GB RAM. Ниже приведен код для поднятого запроса. Я хочу сделать его быстрее примерно от 30 минут до 1 часа времени, Возможно ли это?

# Split DF

listDf = []
listDf = split_dataframe(completeDF02)

## This completeDF02 is the full dataframe having 5.5M records, So I split it with having 0.1M record in one batch in listDf list

for item in listDf:
    df_records = item.to_dict('records')
    model_instances = [MyModel(
        Field1=record['Field1'],
        Field2=record['Field2'],
        Field3=record['Field3'],
        Field4=record['Field4'],
        Field5=record['Field5'],
        Field6=record['Field6'],
        Field7=record['Field7'],
        Field8=record['Field8'],
        Field9=record['Field9'],
        Field10=record['Field10'],
        Field11=record['Field11'],
        Field12=record['Field12'],
        Field13=record['Field13'],
        Field14=record['Field14'],
        Field15=record['Field15'],
        Field16=record['Field16'],
        Field17=record['Field17'],
        Field18=record['Field18'],
        Field19=record['Field19'],
        Field20=record['Field20'],
        Field21=record['Field21'],
        Field22=record['Field22'],
        Field23=record['Field23'],
        Field24=record['Field24'],
        Field25=record['Field25']
    ) for record in df_records]
    
    MyModel.objects.bulk_create(model_instances)

Есть ли альтернативный способ выполнения массовых вставок для достижения большей эффективности и скорости? Если да, то, пожалуйста, дайте мне знать.

Вернуться на верх