Docker Windows - все еще увеличивается использование оперативной памяти при использовании django bulk_create()
Я импортирую большое количество данных в django из csv. Я создал скрипт с помощью django-расширений, который создает объекты, подобные этому:
def process_row(row):
return {"foo": row[0], "bar": row[1]}
data = []
for row csv.reader(csvfile):
if len(data) > 5000:
MyModel.objects.bulk_create(data)
data = []
data.append(process_row(row))
В принципе, это работает действительно хорошо и быстро, но проблема все еще заключается в растущем использовании оперативной памяти контейнером docker. Оно никогда не уменьшается. В начале контейнер использует ~1.5GB, затем после десятков bulk_create() он использует до 10GB, и мне приходится перезапускать Docker Desktop, чтобы сбросить это.
P.S. docker stats
говорит, что он использует только ~3 ГБ, поэтому я думаю, что проблема в Docker Desktop