Индексирование 80 миллионов документов в elasticsearch из Django
Я использую последнюю версию django elasticsearch dsl и использую следующую команду для индексации около 80 миллионов документов:
python manage.py search_index --rebuild --models <model> --parallel
Однако моя система не справляется с этим и падает при использовании около 12 Гб оперативной памяти. Использование процессора составляет 10% и кажется, что все в порядке.
Есть ли способ безопасно проиндексировать такое количество записей django в elasticsearch?