Django.fun ☰

Indexing 80 million documents to elasticsearch from Django

I am using the latest version of django elasticsearch dsl and I am using the following command to index around 80 million documents:

python manage.py search_index --rebuild --models <model> --parallel

However, my system can't handle it and crashes at about 12gb of ram usage. CPU usage is 10% and seems to be fine.

Is there a way to index this amount of django entries to elasticsearch safely?

Recent Questions & Answers

If an app has multiple models with the same field, whats the best practice for keeping things DRY?

Django Admin actions don't work after redefining primary key of the model

Mon projet s'appellegescard, et lorsque je lance le serveur, j'obtiens cette erreur. Tout le monde sait comment corriger cette erreur [closed]

Cannot understand django user group change signal behavior

"DJANGO_SETTINGS_MODULE" bash: syntax error near unexpected token

how to using cookies to get data from local storage - DJANGO

Restrict view on utils.py - Django

Form data is passing in html table

How to retrieve data based on specific field in Django Rest Framework using RetrieveAPIView?

Django comments deletion

View all Questions & Answers →

Popular documentation

Документация по фреймворку Django

Рецепты Django ORM

Django Rest Framework

Django CMS

Channels — расширение для асинхронной работы с Django

asgiref — спецификация и утилиты ASGI

Документация по Python Social Auth

Django Crispy Forms - лучшая работа с формами

Виджет Select2 для Django

Django Simple History

Celery

View all documentations →

Tutorials

Использование requests в Python — тайм-ауты, повторы, хуки

Понимание декораторов в Python

Выпуск Django 4.0

Безопасное развертывание приложения Django с помощью Gunicorn, Nginx и HTTPS

Автоматический повтор невыполненных задач Celery

Django REST Framework и Elasticsearch

Докеризация Django с помощью Postgres, Gunicorn и Nginx

Асинхронные задачи с Django и Celery

Релизы безопасности Django: 3.2.4, 3.1.12 и 2.2.24

Выпуски исправлений ошибок Django: 3.2.3, 3.1.11 и 2.2.23

Эффективное использование сериализаторов Django REST Framework

Выпуски безопасности Django: 3.2.2, 3.1.10 и 2.2.22

Выпущенные релизы безопасности Django: 3.2.1, 3.1.9 и 2.2.21

Обработка периодических задач в Django с помощью Celery и Docker

Выпуски безопасности Django Debug Toolbar: 3.2.1, 2.2.1 и 1.11.1

Выпущен Django 3.2

Выпуски безопасности Django: 3.1.8, 3.0.14 и 2.2.20

В чем разница между AbstractUser и AbstractBaseUser в Django?

Выпуск версии Django 3.2 release candidate 1

Работа с транзакциями базы данных Celery и Django

View all tutorials →