Лучшие способы работы с большими данными на бэкенде django?
Я знаю, что это широкий вопрос, который трудно понять. Но я не смог получить ответы, погуглив.
У меня есть большой объем данных от более чем 100 000 пользователей. Данные касаются покупок, доставки, приглашений пользователей и так далее. В целом, он довольно большой, и почти все модели в моем Django backend имеют внешние ключи друг к другу
При сортировке пользователей мне приходится обращаться к базе данных для каждого пользователя, что занимает около 30 секунд. Поэтому вместо этого я кэширую все данные о пользователях в Redis (обновляя их раз в день) и сортирую их по запросу (не обращаясь к базе данных, а используя то, что находится в кэше), что сократило время до ~1.5 сек.
Если кто-то знает лучший способ справиться с этим, не могли бы вы поделиться им?