Сокращение времени чтения файла для веб-приложения
Я сделал Django приложение (работает на Apache mod-wsgi сервере), которое читает содержимое файла (с миллионом записей в нем) и отображает его после выполнения некоторых операций над ним (время операции очень мало по сравнению со временем чтения).
На самом деле файл хранит метаданные объектов в облаке. Поэтому вместо того, чтобы получать данные из облака каждый раз, когда пользователь открывает приложение, метаданные кэшируются на используемом сервере. Эти кэшированные данные регулярно синхронизируются с облаком для хранения последних метаданных.
Проблема заключается в том, что данные в облаке масштабируются экспоненциально, из-за чего кэшированные метаданные в файле также увеличиваются, тем самым увеличивая количество записей, что в свою очередь замедляет работу приложения.
Что нужно сделать, чтобы уменьшить время чтения файла, чтобы приложение читало быстро и, в свою очередь, уменьшилось время загрузки?