Django с Pandas, доступ к pandas df в представлении с большим набором данных
У меня есть датафрейм Pandas, составленный из большого набора данных, около 80mo.
Я бы хотел, чтобы при отправке kwargs в определенное представление, они вставлялись в функцию Pandas, которая затем применялась бы к этому датафрейму, "живущему" в этом представлении, проблема в том, что я должен импортировать данные в представление каждый раз, что, конечно, слишком долго (загрузка файла + pd.read + сама функция) и, вероятно, будет дорогостоящим в долгосрочной перспективе, поскольку клиенты будут загружать его из ведра S3 каждый раз.
Я пытался решить эту проблему с помощью функции Lambda в AWS, она дает хороший результат после первоначальной загрузки, потому что я могу кэшировать файл, но проблема заключается в холодном старте, а также в том, что кэш AWS Lambda довольно недолговечен, поэтому я вернулся к Django и ищу новое решение. Я думал о том, чтобы кэшировать уже прочитанные кадры данных, но это кажется немного странным, учитывая их размер.
Есть идеи, как лучше всего это сделать?
Большое спасибо всем