Как быстро использовать модель нагрузки в TensorFlow с Django

У меня есть Django API, который делает предсказания с помощью модели TensorFlow. При первой загрузке модели у Django уходит до 12 секунд. В производстве это неприемлемо. Как я могу ускорить загрузку моей модели TensorFlow для использования в Django?

Вот как я загружаю Django:

from tensorflow.keras.models import load_model
model = load_model('test/models/test', compile=False)
model.predict(padded)

Я читал, что compile=False может ускорить работу, но это не так. Мое приложение Django использует только функцию predict, поскольку модель просто передается мне и обучается в другом месте. Простое импортирование tensorflow.keras.models - вот где требуется все время.

Почему это занимает так много времени? Импорт tensorflow.keras.models происходит медленно? Могу ли я сделать что-нибудь, чтобы ускорить процесс?

Вернуться на верх