Как работать с трудоемкими функциями python в Heroku?
Я успешно развернул приложение Django на Heroku с использованием Postgres. Единственная проблема заключается в том, что некоторые функции python, которые я написал, могут выполняться в течение нескольких минут (соскабливание данных со многих страниц с помощью selenium и генерация 50 различных моделей глубокого обучения с помощью keras). Если это занимает более 30 секунд, приложение падает. В конечном итоге я планирую использовать это приложение Heroku в качестве API, которое я подключу к фронтенду с помощью React на netlify. Есть ли способ как-то автоматически запускать эти функции за сценой? Если нет, то как я могу развернуть веб-сайт, который запускает трудоемкие функции python в бэкенде и использует React для фронтенда?
Хорошо, я думаю, мы можем разделить проблемы на ДВЕ части:\
1- Heroku free Tier (если это так) "убивает" сервер после 30 минут отсутствия (source), так что в принципе очень сложно разместить бэкенд в heroku. И кроме того, поскольку вы обучаете много моделей глубокого обучения, у вас может закончиться память и тому подобное.
2- Возможно, вам стоит пересмотреть архитектуру. Как насчет создания сервера, который время от времени обучает модели машинного обучения, а другой сервер просто потребляет данные и делает выводы на основе этих моделей? Вы также можете отделить часть отбраковки от фактического сервера, и просто получать данные из db.
Поскольку вы не добавили ограничений к своей задаче, я вижу ее именно так.