Как автоматически и регулярно обновлять базу данных для веб-приложения?
Я новичок в веб-разработке и у меня есть фундаментальный вопрос по разработке веб-сайта, который принимает запросы от пользователей и осуществляет поиск в базе данных.
Я разрабатываю веб-сайт, который принимает запросы от пользователей и осуществляет поиск в существующей базе данных. Я уже разработал часть веб-приложения с помощью Django. Приложение принимает некоторые ключевые слова, выполняет поиск в базе данных и отображает полученные данные в виде таблицы.
База данных состоит из нескольких файлов csv, которые обновляются нерегулярно, скажем, каждые одну-две недели. Они расположены в некотором локальном хранилище, скажем /home/james/csv_files/. Для разработки сайта я сначала обработал csv-файлы на своей локальной машине и создал их в файле db.sqlite3, базе данных по умолчанию(?), которая поставляется с Django.
Я загрузил их в GitLab, включая db.sqlite3, и развернул, чтобы посмотреть, работает ли он, и он работал. Но текущая реализация всегда ищет в загруженном db.sqlite3.
Я ищу автоматический способ, который регулярно обрабатывает файлы csv в /home/james/csv_files/ для обновления базы данных и позволяет веб-приложению использовать обновленную базу данных. С чего мне начать?
В настоящее время есть скрипт на питоне, который читает /home/james/csv_files/*.csv и объединяет их в /home/steven/project/db.sqlite3. Приложение, написанное на фреймворке Django, затем осуществляет поиск в этой базе данных, используя формы и модели.
Данная реализация требует от меня ручного запуска скрипта python для обновления базы данных, переноса ее в репозиторий gitlab и повторного развертывания.
Какова рекомендуемая практика автоматизации этого процесса?
У меня есть доступ к MariaDB и MongoDB.