Отображение данных скраппинга на странице html-таблицы

Я работаю над проектом скраппинга с использованием selenium, после завершения скраппинга, данные вставляются в базу данных, а затем отображается html страница, которая содержит таблицу со всеми продуктами из базы данных.

Проблема в том, что процесс занимает очень много времени из-за скраппинга. Есть ли способ, чтобы html-страница отображалась до завершения кода скраппинга и показывала только те данные, которые были вставлены в базу данных на данный момент, а при обновлении страницы отображались и другие данные. Надеюсь, мой вопрос понятен, любая помощь будет высоко оценена.

вот мой код, который помогает мне выполнять различные коды :

def datatable_view(request):
if request.method =='POST':
    form = Scraping(request.POST)
    if form.is_valid():
        subject=form.cleaned_data['subject']
        #run python code of scraping
        scrap(subject)
        #add the products scraped to the database
        client = pymongo.MongoClient("mongodb://localhost:27017/")
        # use variable names for db and collection reference
        db= client["db2"]
        col = db[subject]
        products = col.find()
        context = {'products' : products}
        #open datatable html and display all the data from database
        return render(request,'datatable.html', context)
return

Вернуться на верх