BeautifulSoup - чтение страниц, требующих ожидания

небольшой вопрос,

Я создал класс webcrawler, который собирает ссылки со страницы, у меня есть проблема с определенными страницами, которые не загружаются как целый html, а только загружают больше содержимого при прокрутке вниз (если это имеет смысл). Особенно одна конкретная страница, которая нужна мне для моего проекта, делает это

В настоящее время я загружаю ссылки с помощью beatifulsoup таким образом:

#newurl is url passed into a function
        newurl = newurl.encode('ascii', 'ignore').decode('ascii')
        resp = urllib.request.urlopen(newurl)
        soup = BeautifulSoup(resp, self.parser, from_encoding=resp.info().get_param('charset'))
        links = []
        return links

Но в результате количество найденных ссылок отличается при каждом запуске! Есть ли возможность для BeautifulSoup "подождать" при открытии url, может быть 10 секунд, чтобы на страницу загрузилось больше контента, а потом уже искать ссылки? Или может быть совершенно другой метод?

Спасибо за любые предложения

Вернуться на верх