BeautifulSoup - чтение страниц, требующих ожидания
небольшой вопрос,
Я создал класс webcrawler, который собирает ссылки со страницы, у меня есть проблема с определенными страницами, которые не загружаются как целый html, а только загружают больше содержимого при прокрутке вниз (если это имеет смысл). Особенно одна конкретная страница, которая нужна мне для моего проекта, делает это
В настоящее время я загружаю ссылки с помощью beatifulsoup таким образом:
#newurl is url passed into a function
newurl = newurl.encode('ascii', 'ignore').decode('ascii')
resp = urllib.request.urlopen(newurl)
soup = BeautifulSoup(resp, self.parser, from_encoding=resp.info().get_param('charset'))
links = []
return links
Но в результате количество найденных ссылок отличается при каждом запуске! Есть ли возможность для BeautifulSoup "подождать" при открытии url, может быть 10 секунд, чтобы на страницу загрузилось больше контента, а потом уже искать ссылки? Или может быть совершенно другой метод?
Спасибо за любые предложения