SSLError. Не удалось выполнить проверку SSL-сертификата в beautifulsoup4
это часть, где я ищу вещи в интернете. Я использую beautifulsoup4 для поиска в интернете и их соскабливания. но он выдает ошибку SSL
Вот мой код
def searchBing(query, num):
url = 'https://www.bing.com/search?q=' + query
print(url)
urls = []
page = requests.get(url, headers= {'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36',
"Accept-Encoding": "*",
"Connection": "keep-alive"
})
soup = bs(page.text, 'html.parser')
for link in soup.find_all('a'):
url = str(link.get('href'))
if url.startswith('http'):
if not url.startswith('http://go.m') and not url.startswith('https://go.m'):
urls.append(url)
return urls[:num]
# Extraxt text from the internet (from similar website)
def extractText(url):
page = requests.get(url, headers={'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36',
"Accept-Encoding": "*",
"Connection": "keep-alive"
})
soup = bs(page.text, 'html.parser')
return soup.get_text()
Вы можете попробовать это.
url = 'https://www.bing.com/search?q=' + query,verify=False