Не удается соскоблить данные с ziprecruiters.com
Я хочу получить некоторые данные о работе с ziprecruiters.com для заполнения моей базы данных. Это работает с indeed, но не с ziprecruiters.com
class Command(BaseCommand):
base_url = "https://www.ziprecruiter.com/"
def generate_search_url(self, radius, search, location):
url_template = self.base_url+"candidate/search?radius={}&search={}&location={}"
url = url_template.format(radius, search, location)
return url
def request_url_from_website(self, url):
response = requests.get(url, verify=False, timeout=10,)
if response.status_code == 200:
return response.text
else:
return response.reason
command_class = Command()
url = command_class.generate_search_url("10","python","remote")
print("Generated url: ", url)
request_url = command_class.request_url_from_website(url)
print("Response received: ", request_url)
Generated url: https://www.ziprecruiter.com/candidate/search?radius=10&search=python&location=remote
Response received: Forbidden
Вы должны указать user-agent вашего браузера в requests.get():
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36'
}
response = requests.get(url, verify=False, timeout=10, headers=headers)
Вы можете получить user-agent в консоли chrome, набрав navigator.userAgent или google "my user agent".