Не удается соскоблить данные с ziprecruiters.com

Я хочу получить некоторые данные о работе с ziprecruiters.com для заполнения моей базы данных. Это работает с indeed, но не с ziprecruiters.com

class Command(BaseCommand):

    base_url = "https://www.ziprecruiter.com/"

    def generate_search_url(self, radius, search, location):
        url_template = self.base_url+"candidate/search?radius={}&search={}&location={}"
        url = url_template.format(radius, search, location)
        return url

    def request_url_from_website(self, url):
        response = requests.get(url, verify=False, timeout=10,)
        if response.status_code == 200:
            return response.text
        else:
            return response.reason

command_class = Command()

url = command_class.generate_search_url("10","python","remote")
print("Generated url: ", url)

request_url = command_class.request_url_from_website(url)
print("Response received: ", request_url)




Generated url:  https://www.ziprecruiter.com/candidate/search?radius=10&search=python&location=remote
Response received:  Forbidden

Вы должны указать user-agent вашего браузера в requests.get():

headers = {
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 
        (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36'
        }
response = requests.get(url, verify=False, timeout=10, headers=headers)

Вы можете получить user-agent в консоли chrome, набрав navigator.userAgent или google "my user agent".

Вернуться на верх