Как я могу интегрировать scrapy в django и получить результаты паука в представлениях django?

Я хочу использовать scrapy пауков в django представлениях, ползать по этим паукам внутри django представления и хранить отсканированные данные в python списке или словаре. Есть ли какой-нибудь простой способ сделать это?

Вам лучше сохранить файл scrapy в вашем проекте, где существует settings.py, и создать проект scrapy с scrapy startproject some_project.

Затем в вашем items.py импортируйте ваши классы модели и djangoitem, чтобы создать что-то вроде

from djangoitem import DjangoItem
from some_app.models import Practice_Model
class scraper(DjangoItem):
    django_model = Practice_Model

Затем в настройках включите:

import os
os.environ['DJANGO_SETTINGS_MODULE'] = 'some_project.settings'
import django
django.setup()

где some_project - имя вашего проекта, когда вы делали django-admin startproject some_project.

Это все, что вам нужно для подключения вашего скрепера к django.

Вернуться на верх