快捷導(dǎo)航

Django結(jié)合使用Scrapy爬取數(shù)據(jù)入庫的方法示例

更新時間：2021年03月23日 10:47:19 作者：shiguanggege

這篇文章主要介紹了Django結(jié)合使用Scrapy爬取數(shù)據(jù)入庫的方法示例，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

在django項目根目錄位置創(chuàng)建scrapy項目，django_12是django項目，ABCkg是scrapy爬蟲項目，app1是django的子應(yīng)用

在這里插入圖片描述

2.在Scrapy的settings.py中加入以下代碼

import os
import sys
sys.path.append(os.path.dirname(os.path.abspath('.')))
os.environ['DJANGO_SETTINGS_MODULE'] = 'django_12.settings'  # 項目名.settings
import django
django.setup()

3.編寫爬蟲，下面代碼以ABCkg為例，abckg.py

# -*- coding: utf-8 -*-
import scrapy
from ABCkg.items import AbckgItem
 
class AbckgSpider(scrapy.Spider):
  name = 'abckg'  #爬蟲名稱
  allowed_domains = ['www.abckg.com'] # 允許爬取的范圍
  start_urls = ['http://www.abckg.com/'] # 第一次請求的地址
  def parse(self, response):
    print('返回內(nèi)容：{}'.format(response))
    """
    解析函數(shù)
    :param response: 響應(yīng)內(nèi)容
    :return:
    """
    listtile = response.xpath('//*[@id="container"]/div/div/h2/a/text()').extract()
    listurl = response.xpath('//*[@id="container"]/div/div/h2/a/@href').extract()
 
    for index in range(len(listtile)):
      item = AbckgItem()
      item['title'] = listtile[index]
      item['url'] = listurl[index]
      yield scrapy.Request(url=listurl[index],callback=self.parse_content,method='GET',dont_filter=True,meta={'item':item})
    # 獲取下一頁
    nextpage = response.xpath('//*[@id="container"]/div[1]/div[10]/a[last()]/@href').extract_first()
    print('即將請求:{}'.format(nextpage))
    yield scrapy.Request(url=nextpage,callback=self.parse,method='GET',dont_filter=True)
    # 獲取詳情頁
  def parse_content(self,response):
    item = response.meta['item']
    item['content'] = response.xpath('//*[@id="post-1192"]/dd/p').extract()
    print('內(nèi)容為：{}'.format(item))
    yield item

4.scrapy中item.py 中引入django模型類

 pip install scrapy-djangoitem

from app1 import models
from scrapy_djangoitem import DjangoItem

class AbckgItem(DjangoItem):
  # define the fields for your item here like:
  # name = scrapy.Field()      # 普通scrapy爬蟲寫法
  # title = scrapy.Field()
  # url = scrapy.Field()
  # content = scrapy.Field()
  django_model = models.ABCkg   # 注入django項目的固定寫法，必須起名為django_model =django中models.ABCkg表

5.pipelines.py中調(diào)用save()

import json
from pymongo import MongoClient
# 用于接收parse函數(shù)發(fā)過來的item
class AbckgPipeline(object):
  # i = 0
  def open_spider(self,spider):
    # print('打開文件')
    if spider.name == 'abckg':
      self.f = open('abckg.json',mode='w')
  def process_item(self, item, spider):
    # # print('ABC管道接收：{}'.format(item))
    # if spider.name == 'abckg':
    #   self.f.write(json.dumps(dict(item),ensure_ascii=False))
    # # elif spider.name == 'cctv':
    # #   img = requests.get(item['img'])
    # #   if img != '':
    # #     with open('圖片\%d.png'%self.i,mode='wb')as f:
    # #       f.write(img.content)
    # #   self.i += 1
    item.save()
    return item  # 將item傳給下一個管道執(zhí)行
  def close_spider(self,spider):
    # print('關(guān)閉文件')
    self.f.close()

6.在django中models.py中一個模型類，字段對應(yīng)爬取到的數(shù)據(jù)，選擇適當(dāng)?shù)念愋团c長度

class ABCkg(models.Model):
  title = models.CharField(max_length=30,verbose_name='標題')
  url = models.CharField(max_length=100,verbose_name='網(wǎng)址')
  content = models.CharField(max_length=200,verbose_name='內(nèi)容')
  class Meta:
    verbose_name_plural = '爬蟲ABCkg'
  def __str__(self):
    return self.title

7.通過命令啟動爬蟲：scrapy crawl 爬蟲名稱

8.django進入admin后臺即可看到爬取到的數(shù)據(jù)。

到此這篇關(guān)于Django結(jié)合使用Scrapy爬取數(shù)據(jù)入庫的方法示例的文章就介紹到這了,更多相關(guān)Django Scrapy爬取數(shù)據(jù)入庫內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: