使用scrapy實現(xiàn)增量式爬取方式
實現(xiàn)爬蟲的增量式爬取有兩種方法，一是在獲得頁面解析的內(nèi)容后判斷該內(nèi)容是否已經(jīng)被爬取過，二是在發(fā)送請求之前判斷要被請求的url是否已經(jīng)被爬取過，前一種方法可以感知每個頁面的內(nèi)容是否發(fā)生變化，能獲取頁面新增或者變化的內(nèi)容，但是由于要對每個url發(fā)送請求，所以速度比較慢，而對網(wǎng)站服務(wù)器的壓力也比較大，后一種無法獲得頁面變化的內(nèi)容，但是因為不用對已經(jīng)爬取過的url發(fā)送請求，所以對服務(wù)器壓力比較小，速度比較快，適用于爬取新增網(wǎng)頁
下面用一個小說網(wǎng)站爬蟲的例子來介紹在scrapy中這兩種方式的實現(xiàn)
1.要爬取的信息
在scrapy中，信息通過item來封裝，這里我定義兩個item，一個用于封裝每本小說的信息，一個用于封裝每個章節(jié)的信息
1.BookItem
class BookItem(scrapy.Item):
_id = scrapy.Field() #小說id，用于定位章節(jié)信息，章節(jié)唯一
novel_Name = scrapy.Field() #小說名稱
novel_Writer = scrapy.Field()#小說作者
novel_Type = scrapy.Field()#小說類型
novel_Status = scrapy.Field()#小說狀態(tài)，連載或者完結(jié)
novel_UpdateTime = scrapy.Field()#最后更新時間
novel_Words = scrapy.Field() #總字?jǐn)?shù)
novel_ImageUrl = scrapy.Field()#封面圖片
novel_AllClick = scrapy.Field()#總點擊
novel_MonthClick = scrapy.Field()#月點擊
novel_WeekClick = scrapy.Field()#周點擊
novel_AllComm = scrapy.Field()#總推薦
novel_MonthComm = scrapy.Field()#月推薦
novel_WeekComm = scrapy.Field()#周推薦
novel_Url = scrapy.Field()#小說url
novel_Introduction = scrapy.Field()#小說簡介2.ChapterItem
class ChapterItem(scrapy.Item):
chapter_Url = scrapy.Field()#章節(jié)url
_id = scrapy.Field()#章節(jié)id
novel_Name = scrapy.Field()#小說名稱
chapter_Name = scrapy.Field()#章節(jié)名稱
chapter_Content = scrapy.Field()#內(nèi)容
novel_ID = scrapy.Field()#小說id
is_Error = scrapy.Field()#是否異常2.解析信息
這里我是用的是scrapy自帶的通用爬蟲模塊，只需要指定信息解析方式，需要跟進(jìn)的url就夠了
1.指定需要跟進(jìn)的url和回調(diào)函數(shù)
allowed_domains = ["23us.so"] #允許爬取的域名
start_urls = ["http://www.23us.so/xiaoshuo/414.html"]#種子url
#跟進(jìn)的url
rules=(
Rule(LinkExtractor(allow=("xiaoshuo/\d*\.html")),callback="parse_book_message",follow=True),
Rule(LinkExtractor(allow=("files/article/html/\d*?/\d*?.index.html")),callback="parse_book_chapter",follow=True),
Rule(LinkExtractor(allow=("files/article/html/\d*?/\d*?/\d*?.html")),callback="parse_chapter_content",follow=True),
Rule(LinkExtractor(allow=(".*")),follow=True),
)2.解析方法
1.解析書籍信息方法
#解析小說信息頁面
def parse_book_message(self,response):
if not response.body:
print(response.url+"已經(jīng)被爬取過了，跳過")
return;
ht = response.body.decode("utf-8")
text = html.fromstring(ht)
novel_Url = response.url
novel_Name = text.xpath(".//dl[@id='content']/dd[1]/h1/text()")[0].split(" ")[0] if response.xpath(".//dl[@id='content']/dd[1]/h1/text()") else "None"
novel_ImageUrl = text.xpath(".//a[@class='hst']/img/@src")[0] if response.xpath(".//a[@class='hst']/img/@src") else "None"
novel_ID = int(response.url.split("/")[-1].split(".")[0]) if response.url.split("/")[-1].split(".") else "None"
novel_Type = text.xpath(".//table[@id='at']/tr[1]/td[1]/a/text()") if response.xpath(".//table[@id='at']/tr[1]/td[1]/a/text()") else "None"
novel_Writer = "".join(text.xpath(".//table[@id='at']/tr[1]/td[2]/text()")) if response.xpath(".//table[@id='at']/tr[1]/td[2]/text()") else "None"
novel_Status = "".join(text.xpath(".//table[@id='at']/tr[1]/td[3]/text()")) if response.xpath(".//table[@id='at']/tr[1]/td[3]/text()") else "None"
novel_Words = self.getNumber("".join(text.xpath(".//table[@id='at']/tr[2]/td[2]/text()"))) if response.xpath(".//table[@id='at']/tr[2]/td[2]/text()") else "None"
novel_UpdateTime = "".join(text.xpath(".//table[@id='at']/tr[2]/td[3]/text()")) if response.xpath(".//table[@id='at']/tr[2]/td[3]/text()") else "None"
novel_AllClick = int("".join(text.xpath(".//table[@id='at']/tr[3]/td[1]/text()"))) if response.xpath(".//table[@id='at']/tr[3]/td[1]/text()") else "None"
novel_MonthClick = int("".join(text.xpath(".//table[@id='at']/tr[3]/td[2]/text()"))) if response.xpath(".//table[@id='at']/tr[3]/td[2]/text()") else "None"
novel_WeekClick = int("".join(text.xpath(".//table[@id='at']/tr[3]/td[3]/text()"))) if response.xpath(".//table[@id='at']/tr[3]/td[3]/text()") else "None"
novel_AllComm = int("".join(text.xpath(".//table[@id='at']/tr[4]/td[1]/text()"))) if response.xpath(".//table[@id='at']/tr[4]/td[1]/text()") else "None"
novel_MonthComm = int("".join(text.xpath(".//table[@id='at']/tr[4]/td[3]/text()"))) if response.xpath(".//table[@id='at']/tr[4]/td[2]/text()") else "None"
novel_WeekComm = int("".join(text.xpath(".//table[@id='at']/tr[4]/td[3]/text()"))) if response.xpath(".//table[@id='at']/tr[4]/td[3]/text()") else "None"
pattern = re.compile('<p>(.*)<br')
match = pattern.search(ht)
novel_Introduction = "".join(match.group(1).replace(" ","")) if match else "None"
#封裝小說信息類
bookitem = BookItem(
novel_Type = novel_Type[0],
novel_Name = novel_Name,
novel_ImageUrl = novel_ImageUrl,
_id = novel_ID, #小說id作為唯一標(biāo)識符
novel_Writer = novel_Writer,
novel_Status = novel_Status,
novel_Words = novel_Words,
novel_UpdateTime = novel_UpdateTime,
novel_AllClick = novel_AllClick,
novel_MonthClick = novel_MonthClick,
novel_WeekClick = novel_WeekClick,
novel_AllComm = novel_AllComm,
novel_MonthComm = novel_MonthComm,
novel_WeekComm = novel_WeekComm,
novel_Url = novel_Url,
novel_Introduction = novel_Introduction,
)
return bookitem
2.解析章節(jié)信息
def parse_chapter_content(self,response):
if not response.body:
print(response.url+"已經(jīng)被爬取過了，跳過")
return;
ht = response.body.decode('utf-8')
text = html.fromstring(ht)
soup = BeautifulSoup(ht)
novel_ID = response.url.split("/")[-2]
novel_Name = text.xpath(".//p[@class='fr']/following-sibling::a[3]/text()")[0]
chapter_Name = text.xpath(".//h1[1]/text()")[0]
'''
chapter_Content = "".join("".join(text.xpath(".//dd[@id='contents']/text()")).split())
if len(chapter_Content) < 25:
chapter_Content = "".join("".join(text.xpath(".//dd[@id='contents']//*/text()")))
pattern = re.compile('dd id="contents".*?>(.*?)</dd>')
match = pattern.search(ht)
chapter_Content = "".join(match.group(1).replace(" ","").split()) if match else "爬取錯誤"
'''
result,number = re.subn("<.*?>","",str(soup.find("dd",id='contents')))
chapter_Content = "".join(result.split())
print(len(chapter_Content))
novel_ID = response.url.split("/")[-2]
return ChapterItem(
chapter_Url = response.url,
_id=int(response.url.split("/")[-1].split(".")[0]),
novel_Name=novel_Name,
chapter_Name=chapter_Name,
chapter_Content= chapter_Content,
novel_ID = novel_ID,
is_Error = len(chapter_Content) < 3000
)
3.scrapy中實現(xiàn)增量式爬取的幾種方式
1.緩存
通過開啟緩存，將每個請求緩存至本地，下次爬取時，scrapy會優(yōu)先從本地緩存中獲得response，這種模式下，再次請求已爬取的網(wǎng)頁不用從網(wǎng)絡(luò)中獲得響應(yīng)，所以不受帶寬影響，對服務(wù)器也不會造成額外的壓力，但是無法獲取網(wǎng)頁變化的內(nèi)容，速度也沒有第二種方式快，而且緩存的文件會占用比較大的內(nèi)存，在setting.py的以下注釋用于設(shè)置緩存
#HTTPCACHE_ENABLED = True #HTTPCACHE_EXPIRATION_SECS = 0 #HTTPCACHE_DIR = 'httpcache' #HTTPCACHE_IGNORE_HTTP_CODES = [] #HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
這種方式比較適合內(nèi)存比較大的主機(jī)使用，我的阿里云是最低配的，在爬取半個晚上接近27W個章節(jié)信息后，內(nèi)存就用完了
2.對item實現(xiàn)去重
本文開頭的第一種方式，實現(xiàn)方法是在pipelines.py中進(jìn)行設(shè)置，即在持久化數(shù)據(jù)之前判斷數(shù)據(jù)是否已經(jīng)存在，這里我用的是mongodb持久化數(shù)據(jù)，邏輯如下
#處理書信息
def process_BookItem(self,item):
bookItemDick = dict(item)
try:
self.bookColl.insert(bookItemDick)
print("插入小說《%s》的所有信息"%item["novel_Name"])
except Exception:
print("小說《%s》已經(jīng)存在"%item["novel_Name"])
#處理每個章節(jié)
def process_ChapterItem(self,item):
try:
self.contentColl.insert(dict(item))
print('插入小說《%s》的章節(jié)"%s"'%(item['novel_Name'],item['chapter_Name']))
except Exception:
print("%s存在了,跳過"%item["chapter_Name"])
def process_item(self, item, spider):
'''
if isinstance(item,ChaptersItem):
self.process_ChaptersItem(item)
'''
if isinstance(item,BookItem):
self.process_BookItem(item)
if isinstance(item,ChapterItem):
self.process_ChapterItem(item)
return item
兩種方法判斷mongodb中是否存在已有的數(shù)據(jù)，一是先查詢后插入，二是先設(shè)置唯一索引或者主鍵再直接插入，由于mongodb的特點是插入塊，查詢慢，所以這里直接插入，需要將唯一信息設(shè)置為”_id”列，或者設(shè)置為唯一索引，在mongodb中設(shè)置方法如下
db.集合名.ensureIndex({"要設(shè)置索引的列名":1},{"unique":1})需要用什么信息實現(xiàn)去重，就將什么信息設(shè)置為唯一索引即可（小說章節(jié)信息由于數(shù)據(jù)量比較大，用于查詢的列最好設(shè)置索引，要不然會非常慢），這種方法對于服務(wù)器的壓力太大，而且速度比較慢，我用的是第二種方法，即對已爬取的url進(jìn)行去重
3.對url實現(xiàn)去重
對我而言，這種方法是最好的方法，因為速度快，對網(wǎng)站服務(wù)器的壓力也比較小，不過網(wǎng)上的資料比較少，后來在文檔中發(fā)現(xiàn)scrapy可以自定義下載中間件，才解決了這個問題
文檔原文如下
class scrapy.downloadermiddlewares.DownloaderMiddleware
process_request(request, spider) 當(dāng)每個request通過下載中間件時，該方法被調(diào)用。
process_request() 必須返回其中之一: 返回 None 、返回一個 Response 對象、返回一個 Request對象或raise IgnoreRequest 。
如果其返回 None ，Scrapy將繼續(xù)處理該request，執(zhí)行其他的中間件的相應(yīng)方法，直到合適的下載器處理函數(shù)(downloadhandler)被調(diào)用， 該request被執(zhí)行(其response被下載)。
如果其返回 Response 對象，Scrapy將不會調(diào)用 任何 其他的 process_request() 或process_exception() 方法，或相應(yīng)地下載函數(shù)； 其將返回該response。 已安裝的中間件的process_response() 方法則會在每個response返回時被調(diào)用。
如果其返回 Request 對象，Scrapy則停止調(diào)用process_request方法并重新調(diào)度返回的request。當(dāng)新返回的request被執(zhí)行后，相應(yīng)地中間件鏈將會根據(jù)下載的response被調(diào)用。
如果其raise一個 IgnoreRequest 異常，則安裝的下載中間件的 process_exception()方法會被調(diào)用。如果沒有任何一個方法處理該異常，則request的errback(Request.errback)方法會被調(diào)用。如果沒有代碼處理拋出的異常，則該異常被忽略且不記錄(不同于其他異常那樣)。
所以只需要在process_request中實現(xiàn)去重的邏輯就可以了，代碼如下
class UrlFilter(object):
#初始化過濾器（使用mongodb過濾）
def __init__(self):
self.settings = get_project_settings()
self.client = pymongo.MongoClient(
host = self.settings['MONGO_HOST'],
port = self.settings['MONGO_PORT'])
self.db = self.client[self.settings['MONGO_DB']]
self.bookColl = self.db[self.settings['MONGO_BOOK_COLL']]
#self.chapterColl = self.db[self.settings['MONGO_CHAPTER_COLL']]
self.contentColl = self.db[self.settings['MONGO_CONTENT_COLL']]
def process_request(self,request,spider):
if (self.bookColl.count({"novel_Url":request.url}) > 0) or (self.contentColl.count({"chapter_Url":request.url}) > 0):
return http.Response(url=request.url,body=None)
但是又會有一個問題，就是有可能下次開啟時，種子url已經(jīng)被爬取過了，爬蟲會直接關(guān)閉，后來想到一個笨方法解決了這個問題，即在pipeline.py里的open_spider方法中再爬蟲開啟時刪除對種子url的緩存
def open_spider(self,spider):
self.bookColl.remove({"novel_Url":"http://www.23us.so/xiaoshuo/414.html"})4.結(jié)果
目前一個晚上爬取了大約1000部小說35W個章節(jié)的信息，還在繼續(xù)爬取中
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
關(guān)于Python如何避免循環(huán)導(dǎo)入問題詳解
在大型的Python工程中，由于架構(gòu)設(shè)計不當(dāng)，可能會出現(xiàn)模塊間相互引用的情況。下面這篇文章主要給大家介紹了關(guān)于如何避免Python的循環(huán)導(dǎo)入問題的相關(guān)資料，需要的朋友可以參考借鑒，下面來一起看看吧。2017-09-09
Python制作基礎(chǔ)學(xué)生信息管理系統(tǒng)
本文詳細(xì)講解了Python制作基礎(chǔ)學(xué)生信息管理系統(tǒng)的實現(xiàn)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-12-12
這篇文章主要介紹了如何解決PyTorch程序占用較高CPU問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
大家好，本篇文章主要講的是Python辦公自動化之Excel介紹，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2021-12-12
PyQt5中QAbstractScrollArea的詳細(xì)用法教程
在PyQt5中,QAbstractScrollArea是一個非常重要的類,它提供了滾動區(qū)域的基本框架,允許用戶通過滾動條來查看超出可視區(qū)域的內(nèi)容,本文將結(jié)合具體案例,詳細(xì)講解QAbstractScrollArea的用法,需要的朋友可以參考下2024-08-08
今天小編就為大家分享一篇PyTorch 對應(yīng)點相乘、矩陣相乘實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
python實現(xiàn)一行輸入多個值和一行輸出多個值的例子
今天小編就為大家分享一篇python實現(xiàn)一行輸入多個值和一行輸出多個值的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
這篇文章主要介紹了簡單了解python中的與或非運算,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-09-09
Python的SimpleHTTPServer模塊用處及使用方法簡介
這篇文章主要介紹了Python的SimpleHTTPServer模塊用處及使用方法簡介，小編覺得還是挺不錯的，具有一定借鑒價值，需要的朋友可以參考下2018-01-01
這篇文章主要為大家詳細(xì)介紹了python刪除本地夾里重復(fù)文件的方法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-05-05