scrapy爬蟲(chóng)框架介紹

scrapy不是一個(gè)簡(jiǎn)單的函數(shù)功能庫(kù)，而是一個(gè)爬蟲(chóng)框架

爬蟲(chóng)框架：

• 爬蟲(chóng)框架是實(shí)現(xiàn)爬蟲(chóng)功能的一個(gè)軟件結(jié)構(gòu)和功能組件的集合。
• 爬蟲(chóng)框架是一個(gè)半成品，能夠幫助用戶(hù)實(shí)現(xiàn)專(zhuān)業(yè)網(wǎng)絡(luò)爬蟲(chóng)。

scrapy爬蟲(chóng)框架結(jié)構(gòu)

“5+2”結(jié)構(gòu)：

• ENGINE ：已有的，核心，控制所有模塊之間的數(shù)據(jù)流，根據(jù)條件觸發(fā)事件
• SCHEDULER：已有的，對(duì)所有的爬蟲(chóng)請(qǐng)求進(jìn)行調(diào)度管理
• ITEM PIPELINES ：框架出口，用戶(hù)編寫(xiě)，以流水線(xiàn)方式處理Spider產(chǎn)生的爬取項(xiàng)，由一組操作順序組成，類(lèi)似流水線(xiàn)，每個(gè)操作是一個(gè)item pipline類(lèi)型，可能操作包括：清理，檢驗(yàn)和查重爬取項(xiàng)中的HTML數(shù)據(jù)，將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)
• SPIDERS ：框架入口，用戶(hù)編寫(xiě)，解析downloader返回的響應(yīng)，產(chǎn)生爬取項(xiàng)，以及額外的爬取請(qǐng)求
• DOWNLOADER ：已有的，根據(jù)請(qǐng)求下載網(wǎng)頁(yè)
• 2個(gè)MIDDLEWARE：Download Middleware：實(shí)施Engine，Scheduler和Downloader之間用戶(hù)可配置的控制，即用戶(hù)可以修改、丟棄、新增請(qǐng)求或響應(yīng)。Spider Middleware，對(duì)spider的請(qǐng)求和爬取項(xiàng)的再處理。修改、丟棄、新增請(qǐng)求或爬取項(xiàng)。

requests庫(kù)和scrapy庫(kù)比較

相同點(diǎn)：兩者都可以進(jìn)行頁(yè)面請(qǐng)求和爬取，Python爬蟲(chóng)的兩個(gè)重要技術(shù)路線(xiàn)。 兩者可用性好，文檔豐富，入門(mén)簡(jiǎn)單。 兩者都沒(méi)有處理js、提交表單、應(yīng)對(duì)驗(yàn)證碼等功能（可擴(kuò)展）

不同點(diǎn)：

scrapy的常用命令

到此這篇關(guān)于關(guān)于Python網(wǎng)絡(luò)爬蟲(chóng)框架scrapy的文章就介紹到這了,更多相關(guān)Python爬蟲(chóng)框架scrapy內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論