Python中Pyspider爬蟲框架的基本使用詳解
1.pyspider介紹
一個國人編寫的強(qiáng)大的網(wǎng)絡(luò)爬蟲系統(tǒng)并帶有強(qiáng)大的WebUI。采用Python語言編寫，分布式架構(gòu)，支持多種數(shù)據(jù)庫后端，強(qiáng)大的WebUI支持腳本編輯器，任務(wù)監(jiān)視器，項(xiàng)目管理器以及結(jié)果查看器。
- 用Python編寫腳本
- 功能強(qiáng)大的WebUI，包含腳本編輯器，任務(wù)監(jiān)視器，項(xiàng)目管理器和結(jié)果查看器
- MySQL，MongoDB，Redis，SQLite，Elasticsearch ; PostgreSQL與SQLAlchemy作為數(shù)據(jù)庫后端
- RabbitMQ，Beanstalk，Redis和Kombu作為消息隊(duì)列
- 任務(wù)優(yōu)先級，重試，定期，按年齡重新抓取等...
- 分布式架構(gòu)，抓取JavaScript頁面，Python 2和3等...
2.pyspider文檔
1>中文文檔:http://www.pyspider.cn/
2>英文文檔:http://docs.pyspider.org/
3.pyspider安裝
打開cmd命令行工具,執(zhí)行命令
pip install pyspider
出現(xiàn)下圖則安裝成功
4.pyspider啟動服務(wù),進(jìn)入WebUI界面
安裝pyspider后,打開cmd命令工具,執(zhí)行命令來啟動服務(wù)器
pyspider
出現(xiàn)下圖則啟動服務(wù)成功,默認(rèn)地址端口為127.0.0.1:5000
輸入地址127.0.0.1:5000,打開WebUI界面
隊(duì)列統(tǒng)計(jì)是為了方便查看爬蟲狀態(tài)，優(yōu)化爬蟲爬取速度新增的狀態(tài)統(tǒng)計(jì)．每個組件之間的數(shù)字就是對應(yīng)不同隊(duì)列的排隊(duì)數(shù)量．通常來是０或是個位數(shù)．如果達(dá)到了幾十甚至一百說明下游組件出現(xiàn)了瓶頸或錯誤，需要分析處理．
新建項(xiàng)目：pyspider與scrapy最大的區(qū)別就在這，pyspider新建項(xiàng)目調(diào)試項(xiàng)目完全在web下進(jìn)行，而scrapy是在命令行下開發(fā)并運(yùn)行測試．
組名：項(xiàng)目新建后一般來說是不能修改項(xiàng)目名的，如果需要特殊標(biāo)記可修改組名．直接在組名上點(diǎn)鼠標(biāo)左鍵進(jìn)行修改．注意：組名改為delete后如果狀態(tài)為stop狀態(tài)，24小時后項(xiàng)目會被系統(tǒng)刪除．
運(yùn)行狀態(tài)：這一欄顯示的是當(dāng)前項(xiàng)目的運(yùn)行狀態(tài)．每個項(xiàng)目的運(yùn)行狀態(tài)都是單獨(dú)設(shè)置的．直接在每個項(xiàng)目的運(yùn)行狀態(tài)上點(diǎn)鼠標(biāo)左鍵進(jìn)行修改．運(yùn)行分為五個狀態(tài)：TODO，STOP，CHECKING，DEBUG，RUNNING．各狀態(tài)說明：TODO是新建項(xiàng)目后的默認(rèn)狀態(tài)，不會運(yùn)行項(xiàng)目．STOP狀態(tài)是停止?fàn)顟B(tài)，也不會運(yùn)行．CHECHING是修改項(xiàng)目代碼后自動變的狀態(tài)．DEBUG是調(diào)試模式，遇到錯誤信息會停止繼續(xù)運(yùn)行，RUNNING是運(yùn)行狀態(tài)，遇到錯誤會自動嘗試，如果還是錯誤會跳過錯誤的任務(wù)繼續(xù)運(yùn)行．
速度控制：很多朋友安裝好用說爬的慢，多數(shù)情況是速度被限制了．這個功能就是速度設(shè)置項(xiàng)．rate是每秒爬取頁面數(shù)，burst是并發(fā)數(shù)．如1/3是三個并發(fā)，每秒爬取一個頁面．
簡單統(tǒng)計(jì)：這個功能只是簡單的做的運(yùn)行狀態(tài)統(tǒng)計(jì)，5m是五分鐘內(nèi)任務(wù)執(zhí)行情況，1h是一小時內(nèi)運(yùn)行任務(wù)統(tǒng)計(jì)，1d是一天內(nèi)運(yùn)行統(tǒng)計(jì)，all是所有的任務(wù)統(tǒng)計(jì)．
運(yùn)行：run按鈕是項(xiàng)目初次運(yùn)行需要點(diǎn)的按鈕，這個功能會運(yùn)行項(xiàng)目的on_start方法來生成入口任務(wù)．
任務(wù)列表：顯示最新任務(wù)列表，方便查看狀態(tài)，查看錯誤等
結(jié)果查看：查看項(xiàng)目爬取的結(jié)果．
5.創(chuàng)建pyspider項(xiàng)目
點(diǎn)擊上圖中的新建項(xiàng)目按鈕
6.創(chuàng)建后的pyspider項(xiàng)目
到此這篇關(guān)于Python中Pyspider爬蟲框架的基本使用詳解的文章就介紹到這了,更多相關(guān)Pyspider爬蟲框架使用內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了如何基于pythonnet調(diào)用halcon腳本,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-01-01
4種非常實(shí)用的python內(nèi)置數(shù)據(jù)結(jié)構(gòu)
這篇文章主要介紹了4種非常實(shí)用的python內(nèi)置數(shù)據(jù)結(jié)構(gòu)，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-04-04
這篇文章主要介紹了Python中Pyspider爬蟲框架的基本使用詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
沒想到python是如此強(qiáng)大，令人著迷，以前看見圖片總是一張一張復(fù)制粘貼，現(xiàn)在好了，學(xué)會python就可以用程序?qū)⒁粡垙垐D片，保存下來。今天網(wǎng)上沖浪看到很多美圖，可是圖片有點(diǎn)多，不想一張一張地復(fù)制粘貼，怎么辦呢？辦法總是有的，即便沒有我們也可以創(chuàng)造一個辦法2021-11-11
這篇文章主要介紹了python--pip--安裝超時的解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
Python 實(shí)現(xiàn)國產(chǎn)SM3加密算法的示例代碼
這篇文章主要介紹了Python 實(shí)現(xiàn)國產(chǎn)SM3加密算法的示例代碼，幫助大家更好的理解和學(xué)習(xí)密碼學(xué)，感興趣的朋友可以了解下2020-09-09
這篇文章主要介紹了Python可視化神器pyecharts繪制儀表盤，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價值，需要的朋友可以參考一下2022-07-07
python中的break、continue、exit()、pass全面解析
下面小編就為大家?guī)硪黄猵ython中的break、continue、exit()、pass全面解析。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-08-08
python實(shí)現(xiàn)數(shù)據(jù)圖表
plotly是現(xiàn)代平臺的敏捷商業(yè)智能和數(shù)據(jù)科學(xué)庫，它作為一款開源的繪圖庫，可以應(yīng)用于Python、R、MATLAB、Excel、JavaScript和jupyter等多種語言，主要使用的js進(jìn)行圖形繪制，實(shí)現(xiàn)過程中主要就是調(diào)用plotly的函數(shù)接口，底層實(shí)現(xiàn)完全被隱藏，便于初學(xué)者的掌握。2017-07-07
PySide 是一個python綁定的跨平臺GUI Qt庫。目前，支持Python的Qt庫有兩個PyQt和PySide。下面寫一個簡單的hello程序?qū)W習(xí)他的使用方法2014-01-01