pycharm下打開、執(zhí)行并調(diào)試scrapy爬蟲程序的方法
首先得有一個(gè)Scrapy項(xiàng)目，我在Desktop上新建一個(gè)Scrapy的項(xiàng)目叫test，在Desktop目錄打開命令行，鍵入命令：scrapy startproject test1
目錄結(jié)構(gòu)如下：
打開Pycharm，選擇open
選擇項(xiàng)目，ok
打開如下界面之后，按alt + 1， 打開project 面板
在test1/spiders/，文件夾下，新建一個(gè)爬蟲spider.py， 注意代碼中的name="dmoz"。這個(gè)名字后面會(huì)用到。
在test1目錄和scrapy.cfg同級(jí)目錄下面，新建一個(gè)begin.py文件（便于理解可以寫成main.py），注意箭頭2所指的名字和第5步中的name='dmoz'名字是一樣的。
from scrapy import cmdline
cmdline.execute("scrapy crawl dmoz".split())
7. 上面把文件搞定了，下面要配置一下pycharm了。點(diǎn)擊Run->Edit Configurations
8. 新建一個(gè)運(yùn)行的python模塊
9. Name：改成spider； script：選擇剛才新建的那個(gè)begin.py文件；Working Direciton：改成自己的工作目錄
10. 至此，大功告成了，點(diǎn)擊下圖，右上角的按鈕就能運(yùn)行了。
調(diào)試
可以在其他代碼中設(shè)置斷點(diǎn)，就可以debug運(yùn)行
遇到問題
1. Unknown command: crawl
調(diào)試運(yùn)行，斷點(diǎn)并未命中，控制臺(tái)輸出信息如下：
H:\Python\Python36\python.exe "H:\Program Files (x86)\JetBrains\PyCharm Community Edition 4.5.4\helpers\pydev\pydevd.py" --multiproc --client 127.0.0.1 --port 59810 --file H:/Python/Python36/Lib/site-packages/scrapy/cmdline.py crawl quotes -o quotes.jl pydev debugger: process 4740 is connecting Connected to pydev debugger (build 141.3058) Scrapy 1.3.2 - no active project Unknown command: crawl Use "scrapy" to see available commands Process finished with exit code 2
工作目錄設(shè)置有誤，造成無法識(shí)別 scrapy 命令，按照上文所說，將工作目錄設(shè)置為包含 scrapy.cfg，重新運(yùn)行，問題解決。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python面向?qū)ο笾惡蛯?duì)象屬性的增刪改查操作示例
這篇文章主要介紹了Python面向?qū)ο笾惡蛯?duì)象屬性的增刪改查操作,結(jié)合實(shí)例形式分析了Python面向?qū)ο笙嚓P(guān)的類與對(duì)象屬性常見操作技巧,需要的朋友可以參考下2018-12-12
Python使用OpenCV和K-Means聚類對(duì)畢業(yè)照進(jìn)行圖像分割
圖像分割是將圖像分割成多個(gè)不同區(qū)域（或片段）的過程。目標(biāo)是將圖像的表示變成更容易和更有意義的圖像。在這篇博客中，我們?cè)敿?xì)的介紹了使用方法，感興趣的可以了解一下2021-06-06
Django models.py應(yīng)用實(shí)現(xiàn)過程詳解
這篇文章主要介紹了Django models.py應(yīng)用實(shí)現(xiàn)過程詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了python+Django+apache的配置方法,詳細(xì)分析了python+Django+apache的安裝與配置步驟,并分析了相關(guān)注意事項(xiàng),具有一定參考借鑒價(jià)值,需要的朋友可以參考下2016-06-06
這篇文章主要介紹了Python中的sorted函數(shù)使用解析,sorted()函數(shù)可以對(duì)可迭代對(duì)象進(jìn)行排序,并且可以人為指定排序的依據(jù)以及方式,本文提供了解決與部分實(shí)現(xiàn)代碼,需要的朋友可以參考下2023-10-10
pandas創(chuàng)建新Dataframe并添加多行的實(shí)例
下面小編就為大家分享一篇pandas創(chuàng)建新Dataframe并添加多行的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-04-04
今天小編就為大家分享一篇Python3分析處理聲音數(shù)據(jù)的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08
Python3開發(fā)實(shí)例之非關(guān)系型圖數(shù)據(jù)庫Neo4j安裝方法及Python3連接操作Neo4j方法實(shí)例
這篇文章主要介紹了Python3開發(fā)實(shí)例之非關(guān)系型圖數(shù)據(jù)庫Neo4j安裝方法及Python3連接操作Neo4j方法實(shí)例,需要的朋友可以參考下2020-03-03
Python使用matplotlib實(shí)現(xiàn)的圖像讀取、切割裁剪功能示例
這篇文章主要介紹了Python使用matplotlib實(shí)現(xiàn)的圖像讀取、切割裁剪功能,結(jié)合實(shí)例形式分析了Python基于matplotlib操作圖片的加載、讀取、坐標(biāo)控制及裁剪相關(guān)操作技巧,需要的朋友可以參考下2018-04-04
在腳本中,可以創(chuàng)建一個(gè)隊(duì)列來存儲(chǔ)子進(jìn)程的輸出,然后由主進(jìn)程從隊(duì)列中讀取輸出并進(jìn)行處理,這篇文章主要介紹了Python 腳本死鎖問題與解決方案,需要的朋友可以參考下2024-06-06