Pycharm安裝scrapy及初始化爬蟲項(xiàng)目的完整步驟
一）安裝scrapy：
1、打開(kāi)cmd命令窗口，輸入：pip install Scrapy。
2、安裝成功之后會(huì)顯示下面字符，表示未將scrapy設(shè)置到環(huán)境變量。
3、配置環(huán)境變量：右鍵我的電腦-->屬性-->高級(jí)設(shè)置--->環(huán)境變量---->系統(tǒng)變量中的Path--->編輯--->添加--->將上文中黃色的路徑添加到環(huán)境變量即可。
4、scrapy安裝完畢。
二）創(chuàng)建一個(gè)scrapy爬蟲項(xiàng)目：
1、創(chuàng)建一個(gè)普通的Pycharm項(xiàng)目，然后找到下面的terminal
2、輸入命令scrapy startproject 模塊名稱(可以自己隨便起，我以名為mine為例)，成功之后你會(huì)發(fā)現(xiàn)自己的項(xiàng)目中多了一個(gè)mine的包文件。
3、上述操作成功后終端會(huì)顯示下圖文字：此時(shí)我們輸入cd那條命令。進(jìn)入目標(biāo)文件。
4、這時(shí)就可以創(chuàng)建爬蟲目標(biāo)文件啦，
輸入scrapy genspider 爬取名 網(wǎng)站域名
1、爬取名是自己隨便起的，比如我要爬百度那么我就可以起名為baidu
2、網(wǎng)站域名就是去掉 https:www. 剩下的部分，以博客園的為例：
網(wǎng)址為：https://www.cnblogs.com/
域名為 cnblogs.com
2和3操作截圖：
5、此時(shí)我們會(huì)在目錄里看見(jiàn)一個(gè)新的py文件：里自動(dòng)生成如下代碼：
三）開(kāi)啟pycharm對(duì)scrapy框架的調(diào)試功能：
由于pycharm沒(méi)有創(chuàng)建scrapy框架的模塊，所以我們想調(diào)試scrapy程序時(shí)要自己寫一個(gè)小腳本來(lái)開(kāi)啟pycharm對(duì)scrapy的調(diào)試功能。
1、在與mine包同級(jí)條件下創(chuàng)建一個(gè)main.py文件：
2、mine文件將一下代碼賦值進(jìn)去：
import os import sys from scrapy.cmdline import execute sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(["scrapy", "crawl", "cnblog"]) # 第三個(gè)參數(shù)為自己創(chuàng)建的那個(gè)爬取的名稱
這樣就大功告成啦！
總結(jié)
到此這篇關(guān)于Pycharm安裝scrapy及初始化爬蟲項(xiàng)目的文章就介紹到這了,更多相關(guān)Pycharm安裝scrapy初始化爬蟲項(xiàng)目?jī)?nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
pycharm恢復(fù)默認(rèn)設(shè)置或者是替換pycharm的解釋器實(shí)例
今天小編就為大家分享一篇pycharm恢復(fù)默認(rèn)設(shè)置或者是替換pycharm的解釋器實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-10-10
python包裝和授權(quán)學(xué)習(xí)教程
包裝是指對(duì)一個(gè)已經(jīng)存在的對(duì)象進(jìn)行系定義加工,實(shí)現(xiàn)授權(quán)是包裝的一個(gè)特性,下面這篇文章主要給大家介紹了關(guān)于python包裝和授權(quán)的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-06-06
Python matplotlib圖例放在外側(cè)保存時(shí)顯示不完整問(wèn)題解決
這篇文章主要介紹了Python matplotlib圖例放在外側(cè)保存時(shí)顯示不完整問(wèn)題解決，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07
Python利用numpy實(shí)現(xiàn)三層神經(jīng)網(wǎng)絡(luò)的示例代碼
這篇文章主要介紹了Python利用numpy實(shí)現(xiàn)三層神經(jīng)網(wǎng)絡(luò)的示例代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
這篇文章主要介紹了python tkinter組件擺放方式詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
python實(shí)現(xiàn)學(xué)員管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)學(xué)員管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-02-02
python 插入日期數(shù)據(jù)到Oracle實(shí)例
這篇文章主要介紹了python 插入日期數(shù)據(jù)到Oracle實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03
python DES加密與解密及hex輸出和bs64格式輸出的實(shí)現(xiàn)代碼
這篇文章主要介紹了python DES加密與解密及hex輸出和bs64格式輸出的實(shí)現(xiàn)代碼，代碼簡(jiǎn)單易懂，非常不錯(cuò)對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-04-04
python實(shí)現(xiàn)pdf轉(zhuǎn)word和excel的示例代碼
本文主要介紹了python實(shí)現(xiàn)pdf轉(zhuǎn)word和excel的示例代碼,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2025-01-01
python socket網(wǎng)絡(luò)編程步驟詳解(socket套接字使用)
這篇文章主要介紹了什么是套接字、PYTHON套接字模塊，提供一個(gè)簡(jiǎn)單的python socket編程，大家參考使用2013-12-12