Pycharm+Scrapy安裝并且初始化項(xiàng)目的方法
前言
Scrapy是一個(gè)開源的網(wǎng)絡(luò)爬蟲框架，Python編寫的。最初設(shè)計(jì)用于網(wǎng)頁抓取，也可以用來提取數(shù)據(jù)使用API或作為一個(gè)通用的網(wǎng)絡(luò)爬蟲。是數(shù)據(jù)采集不可必備的利器。
安裝
pip install scrapy
如果使用上面的命令太慢。國內(nèi)可以使用豆瓣源進(jìn)行加速。
pip install -i https://pypi.douban.com/simple scrapy
注意要寫錯(cuò)了，是 https://pypi.douban.com/simple 很多包都可以使用這個(gè)源進(jìn)行加速，這也是pip的一個(gè)技巧，還可以使用阿里云進(jìn)行加速。
安裝完成之后在命令行輸入
scrapy -v
如果出現(xiàn)了相應(yīng)的版本號就說明安裝成功。
創(chuàng)建項(xiàng)目
目前還沒有IDE 能夠創(chuàng)建scrapy的項(xiàng)目，我們必須手動初始化項(xiàng)目。
1、找一個(gè)目錄
輸入命令
scrapy startproject SpiderObject
命令行出現(xiàn)這樣的結(jié)果說明創(chuàng)建成果
You can start your first spider with: cd SpiderObject scrapy genspider example example.com
去文件夾中看看
初始化項(xiàng)目
使用pycharm打開該項(xiàng)目
如果出現(xiàn)這個(gè)頁面就說明對了。
下面生成一個(gè)模板
打開pycharm的terminal
輸入
scrapy genspider BiduSpider http://www.baidu.com
我們的spider 包下面會多一個(gè)文件
這說明我們的spider創(chuàng)建成功。可以在pytharm中使用這個(gè) 強(qiáng)大的框架了。
以上這篇Pycharm+Scrapy安裝并且初始化項(xiàng)目的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python使用py2neo創(chuàng)建neo4j的節(jié)點(diǎn)和關(guān)系
這篇文章主要介紹了python使用py2neo創(chuàng)建neo4j的節(jié)點(diǎn)和關(guān)系，第一步使用py2neo連接neo4j的方法然后根據(jù)dict創(chuàng)建Node，更多相關(guān)資料需要的朋友參考下面文章內(nèi)容2022-02-02
Django 實(shí)現(xiàn) Websocket 廣播、點(diǎn)對點(diǎn)發(fā)送消息的代碼
這篇文章主要介紹了Django 實(shí)現(xiàn) Websocket 廣播、點(diǎn)對點(diǎn)發(fā)送消息,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-06-06
Python+selenium實(shí)現(xiàn)瀏覽器基本操作詳解
這篇文章主要為大家詳細(xì)介紹了如何通過python腳本實(shí)現(xiàn)瀏覽器的一些基本操作，如：瀏覽器的前進(jìn)后退、頁面刷新等，感興趣的可以學(xué)習(xí)一下2022-06-06
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)詩歌游戲，根據(jù)上句猜下句、猜作者、猜朝代、猜詩名，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-02-02
Python實(shí)現(xiàn)統(tǒng)計(jì)文本中的字符數(shù)量
這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)統(tǒng)計(jì)文本中的字符數(shù)量，包括中/英文字符、數(shù)字、特殊字符等，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-05-05
這篇文章主要介紹了python文本處理的方案(結(jié)巴分詞并去除符號)，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-05-05
PyCharm利用pydevd-pycharm實(shí)現(xiàn)Python遠(yuǎn)程調(diào)試的詳細(xì)過程
這篇文章主要介紹了PyCharm利用pydevd-pycharm實(shí)現(xiàn)Python遠(yuǎn)程調(diào)試,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-09-09
aws 通過boto3 python腳本打pach的實(shí)現(xiàn)方法
這篇文章主要介紹了aws 通過boto3 python腳本打pach的實(shí)現(xiàn)方法，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-05-05
bat和python批量重命名文件的實(shí)現(xiàn)代碼
這篇文章主要介紹了bat和python批量重命名文件的實(shí)現(xiàn)代碼,需要的朋友可以參考下2016-05-05
本文詳細(xì)講解了Python中requests庫的用法，文中通過示例代碼介紹的非常詳細(xì)。對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-06-06