詳解python3 + Scrapy爬蟲學習之創(chuàng)建項目
最近準備做一個關(guān)于scrapy框架的實戰(zhàn)，爬取騰訊社招信息并存儲，這篇博客記錄一下創(chuàng)建項目的步驟
pycharm是無法創(chuàng)建一個scrapy項目的
因此，我們需要用命令行的方法新建一個scrapy項目
請確保已經(jīng)安裝了scrapy，twisted，pypiwin32
一：進入你所需要的路徑，這個路徑存儲你創(chuàng)建的項目
我的將放在E盤的Scrapy目錄下
二：創(chuàng)建項目：scrapy startproject ***(這個是項目名)
這樣就創(chuàng)建好了一個名為tencent的項目
三：進入項目新建一個爬蟲：scrapy genspider tencent_spider hr.tencent.com
這里我們要注意，上面的命令，加黑的是爬蟲名稱，斜體是域名
這樣，我們就新建了一個爬蟲項目，打開文件夾查看
打開spiders
然后我們用pycharm打開
點擊File —>open，找到項目所在文件夾，打開即可
這樣，我們就新建了一個scrapy項目，如果安裝了所需要的庫，scrapy飄紅，記得去切換解釋器
在File—>settings的標紅的地方
另外推薦大家，在根目錄下新建一個start.py的文件并寫入
from scrapy import cmdline
cmdline.execute("scrapy crawl tencent_spider".split())
這樣，我們每次運行，運行start.py，即可，不用到命令行執(zhí)行運行命令
鼠標右鍵tencent，新建python文件，即可創(chuàng)建。
以上所述是小編給大家介紹的python3 Scrapy爬蟲創(chuàng)建項目詳解整合，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
相關(guān)文章
這篇文章主要介紹了Python多版本安裝與Jupyter Lab使用方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-01-01
這篇文章主要介紹了python多進程間通信代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了Python中對字典的幾個處理方法分享，文章圍繞主題展開詳細的內(nèi)容介紹，具有一定的參考價值，感興趣的小伙伴可以參考一下2022-08-08
Tensorflow 自帶可視化Tensorboard使用方法(附項目代碼)
這篇文章主要介紹了Tensorflow 自帶可視化Tensorboard使用方法(附項目代碼)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-02-02
python Pandas中數(shù)據(jù)的合并與分組聚合
大家好，本篇文章主要講的是python Pandas中數(shù)據(jù)的合并與分組聚合，感興趣的同學趕快來看一看吧，對你有幫助的話記得收藏一下2022-01-01
這篇文章主要介紹了Python函數(shù)裝飾器,結(jié)合實例形式詳細分析了Python裝飾器的原理、功能、分類、常見操作技巧與使用注意事項,需要的朋友可以參考下2021-10-10
Python十類常見異常類型總結(jié)(附捕獲及異常處理方式)
在編寫程序時難免會遇到錯誤,有的是編寫人員疏忽造成的語法錯誤,有的是程序內(nèi)部隱含邏輯問題造成的數(shù)據(jù)錯誤等等,這篇文章主要給大家介紹了關(guān)于Python十類常見異常類型總結(jié)的相關(guān)資料,文中還附捕獲及異常處理方式,需要的朋友可以參考下2023-06-06
今天小編就為大家分享一篇在python 中split()使用多符號分割的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
Django drf使用Django自帶的用戶系統(tǒng)的注冊功能
本文主要介紹了Django drf使用Django自帶的用戶系統(tǒng)的注冊功能，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-02-02
這篇文章主要介紹了Python圖像灰度變換及圖像數(shù)組操作的相關(guān)資料,需要的朋友可以參考下2016-01-01