零基礎寫python爬蟲之爬蟲框架Scrapy安裝配置
前面十章爬蟲筆記陸陸續(xù)續(xù)記錄了一些簡單的Python爬蟲知識，
用來解決簡單的貼吧下載，績點運算自然不在話下。
不過要想批量下載大量的內容，比如知乎的所有的問答，那便顯得游刃不有余了點。
于是乎，爬蟲框架Scrapy就這樣出場了！
Scrapy = Scrach+Python，Scrach這個單詞是抓取的意思，
Scrapy的官網(wǎng)地址：點我點我。
那么下面來簡單的演示一下Scrapy的安裝流程。
具體流程參照：http://m.fzitv.net/article/48607.htm
友情提醒：一定要按照Python的版本下載，要不然安裝的時候會提醒找不到Python。建議大家安裝32位是因為有些版本的必備軟件64位不好找。
1.安裝Python（建議32位）
建議安裝Python2.7.x，3.x貌似還不支持。
安裝完了記得配置環(huán)境，將python目錄和python目錄下的Scripts目錄添加到系統(tǒng)環(huán)境變量的Path里。
在cmd中輸入python如果出現(xiàn)版本信息說明配置完畢。
2.安裝lxml
lxml是一種使用 Python 編寫的庫，可以迅速、靈活地處理 XML。點擊這里選擇對應的Python版本安裝。
3.安裝setuptools
用來安裝egg文件，點擊這里下載python2.7的對應版本的setuptools。
4.安裝zope.interface
可以使用第三步下載的setuptools來安裝egg文件，現(xiàn)在也有exe版本，點擊這里下載。
5.安裝Twisted
Twisted是用Python實現(xiàn)的基于事件驅動的網(wǎng)絡引擎框架，點擊這里下載。
6.安裝pyOpenSSL
pyOpenSSL是Python的OpenSSL接口，點擊這里下載。
7.安裝win32py
提供win32api，點擊這里下載
8.安裝Scrapy
終于到了激動人心的時候了！安裝了那么多小部件之后終于輪到主角登場。
直接在cmd中輸入easy_install scrapy回車即可。
9.檢查安裝
打開一個cmd窗口，在任意位置執(zhí)行scrapy命令，得到下列頁面，表示環(huán)境配置成功。
相關文章
Scrapy項目實戰(zhàn)之爬取某社區(qū)用戶詳情
這篇文章主要介紹了Scrapy項目實戰(zhàn)之爬取某社區(qū)用戶詳情，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-09-09
Pandas是Python中用于數(shù)據(jù)分析和處理的強大庫,它提供了豐富的功能,可以輕松地處理各種類型的數(shù)據(jù),在實際應用中,我們經(jīng)常需要對數(shù)據(jù)進行復雜的轉換、計算或聚合操作,而這些操作往往不能僅靠Pandas內置的函數(shù)完成,這時,自定義函數(shù)就顯得尤為重要2025-01-01
我們知道,python腳本或者說python程序其實是一個包含了python代碼的文件,通過運行python代碼,我們可以驗證腳本/程序是否按照我們的期望執(zhí)行,在python中,有多種方式來運行腳本或程序,取決于小伙伴們的需求,接下來小編將介紹幾種常見的 python 代碼運行方式2023-10-10
這篇文章主要為大家詳細介紹了Python實現(xiàn)簡單猜拳游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-01-01
這篇文章主要介紹了python lxml中etree的簡單應用，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-05-05
Python位置參數(shù)與關鍵字參數(shù)的區(qū)別
文主要介紹了Python函數(shù)參數(shù)的兩種基本類型：位置參數(shù)和關鍵字參數(shù),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2025-01-01
Python實現(xiàn)批量讀取HDF多波段柵格數(shù)據(jù)并繪制像元直方圖
這篇文章主要為大家詳細介紹了如何基于Python語言gdal模塊，實現(xiàn)多波段HDF柵格圖像文件的讀取、處理與像元值可視化（直方圖繪制）等操作，需要的可以參考一下2023-03-03
python使用docx模塊讀寫docx文件的方法與docx模塊常用方法詳解
這篇文章主要介紹了python使用docx模塊讀寫docx文件的方法與docx模塊常用方法詳解,需要的朋友可以參考下2020-02-02
Python?Httpx庫實現(xiàn)超跑式網(wǎng)絡請求用法實例
這篇文章主要為大家介紹了Python?Httpx庫實現(xiàn)超跑式網(wǎng)絡請求用法實例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-01-01
這篇文章主要介紹了python通過文件頭判斷文件類型，需要的朋友可以參考下2015-10-10