由于畢業(yè)設計的要求，需要在網站上抓取大量的數據，那么使用Scrapy框架可以讓這一過程變得簡單不少，畢竟Scrapy是一個為了爬去網站數據、提取結構性數據而編寫的應用框架。于是，便開始了我的安裝Scrapy框架之旅?？梢哉f這個過程并不是很愉快，各種錯誤各種出，不過到最后，終于安裝上了Scrapy框架。下面總結一下我的Scrapy框架的安裝。

1.安裝python2.7

由于Scrapy不支持Python3.0，于是我卸載了Python3.0，又重新安裝了Python2.7(python2.7安裝包),在安裝Python2.7的時候，會有一個自動設置環(huán)境變量的選項，建議在這里將選項選上，省下后期自己添加環(huán)境變量。我們后期自己添加環(huán)境變量，就是根據自己實際安裝的路徑，在系統(tǒng)的環(huán)境變量path中添加這兩條語句就可以。

在配置完環(huán)境之后，我們測試一下我們是否安裝配置環(huán)境成功。只要在cmd中輸入 python –version ，然后能夠顯示正確的python版本就可以了。如果未能顯示，則重啟一下cmd試試。

2.安裝pywin32

在安裝配置好python2.7之后，我們還不能直接安裝Scrapy，我們首先需要安裝Scrapy依賴的幾個工具。接下來安裝pywin32（pywin32安裝包），這個軟件安裝的時候一直next就可以了。

3.安裝pip

pip實際上一款比較方便的在線軟件安裝工具，類似于easy install,我們現(xiàn)在安裝pip，在之后的軟件安裝的時候我們就可以使用 pip install 命令了。首先我們要下載get-pip.py(get-pip.py文件) ，下載完成之后，我們在cmd下進行安裝，首先切換到文件所在目錄，然后輸入python get-pip.py語句，便可以進行安裝了，但是最頭疼的問題出現(xiàn)了，由于該文件會將一些配置文件自動寫入到我們的C盤用戶文件目錄下，而我的用戶目錄是中文名，就會產生編碼異常。

在查找一番資料之后，終于將問題解決了，為了解決中文路徑的問題，我們只需要在 D:\python27\Lib\site-packages的目錄下新建一個名為
sitecustomize.py的文件即可。

然后在文件內輸入以下代碼：

import sys
reload(sys)
sys.setdefaultencoding('gbk')

當然不一定一定要設置為gbk編碼，這個根據自己的電腦的編碼來設置。這樣我們的中文路徑問題就算解決了，我們在重啟cmd，在執(zhí)行安裝pip語句之后，pip便順利完成了。安裝完成之后，我們可以進行一下檢驗，在cmd中輸入pip –version,如果顯示正確的版本號則說明正確。

4.安裝lxml

在安裝完成pip之后，本想可以輕松的使用pip install lxml命令來進行安裝，但是意外發(fā)生了，由于使用pip需要vc2008的環(huán)境，而且只能是2008的，2013的都不行。沒辦法為了使用這款工具，只能在去求教度娘，終于找到了解決辦法，原來微軟給我們提供了VcForPython（VCForPython安裝包），這樣我們就不用安裝VC2008了，這樣之后，我們便可以使用 pip install lxml進行安裝了。

5.安裝pyOpenSSL

在安裝這個工具的時候我們便可以使用 pip install pyOpenSSL 語句來進行安裝了，安裝的速度取決于網速了。

6.安裝Scrapy

終于經歷一波坎坷之后，我們終于可以安裝Scrapy框架了，在cmd中輸入 pip install Scrapy命令之后，我們就可以等著享受成功的喜悅了。在安裝完成之后，我們在cmd中輸入Scrapy來檢測一下，是否真正的安裝成功。

終于安裝好了，還是有點成就感的。

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

最新評論