安裝scrapy框架并測試全過程
更新時間：2025年11月21日 16:22:20 作者：Memory`星
本文介紹了如何安裝和測試Scrapy框架,并分享了創(chuàng)建爬蟲項目的過程,包括在PyCharm中創(chuàng)建工程、編寫爬蟲主文件以及在settings.py中進行配置,通過運行爬蟲文件,驗證了安裝和配置的正確性
安裝scrapy框架并測試
這是個系列文章，主要是能讓大家快速的的做出一個小項目，主要是我現(xiàn)在在做計算機設計大賽，想把做過的東西記錄下來，后續(xù)我會將整個計設的項目的制作過程寫出來分享給大家。其中包括Django、mysql數(shù)據(jù)庫、前端等。
這些文章主要是記錄具體操作過程，具體的知識內容還請去刷視頻，這里不做過多解釋。
安裝scrapy框架
在終端里先后運行這個語句即可安裝
pip install wheel pip install scrapy
在終端里輸入scrapy即可驗證是否安裝成功，以下是沒有安裝前的情況。
以下是安裝過后驗證的情況
這樣就說明安裝成功了。
我們需要在pycharm終端里創(chuàng)建一個工程
代碼如下：
scrapy startproject comment（comment為你的工程名稱）
創(chuàng)建成功如下
（這里注意，有些同學創(chuàng)建不成功報錯的，需要在pycharm終端里再次執(zhí)行pip install scrapy）
緊接著執(zhí)行下面提示的兩段代碼來創(chuàng)建我們的爬蟲主文件
cd comment
注意這里的example.com我們需要換成自己的起始url （這里隨便設一個就好，這個不影響我們的任務）
scrapy genspider news（這里的news為爬蟲文件名稱）www.xxx.com
然后配置成如下的形式
注意這里的allowed_domains可以注釋掉，對我們的任務沒有太大的影響。start_urls里的url換成我們需要請求的網(wǎng)址。（這里我就用騰訊新聞的主頁來測試了）
在此之前我們需要在settings.py文件里完成如下配置：
然后在終端輸入以下代碼來運行爬蟲文件：
scrapy crawl news
運行成功！
這樣測試就完成了，可以進行后續(xù)的任務了。
總結
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了python中如何實現(xiàn)徑向基核函數(shù)問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
這篇文章主要介紹了Pandas直接讀取sql腳本的方法,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-01-01
這篇文章主要介紹了Python 爬蟲之超鏈接 url中含有中文出錯及解決辦法的相關資料,出現(xiàn)UnicodeEncodeError: 'ascii' codec can't encode characters，的錯誤解決辦法，需要的朋友可以參考下2017-08-08
無論你是在開發(fā)網(wǎng)站、分析數(shù)據(jù)還是編寫自動化腳本,字符串 (String) 都是你幾乎每天都會打交道的基礎數(shù)據(jù)類型,本文將從字符串的基礎概念講起,逐步深入到各種常用操作和高級技巧,助你輕松駕馭Python字符串2025-12-12
這篇文章主要為大家詳細介紹了python字符串判斷密碼強弱，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-03-03
這篇文章主要介紹了Python 支付整合開發(fā)包的實現(xiàn)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-01-01
這篇文章主要介紹了Python?list?append方法如何給列表追加元素，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-11-11
python的uuid都是32位的，比較長，處理起來效率比較低。這篇文章主要介紹了Python生成短uuid的方法,需要的朋友可以參考下2018-05-05
今天小編就為大家分享一篇python 求定積分和不定積分示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
Django3基于WebSocket實現(xiàn)WebShell的詳細過程
最近工作中需要開發(fā)前端操作遠程虛擬機的功能,簡稱WebShell，普通應用大部分用的都是wsgi.py配合nginx部署線上服務. 這次主要使用asgi.py，具體實現(xiàn)過程跟隨小編一起看看吧2021-08-08