python scrapy腳本報(bào)錯(cuò)問題及解決
python scrapy腳本報(bào)錯(cuò)
原本一個(gè)好好的爬蟲腳本，最近運(yùn)行時(shí)突然報(bào)錯(cuò)：
報(bào)錯(cuò)代碼
如下：
File "e:\python3.7.1\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_request
defer.returnValue((yield download_func(request=request,spider=spider)))
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionDone: Connection was closed cleanly.>]
分析報(bào)錯(cuò)
發(fā)送的請(qǐng)求未被接受，鏈接已斷開
百度最終定位到是請(qǐng)求頭的原因：
原本的請(qǐng)求頭的HOST被換了，腳本發(fā)起請(qǐng)求時(shí)就被拒了，因此把請(qǐng)求頭修改就好了
解決scrapy需要批量啟動(dòng)多個(gè)腳本問題,scrapy批量運(yùn)行腳本
問題描述
今天遇到在遠(yuǎn)程服務(wù)器上，os 批量啟動(dòng)時(shí)存在啟動(dòng)不了的情況
問題解決
批量啟動(dòng)有好多種方式，但是我個(gè)人主要用的有兩個(gè)，
當(dāng)?shù)谝粋€(gè)無法啟動(dòng)時(shí)，測(cè)試第二種啟動(dòng)方式 ，可以正常啟動(dòng)；
"""
批量啟動(dòng)
"""
# ------------------- 第一種 ----------------------------------------
import os
os.system("scrapy crawl Nj")
os.system("scrapy crawl Yanc")
os.system("scrapy crawl Hzs")
簡(jiǎn)單做個(gè)記錄吧。
第二種，是調(diào)用scrapy 系統(tǒng)自帶的方式
為了讓同一個(gè) Scrapy 項(xiàng)目下面的多個(gè)爬蟲實(shí)現(xiàn)真正的同時(shí)運(yùn)行，我們可以使用 Scrapy 的CrawlerProcess。
它的用法如下：
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
crawler = CrawlerProcess(settings)
crawler.crawl('爬蟲名1')
crawler.crawl('爬蟲名2')
crawler.crawl('爬蟲名3')
crawler.start()
使用這種方法，可以在同一個(gè)進(jìn)程里面跑多個(gè)爬蟲。
# -------------------- 第二種 ------------------------------------
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
settings = get_project_settings()
crawler = CrawlerProcess(settings)
crawler.crawl('Nj')
crawler.crawl('Yanc')
crawler.crawl('Hzs')
crawler.start()
兩種方式都可以實(shí)現(xiàn)，scrapy 多個(gè)項(xiàng)目的批量啟動(dòng)
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python: 判斷tuple、list、dict是否為空的方法
今天小編就為大家分享一篇python: 判斷tuple、list、dict是否為空的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要為大家介紹了Python生成圖像特效,本文重點(diǎn)介紹如何使用python進(jìn)行圖像處理,生成各式各樣的圖像特效,有需要的朋友可以借鑒參考下,希望能夠有所幫助2023-10-10
python中集合set是一個(gè)無序不重復(fù)元素的集，基本功能包括關(guān)系測(cè)試和消除重復(fù)元素，還可以計(jì)算交集、差集、并集等，它與列表（list）的行為類似，這篇文章主要介紹了python?set()去重的底層原理,需要的朋友可以參考下2022-01-01
教你怎么用PyCharm為同一服務(wù)器配置多個(gè)python解釋器
當(dāng)我們?cè)诜?wù)器上創(chuàng)建了多個(gè)虛擬環(huán)境時(shí),也可以在 PyCharm 中配置這些虛擬環(huán)境,方便不同的項(xiàng)目使用不同的環(huán)境,然而按照網(wǎng)上教程添加多個(gè)python解釋器后,PyCharm會(huì)自動(dòng)幫我們創(chuàng)建多個(gè)重復(fù)的服務(wù)器,本文主要給出該問題的解決方法,同時(shí)也對(duì)添加解釋器做一個(gè)詳細(xì)的講解2021-05-05
Python開發(fā)圍棋游戲的實(shí)例代碼（實(shí)現(xiàn)全部功能）
圍棋是一種古老而復(fù)雜的策略棋類游戲,起源于中國(guó),已有超過2500年的歷史,本文介紹了如何用Python開發(fā)一個(gè)簡(jiǎn)單的圍棋游戲,實(shí)例代碼涵蓋了游戲的基本規(guī)則、界面設(shè)計(jì)、棋盤實(shí)現(xiàn)、棋子管理、游戲邏輯等多個(gè)方面,通過逐步實(shí)現(xiàn)落子、吃子、判斷勝負(fù)等功能2024-12-12
python?import?引用上上上級(jí)包的三種方法
這篇文章主要介紹了python?import?引用上上上級(jí)包的三種方法包的三種方法,需要的朋友可以參考下2023-02-02
在echarts中圖例legend和坐標(biāo)系grid實(shí)現(xiàn)左右布局實(shí)例
這篇文章主要介紹了在echarts中圖例legend和坐標(biāo)系grid實(shí)現(xiàn)左右布局實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-05-05
Flask中的閃現(xiàn)是一種在請(qǐng)求之間傳遞消息的機(jī)制,本文就來介紹一下Flask之閃現(xiàn)flash原理及使用,具有一定的參考價(jià)值,感興趣的可以了解一下2023-12-12
今天小編就為大家分享一篇python查看列的唯一值方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-07-07
Python Metaclass原理與實(shí)現(xiàn)過程詳細(xì)講解
MetaClass元類，本質(zhì)也是一個(gè)類，但和普通類的用法不同，它可以對(duì)類內(nèi)部的定義（包括類屬性和類方法）進(jìn)行動(dòng)態(tài)的修改?？梢赃@么說，使用元類的主要目的就是為了實(shí)現(xiàn)在創(chuàng)建類時(shí)，能夠動(dòng)態(tài)地改變類中定義的屬性或者方法2022-11-11