# 字符編碼
FEED_EXPORT_ENCODING = 'utf-8'

# redis寫法一
# REDIS_URL = 'redis://localhost:6379' 

# redis寫法二
REDIS_HOST = '192.168.10.223'
REDIS_PORT = 6379
# 默認(rèn)的 scrapy redis 會(huì)讀取下面的密碼和db
REDIS_PARAMS = {
 'password': '123456',
 'db': redis_db
}

# 對(duì)于失敗的HTTP請(qǐng)求(如超時(shí))進(jìn)行重試會(huì)降低爬取效率，當(dāng)爬取目標(biāo)基數(shù)很大時(shí)，舍棄部分?jǐn)?shù)據(jù)不影響大局，提高效率
# RETRY_ENABLED = False
# 請(qǐng)求下載超時(shí)時(shí)間，默認(rèn)180秒
DOWNLOAD_TIMEOUT = 10

# 1：設(shè)置去重組件，使用的是scrapy_redis的去重組件，而不是scrapy自己的去重組件了
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 2：設(shè)置調(diào)度器，使用scrapy——redis重寫的調(diào)度器，
# 而不再使用scrapy內(nèi)部的調(diào)度器了
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 3：可以實(shí)現(xiàn)斷點(diǎn)爬取=jondir，（請(qǐng)求的記錄不會(huì)丟失，會(huì)存儲(chǔ)在redis數(shù)據(jù)庫(kù)中，
# 不會(huì)清除redis的隊(duì)列，下次直接從redis的隊(duì)列中爬取）
SCHEDULER_PERSIST = True
# 4：設(shè)置任務(wù)隊(duì)列的模式（三選一）：
# SpiderPriorityQueue數(shù)據(jù)scrapy-redis默認(rèn)使用的隊(duì)列模式（
# 有自己的優(yōu)先級(jí)）默認(rèn)第一種
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
# 使用了隊(duì)列的形式，任務(wù)先進(jìn)先出。
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"
# 采用了棧的形式：任務(wù)先進(jìn)后出
# SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"

'''
用來(lái)控制當(dāng)接收到的 response 頭信息中的 Content-Length 和內(nèi)容不匹配或者response chunk 未正確結(jié)束時(shí)的時(shí)所采取的操作。
當(dāng) DOWNLOAD_FAIL_ON_DATALOSS 為 True 的時(shí)候拋出 ResponseFailed([_DataLoss]) 錯(cuò)誤
當(dāng)設(shè)置為 False 時(shí)， 校驗(yàn)未通過(guò)的 response 將被忽略并且添加一個(gè)名為 dataloss 的 flag 到 response.flag
'''
DOWNLOAD_FAIL_ON_DATALOSS = False
MONGO_URI = 'mongodb://用戶名:密碼@ip:port'