最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

scrapyd schedule.json setting 傳入多個(gè)值問題

 更新時(shí)間:2019年08月07日 08:38:35   作者:apuyuseng  
這篇文章主要介紹了scrapyd schedule.json setting 傳入多個(gè)值,本文給出了問題分析及思路解決方案,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友參考下吧

使用案例:

import requests
adder='http://127.0.0.1:6800'
data = {
    'project':'v1',
    'version':'12379',
    'setting':['ROBOTSTXT_OBEY=True','CONCURRENT_REQUESTS=32']
}
resp = requests.post(adder,data=data)

問題解決思路:

版本1.2文檔中:

◦setting (string, optional) - a Scrapy setting to use when running the spider

setting 是字符串,那么多個(gè)字符串該如何呢。

通過源碼 site-packages/scrapyd/webservice.py

class Schedule(WsResource):
  def render_POST(self, txrequest):
    args = native_stringify_dict(copy(txrequest.args), keys_only=False)
    settings = args.pop('setting', [])
    settings = dict(x.split('=', 1) for x in settings)
    args = dict((k, v[0]) for k, v in args.items())
    project = args.pop('project')
    spider = args.pop('spider')
    version = args.get('_version', '')
    spiders = get_spider_list(project, version=version)
    if not spider in spiders:
      return {"status": "error", "message": "spider '%s' not found" % spider}
    args['settings'] = settings
    jobid = args.pop('jobid', uuid.uuid1().hex)
    args['_job'] = jobid
    self.root.scheduler.schedule(project, spider, **args)
    return {"node_name": self.root.nodename, "status": "ok", "jobid": jobid}

 可以發(fā)現(xiàn) setting 在這里是list對象,且里面元素是字符,字符串必須包含=符號(hào)。

以此我們嘗試傳入setting:['DEBUG=True','HOST_NAME=axdda']

結(jié)果真的可以。對于比較復(fù)雜的設(shè)置,下次有需求再研究吧。

總結(jié)

以上所述是小編給大家介紹的scrapyd schedule.json setting 傳入多個(gè)值問題,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
如果你覺得本文對你有幫助,歡迎轉(zhuǎn)載,煩請注明出處,謝謝!

相關(guān)文章

最新評(píng)論

吴忠市| 咸阳市| 三亚市| 汕尾市| 嵩明县| 岗巴县| 大化| 乌拉特前旗| 万载县| 水城县| 伽师县| 皮山县| 黑水县| 通许县| 潍坊市| 常州市| 乌兰县| 谢通门县| 柏乡县| 历史| 琼结县| 怀化市| 永济市| 德昌县| 徐汇区| 绥宁县| 哈巴河县| 遂宁市| 鸡西市| 奉节县| 周宁县| 山丹县| 安泽县| 嘉鱼县| 临城县| 铁岭市| 宝丰县| 襄樊市| 尼木县| 元阳县| 龙陵县|