快捷導(dǎo)航

Python打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的方法

更新時(shí)間：2015年04月08日 10:14:15 作者：pythoner

這篇文章主要介紹了Python打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的方法,實(shí)例分析了打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下

本文實(shí)例講述了Python打印scrapy蜘蛛抓取樹(shù)結(jié)構(gòu)的方法。分享給大家供大家參考。具體如下：

通過(guò)下面這段代碼可以一目了然的知道scrapy的抓取頁(yè)面結(jié)構(gòu)，調(diào)用也非常簡(jiǎn)單

#!/usr/bin/env python
import fileinput, re
from collections import defaultdict
def print_urls(allurls, referer, indent=0):
  urls = allurls[referer]
  for url in urls:
    print ' '*indent + referer
    if url in allurls:
      print_urls(allurls, url, indent+2)
def main():
  log_re = re.compile(r'<GET (.*?)> \(referer: (.*?)\)')
  allurls = defaultdict(list)
  for l in fileinput.input():
    m = log_re.search(l)
    if m:
      url, ref = m.groups()
      allurls[ref] += [url]
  print_urls(allurls, 'None')
main()

希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章:

相關(guān)文章

解決pycharm下pyuic工具使用的問(wèn)題
這篇文章主要介紹了解決pycharm下pyuic工具使用的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-04-04
恢復(fù)百度云盤本地誤刪的文件腳本(簡(jiǎn)單方法)
下面小編就為大家?guī)?lái)一篇恢復(fù)百度云盤本地誤刪的文件腳本(簡(jiǎn)單方法)。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-10-10
Django添加feeds功能的示例
這篇文章主要介紹了Django添加feeds功能的示例，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2018-08-08
Python實(shí)現(xiàn)自動(dòng)收集參數(shù)的技巧分享
在Python中,充分利用函數(shù)參數(shù)的自動(dòng)收集和靈活處理,是寫(xiě)出高效且易維護(hù)代碼的關(guān)鍵之一,本文將深入研究Python函數(shù)參數(shù)的收集方式,感興趣的小伙伴可以了解下
2023-12-12
Pyqt5設(shè)置返回鍵和跳轉(zhuǎn)頁(yè)面鍵的示例代碼
這篇文章主要介紹了Pyqt5設(shè)置返回鍵和跳轉(zhuǎn)頁(yè)面鍵的示例代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2021-04-04
Python中super()的理解以及應(yīng)用場(chǎng)景實(shí)例
在python中關(guān)于類的定義可以分為兩種:老式類&新式類,在新式類中有這么一種方法super( ),下面這篇文章主要給大家介紹了關(guān)于Python中super()的理解以及應(yīng)用場(chǎng)景的相關(guān)資料,需要的朋友可以參考下
2021-09-09
python3寫(xiě)的簡(jiǎn)單本地文件上傳服務(wù)器實(shí)例
今天小編就為大家分享一篇python3寫(xiě)的簡(jiǎn)單本地文件上傳服務(wù)器實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-06-06
selenium+python自動(dòng)化測(cè)試之鼠標(biāo)和鍵盤事件
這篇文章主要介紹了selenium+python自動(dòng)化測(cè)試之鼠標(biāo)和鍵盤事件，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2019-01-01
python Crypto模塊的安裝與使用方法
本篇文章主要介紹了python Crypto模塊的安裝與使用方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-12-12
python提取word文件中的圖片并上傳阿里云OSS
這篇文章主要介紹了通過(guò)Python提取Word文件中的所有圖片，并將其上傳至阿里云OSS。文中的示例代碼對(duì)學(xué)習(xí)Python有一定的幫助，快跟隨小編一起學(xué)習(xí)一下吧
2021-12-12