快捷導(dǎo)航

Python使用scrapy抓取網(wǎng)站sitemap信息的方法

更新時(shí)間：2015年04月08日 09:46:40 作者：pythoner

這篇文章主要介紹了Python使用scrapy抓取網(wǎng)站sitemap信息的方法,涉及Python框架scrapy的使用技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下

本文實(shí)例講述了Python使用scrapy抓取網(wǎng)站sitemap信息的方法。分享給大家供大家參考。具體如下：

import re
from scrapy.spider import BaseSpider
from scrapy import log
from scrapy.utils.response import body_or_str
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
class SitemapSpider(BaseSpider):
 name = "SitemapSpider"
 start_urls = ["http://www.domain.com/sitemap.xml"]
 def parse(self, response):
  nodename = 'loc'
  text = body_or_str(response)
  r = re.compile(r"(<%s[\s>])(.*?)(</%s>)"%(nodename,nodename),re.DOTALL)
  for match in r.finditer(text):
   url = match.group(2)
   yield Request(url, callback=self.parse_page)
 def parse_page(self, response):
    hxs = HtmlXPathSelector(response)
    #Mock Item
  blah = Item()
  #Do all your page parsing and selecting the elemtents you want
    blash.divText = hxs.select('//div/text()').extract()[0]
  yield blah

希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章:

相關(guān)文章

Python 正則表達(dá)式操作指南
本文是通過(guò)Python的 re 模塊來(lái)使用正則表達(dá)式的一個(gè)入門(mén)教程，和庫(kù)參考手冊(cè)的對(duì)應(yīng)章節(jié)相比，更為淺顯易懂、循序漸進(jìn)。
2009-05-05
python入門(mén)for循環(huán)嵌套理解學(xué)習(xí)
這篇文章主要介紹了python入門(mén)關(guān)于for循環(huán)嵌套的理解學(xué)習(xí)，希望大家可以學(xué)會(huì)并運(yùn)用到日常工作中，有需要的朋友可以借鑒參考下，希望能夠有幫助
2021-09-09
詳解Python?matplotlib中的色彩使用詳解
matplotlib中提供了一些常見(jiàn)顏色的字符串，并封裝成了幾個(gè)顏色字典，這篇文章主要來(lái)和大家講解一下matplotlib中的色彩使用，需要的可以參考一下
2023-07-07
python判斷所輸入的任意一個(gè)正整數(shù)是否為素?cái)?shù)的兩種方法
今天小編就為大家分享一篇python判斷所輸入的任意一個(gè)正整數(shù)是否為素?cái)?shù)的兩種方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2019-06-06
opencv之顏色過(guò)濾只留下圖片中的紅色區(qū)域操作
這篇文章主要介紹了opencv之顏色過(guò)濾只留下圖片中的紅色區(qū)域操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-06-06
Python實(shí)現(xiàn)八大排序算法
這篇文章主要介紹了Python實(shí)現(xiàn)八大排序算法,如何用Python實(shí)現(xiàn)八大排序算法，感興趣的小伙伴們可以參考一下
2016-08-08
jupyter?notebook?自定義python解釋器的過(guò)程詳解
大家都知道jupyter?notebook?網(wǎng)頁(yè)版交互環(huán)境，類(lèi)似于ipython，功能強(qiáng)大，這篇文章主要介紹了jupyter?notebook?自定義python解釋器的過(guò)程,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2022-10-10
使用Matplotlib創(chuàng)建基本圖表的詳細(xì)指南
Matplotlib 是一個(gè)功能強(qiáng)大的 Python 庫(kù),用于創(chuàng)建各種類(lèi)型的圖表和可視化,在本文中,我們將提供一個(gè)完整的指南,介紹如何使用 Matplotlib 創(chuàng)建基本的圖表,包括折線圖、散點(diǎn)圖、柱狀圖和餅圖,感興趣的小伙伴跟著小編一起來(lái)看看吧
2024-05-05
Django框架安裝方法圖文詳解
這篇文章主要介紹了Django框架安裝方法,結(jié)合圖文與實(shí)例形式詳細(xì)分析了Django框架的下載、安裝簡(jiǎn)單使用方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下
2019-11-11
Python/ArcPy遍歷指定目錄中的MDB文件方法
今天小編就為大家分享一篇Python/ArcPy遍歷指定目錄中的MDB文件方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-10-10