最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python通過DOM和SAX方式解析XML的應(yīng)用實(shí)例分享

 更新時(shí)間:2015年11月16日 16:51:20   作者:凌岳  
這篇文章主要介紹了Python通過DOM和SAX方式解析XML的應(yīng)用實(shí)例分享,針對這兩種解析方式Python都有相關(guān)的模塊可供使用,需要的朋友可以參考下

XML.DOM

需求
有一個(gè)表,里面數(shù)據(jù)量比較大,每天一更新,其字段可以通過xml配置文件進(jìn)行配置,即,可能每次建表的字段不一樣。

上游跑時(shí)會(huì)根據(jù)配置從源文件中提取,到入庫這一步需要根據(jù)配置進(jìn)行建表。

解決
寫了一個(gè)簡單的xml,配置需要字段及類型

上游讀取到對應(yīng)的數(shù)據(jù)

入庫這一步,先把原表刪除,根據(jù)配置建新表

XML文件

<?xml version="1.0" encoding="UTF-8"?>
<!-- 表名 ,數(shù)據(jù)庫名  可靈活配置插入哪個(gè)庫哪個(gè)表 -->
<table name="top_query" db_name="evaluting_sys">
<!-- 非業(yè)務(wù)主鍵,自增長,可配名,其他 INTEGER UNSIGNED AUTO_INCREMENT -->
<primary_key>
<name>id</name>
</primary_key>
<!-- 字段開始 -->
<field>
<name>query</name>
<type>varchar(200)</type>
<is_index>false</is_index>
<description>query</description>
</field>
<field>
<name>pv</name>
<type>integer</type>
<is_index>false</is_index>
<description>pv</description>
</field>
<field>
<name>avg_money</name>
<type>integer</type>
<is_index>false</is_index>
<description></description>
</field>
<!-- 字段配置結(jié)束 -->
</table>

處理腳本

#!/usr/bin/python
# -*- coding:utf-8 -*-
#author: wklken
#desc: use to read db xml config.
#-----------------------
#2012-02-18 created
#----------------------

import sys,os
from xml.dom import minidom, Node

def read_dbconfig_xml(xml_file_path):
  content = {}

  root = minidom.parse(xml_file_path)
  table = root.getElementsByTagName("table")[0]

  #read dbname and table name.
  table_name = table.getAttribute("name")
  db_name = table.getAttribute("db_name")

  if len(table_name) > 0 and len(db_name) > 0:
    db_sql = "create database if not exists `" + db_name +"`; use " + db_name + ";"
    table_drop_sql = "drop " + table_name + " if exists " + table_name + ";"
    content.update({"db_sql" : db_sql})
    content.update({"table_sql" : table_drop_sql })
  else:
    print "Error:attribute is not define well! db_name=" + db_name + " ;table_name=" + table_name
    sys.exit(1)
  #print table_name, db_name

  table_create_sql = "create table " + table_name +"("

  #read primary cell
  primary_key = table.getElementsByTagName("primary_key")[0]
  primary_key_name = primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue

  table_create_sql += primary_key_name + " INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY,"

  #print primary_key.toxml()
  #read ordernary field
  fields = table.getElementsByTagName("field")
  f_index = 0
  for field in fields:
    f_index += 1
    name = field.getElementsByTagName("name")[0].childNodes[0].nodeValue
    type = field.getElementsByTagName("type")[0].childNodes[0].nodeValue
    table_create_sql += name + " " + type
    if f_index != len(fields):
    table_create_sql += ","
    is_index = field.getElementsByTagName("is_index")[0].childNodes[0].nodeValue

  table_create_sql += ");"
  content.update({"table_create_sql" : table_create_sql})
  #character set latin1 collate latin1_danish_ci;
  print content


if __name__ == "__main__":
read_dbconfig_xml(sys.argv[1])

涉及方法
root = minidom.parse(xml_file_path) 獲取dom對象

root.getElementsByTagName("table") 根據(jù)tag獲取節(jié)點(diǎn)列表

table.getAttribute("name") 獲取屬性

primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue 獲取子節(jié)點(diǎn)的值(id 得到id)


SAX
需求
讀取xml數(shù)據(jù)文件,文件較大,需要實(shí)時(shí)處理插入到數(shù)據(jù)庫

xml文檔

<PERSONS>
<person>
  <id>100000</id>
  <sex>男</sex>
  <address>北京,海淀區(qū)</address>
  <fansNum>437</fansNum>
  <summary>1989</summary>
  <wbNum>333</wbNum>
  <gzNum>242</gzNum>
  <blog>null</blog>
  <edu>大學(xué)</edu>
  <work></work>
  <renZh>1</renZh>
  <brithday>2月14日</brithday>
</person>
</PERSONS>

處理
sax處理時(shí)并不會(huì)像dom一樣可以以類似節(jié)點(diǎn)的維度進(jìn)行讀取,它只有 開始標(biāo)簽 內(nèi)容 結(jié)束標(biāo)簽 之分

處理思想是:通過一個(gè)handler,對開始標(biāo)簽,內(nèi)容,結(jié)束標(biāo)簽各有一個(gè)處理函數(shù)

代碼及注解
person 處理類

from xml.sax import handler,parseString
class PersonHandler(handler.ContentHandler):
 def __init__(self, db_ops):
  #db op obj
  self.db_ops = db_ops
  #存儲(chǔ)一個(gè)person的map
  self.person = {}
  #當(dāng)前的tag
  self.current_tag = ""
  #是否是tag之間的內(nèi)容 ,目的拿到tag間內(nèi)容,不受空白的干擾
  self.in_quote = 0
 #開始,清空map
 def startElement(self, name, attr):
  #以person,清空map
  if name == "person":
   self.person = {}
  #記錄 狀態(tài)
  self.current_tag = name
  self.in_quote = 1
 #結(jié)束,插入數(shù)據(jù)庫
 def endElement(self, name):
  #以person結(jié)尾 代表讀取一個(gè)person的信息結(jié)束
  if name == "person":
   #do something
   in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])
   print in_sql % in_fields
   db_ops.insert( in_sql%(in_fields))
  #處理
  self.in_quote = 0
 def characters(self, content):
  #若是在tag之間的內(nèi)容,更新到map中
  if self.in_quote:
   self.person.update({self.current_tag: content})

加上入庫的完整代碼

#!/usr/bin/python
# -*- coding:utf-8 -*-
#parse_person.py
#version : 0.1
#author : wukunliang@163.com
#desc : parse person.xml and out sql


import sys,os
import MySQLdb

reload(sys)
sys.setdefaultencoding('utf-8')

in_sql = "insert into person(id,sex,address,fansNum,summary,wbNum,gzNum,blog,edu,work,renZh,brithday) values(%s, %s, %s, %s, %s, %s,
     %s, %s, %s, %s, %s, %s)"

fields = ("id","sex","address","fansNum","summary","wbNum","gzNum","blog","edu","work","renZh","brithday")

#數(shù)據(jù)庫方法
class Db_Connect:
  def __init__(self, db_host, user, pwd, db_name, charset="utf8", use_unicode = True):
    print "init begin"
    print db_host, user, pwd, db_name, charset , use_unicode
    self.conn = MySQLdb.Connection(db_host, user, pwd, db_name, charset=charset , use_unicode=use_unicode)
    print "init end"

  def insert(self, sql):
    try:
      n = self.conn.cursor().execute(sql)
      return n
    except MySQLdb.Warning, e:
      print "Error: execute sql '",sql,"' failed"

  def close(self):
    self.conn.close()

#person 處理類
from xml.sax import handler,parseString
class PersonHandler(handler.ContentHandler):
  def __init__(self, db_ops):
    #db op obj
    self.db_ops = db_ops
    #存儲(chǔ)一個(gè)person的map
    self.person = {}
    #當(dāng)前的tag
    self.current_tag = ""
    #是否是tag之間的內(nèi)容
    self.in_quote = 0
  #開始,清空map
  def startElement(self, name, attr):
    #以person,清空map
    if name == "person":
     self.person = {}
    #記錄 狀態(tài)
    self.current_tag = name
    self.in_quote = 1
  #結(jié)束,插入數(shù)據(jù)庫
  def endElement(self, name):
    #以person結(jié)尾 代表讀取一個(gè)person的信息結(jié)束
    if name == "person":
      #do something
      in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])
      print in_sql % in_fields
      db_ops.insert( in_sql%(in_fields))
    #處理
    self.in_quote = 0
  def characters(self, content):
    #若是在tag之間的內(nèi)容,更新到map中
    if self.in_quote:
      self.person.update({self.current_tag: content})

if __name__ == "__main__":
  f = open("./person.xml")
  #如果源文件gbk 轉(zhuǎn)碼   若是utf-8,去掉decode.encode
  db_ops = Db_Connect("127.0.0.1", "root", "root", "test")
  parseString(f.read().decode("gbk").encode("utf-8"), PersonHandler(db_ops))
  f.close()
  db_ops.close()

平時(shí)拿python來分析數(shù)據(jù),工具腳本還有hadoop streamming,但是用的面和深度實(shí)在欠缺 只能說道行還淺,需要多多實(shí)踐

相關(guān)文章

  • numpy創(chuàng)建神經(jīng)網(wǎng)絡(luò)框架

    numpy創(chuàng)建神經(jīng)網(wǎng)絡(luò)框架

    本文介紹了使用numpy從零搭建了一個(gè)類似于pytorch的深度學(xué)習(xí)框架,可以用在很多地方,有需要的朋友可以自行參考一下
    2021-08-08
  • python郵件發(fā)送smtplib使用詳解

    python郵件發(fā)送smtplib使用詳解

    這篇文章主要為大家詳細(xì)介紹了python郵件發(fā)送smtplib的使用方法,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-05-05
  • 基于Python代碼實(shí)現(xiàn)Apriori?關(guān)聯(lián)規(guī)則算法

    基于Python代碼實(shí)現(xiàn)Apriori?關(guān)聯(lián)規(guī)則算法

    這篇文章主要介紹了基于Python代碼實(shí)現(xiàn)Apriori?關(guān)聯(lián)規(guī)則算法,本文通過應(yīng)用場景舉例,結(jié)合示例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下
    2022-03-03
  • python使用 __init__初始化操作簡單示例

    python使用 __init__初始化操作簡單示例

    這篇文章主要介紹了python使用 __init__初始化操作,結(jié)合實(shí)例形式分析了Python面向?qū)ο蟪绦蛟O(shè)計(jì)中使用__init__進(jìn)行初始化操作相關(guān)技巧與注意事項(xiàng),需要的朋友可以參考下
    2019-09-09
  • python密碼學(xué)黑客攻擊RSA密碼

    python密碼學(xué)黑客攻擊RSA密碼

    這篇文章主要為大家介紹了python密碼學(xué)黑客攻擊RSA密碼,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-05-05
  • Python提高運(yùn)行速度工具之Pandarallel的使用教程

    Python提高運(yùn)行速度工具之Pandarallel的使用教程

    為了提高運(yùn)行速度,我們一般會(huì)采用多進(jìn)程的方式。而常見的方案對于普通python玩家來說都不是特別友好,怎樣才能算作一個(gè)友好的并行處理方案?本文就來和大家講講pandarallel的使用
    2022-09-09
  • python實(shí)現(xiàn)京東秒殺功能

    python實(shí)現(xiàn)京東秒殺功能

    這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)京東秒殺功能,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-07-07
  • 五種Python轉(zhuǎn)義表示法

    五種Python轉(zhuǎn)義表示法

    這篇文章主要介紹了五種Python轉(zhuǎn)義表示法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-11-11
  • 簡介Django框架中可使用的各類緩存

    簡介Django框架中可使用的各類緩存

    這篇文章主要介紹了簡介Django框架中可使用的各類緩存,Django是人氣最高的Python web開發(fā)框架,需要的朋友可以參考下
    2015-07-07
  • 淺談python中統(tǒng)計(jì)計(jì)數(shù)的幾種方法和Counter詳解

    淺談python中統(tǒng)計(jì)計(jì)數(shù)的幾種方法和Counter詳解

    今天小編就為大家分享一篇淺談python中統(tǒng)計(jì)計(jì)數(shù)的幾種方法和Counter詳解,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-11-11

最新評論

甘南县| 辰溪县| 遂溪县| 安阳县| 额济纳旗| 盘锦市| 通城县| 石棉县| 保康县| 万山特区| 伊吾县| 定安县| 凯里市| 长垣县| 盘山县| 中阳县| 宿迁市| 于田县| 马鞍山市| 安达市| 克什克腾旗| 金湖县| 镇原县| 陇南市| 隆安县| 磐石市| 金沙县| 马龙县| 页游| 辉县市| 大理市| 九龙坡区| 镇原县| 西乌珠穆沁旗| 临江市| 察隅县| 关岭| 光泽县| 钦州市| 大余县| 和平区|