實(shí)例Python處理XML文件的方法
更新時(shí)間：2015年08月31日 16:53:48 投稿：goldensun
這篇文章主要介紹了實(shí)例Python處理XML文件的方法,包括用Python處理XML大文件的情況,需要的朋友可以參考下
需求
有一個(gè)表，里面數(shù)據(jù)量比較大，每天一更新，其字段可以通過xml配置文件進(jìn)行配置，即，可能每次建表的字段不一樣。
上游跑時(shí)會(huì)根據(jù)配置從源文件中提取，到入庫(kù)這一步需要根據(jù)配置進(jìn)行建表。
解決
寫了一個(gè)簡(jiǎn)單的xml，配置需要字段及類型
上游讀取到對(duì)應(yīng)的數(shù)據(jù)
入庫(kù)這一步，先把原表刪除，根據(jù)配置建新表
XML文件
<?xml version="1.0" encoding="UTF-8"?> <!-- 表名 ,數(shù)據(jù)庫(kù)名 可靈活配置插入哪個(gè)庫(kù)哪個(gè)表 --> <table name="top_query" db_name="evaluting_sys"> <!-- 非業(yè)務(wù)主鍵，自增長(zhǎng),可配名，其他 INTEGER UNSIGNED AUTO_INCREMENT --> <primary_key> <name>id</name> </primary_key> <!-- 字段開始 --> <field> <name>query</name> <type>varchar(200)</type> <is_index>false</is_index> <description>query</description> </field> <field> <name>pv</name> <type>integer</type> <is_index>false</is_index> <description>pv</description> </field> <field> <name>avg_money</name> <type>integer</type> <is_index>false</is_index> <description></description> </field> <!-- 字段配置結(jié)束 --> </table>
處理腳本
#!/usr/bin/python
# -*- coding:utf-8 -*-
#author: wklken
#desc: use to read db xml config.
#-----------------------
#2012-02-18 created
#----------------------
import sys,os
from xml.dom import minidom, Node
def read_dbconfig_xml(xml_file_path):
content = {}
root = minidom.parse(xml_file_path)
table = root.getElementsByTagName("table")[0]
#read dbname and table name.
table_name = table.getAttribute("name")
db_name = table.getAttribute("db_name")
if len(table_name) > 0 and len(db_name) > 0:
db_sql = "create database if not exists `" + db_name +"`; use " + db_name + ";"
table_drop_sql = "drop " + table_name + " if exists " + table_name + ";"
content.update({"db_sql" : db_sql})
content.update({"table_sql" : table_drop_sql })
else:
print "Error:attribute is not define well! db_name=" + db_name + " ;table_name=" + table_name
sys.exit(1)
#print table_name, db_name
table_create_sql = "create table " + table_name +"("
#read primary cell
primary_key = table.getElementsByTagName("primary_key")[0]
primary_key_name = primary_key.getElementsByTagName("name")[0].childNodes[0].nodeValue
table_create_sql += primary_key_name + " INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY,"
#print primary_key.toxml()
#read ordernary field
fields = table.getElementsByTagName("field")
f_index = 0
for field in fields:
f_index += 1
name = field.getElementsByTagName("name")[0].childNodes[0].nodeValue
type = field.getElementsByTagName("type")[0].childNodes[0].nodeValue
table_create_sql += name + " " + type
if f_index != len(fields):
table_create_sql += ","
is_index = field.getElementsByTagName("is_index")[0].childNodes[0].nodeValue
table_create_sql += ");"
content.update({"table_create_sql" : table_create_sql})
#character set latin1 collate latin1_danish_ci;
print content
if __name__ == "__main__":
read_dbconfig_xml(sys.argv[1])
PYTHON解析XML大文件[SAX]
需求
讀取xml數(shù)據(jù)文件，文件較大，需要實(shí)時(shí)處理插入到數(shù)據(jù)庫(kù)
xml文檔
<PERSONS> <person> <id>100000</id> <sex>男</sex> <address>北京，海淀區(qū)</address> <fansNum>437</fansNum> <summary>1989</summary> <wbNum>333</wbNum> <gzNum>242</gzNum> <blog>null</blog> <edu>大學(xué)</edu> <work></work> <renZh>1</renZh> <brithday>2月14日</brithday> </person> </PERSONS>
處理
sax處理時(shí)并不會(huì)像dom一樣可以以類似節(jié)點(diǎn)的維度進(jìn)行讀取,它只有 開始標(biāo)簽 內(nèi)容 結(jié)束標(biāo)簽 之分
處理思想是：通過一個(gè)handler，對(duì)開始標(biāo)簽，內(nèi)容，結(jié)束標(biāo)簽各有一個(gè)處理函數(shù)
代碼及注解
person 處理類
from xml.sax import handler,parseString
class PersonHandler(handler.ContentHandler):
def __init__(self, db_ops):
#db op obj
self.db_ops = db_ops
#存儲(chǔ)一個(gè)person的map
self.person = {}
#當(dāng)前的tag
self.current_tag = ""
#是否是tag之間的內(nèi)容 ，目的拿到tag間內(nèi)容，不受空白的干擾
self.in_quote = 0
#開始，清空map
def startElement(self, name, attr):
#以person，清空map
if name == "person":
self.person = {}
#記錄 狀態(tài)
self.current_tag = name
self.in_quote = 1
#結(jié)束，插入數(shù)據(jù)庫(kù)
def endElement(self, name):
#以person結(jié)尾 代表讀取一個(gè)person的信息結(jié)束
if name == "person":
#do something
in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])
print in_sql % in_fields
db_ops.insert( in_sql%(in_fields))
#處理
self.in_quote = 0
def characters(self, content):
#若是在tag之間的內(nèi)容，更新到map中
if self.in_quote:
self.person.update({self.current_tag: content})
加上入庫(kù)的完整代碼
#!/usr/bin/python
# -*- coding:utf-8 -*-
#parse_person.py
#version : 0.1
#author : wukunliang@163.com
#desc : parse person.xml and out sql
import sys,os
import MySQLdb
reload(sys)
sys.setdefaultencoding('utf-8')
in_sql = "insert into person(id,sex,address,fansNum,summary,wbNum,gzNum,blog,edu,work,renZh,brithday) values(%s, %s, %s, %s, %s, %s,
%s, %s, %s, %s, %s, %s)"
fields = ("id","sex","address","fansNum","summary","wbNum","gzNum","blog","edu","work","renZh","brithday")
#數(shù)據(jù)庫(kù)方法
class Db_Connect:
def __init__(self, db_host, user, pwd, db_name, charset="utf8", use_unicode = True):
print "init begin"
print db_host, user, pwd, db_name, charset , use_unicode
self.conn = MySQLdb.Connection(db_host, user, pwd, db_name, charset=charset , use_unicode=use_unicode)
print "init end"
def insert(self, sql):
try:
n = self.conn.cursor().execute(sql)
return n
except MySQLdb.Warning, e:
print "Error: execute sql '",sql,"' failed"
def close(self):
self.conn.close()
#person 處理類
from xml.sax import handler,parseString
class PersonHandler(handler.ContentHandler):
def __init__(self, db_ops):
#db op obj
self.db_ops = db_ops
#存儲(chǔ)一個(gè)person的map
self.person = {}
#當(dāng)前的tag
self.current_tag = ""
#是否是tag之間的內(nèi)容
self.in_quote = 0
#開始，清空map
def startElement(self, name, attr):
#以person，清空map
if name == "person":
self.person = {}
#記錄 狀態(tài)
self.current_tag = name
self.in_quote = 1
#結(jié)束，插入數(shù)據(jù)庫(kù)
def endElement(self, name):
#以person結(jié)尾 代表讀取一個(gè)person的信息結(jié)束
if name == "person":
#do something
in_fields = tuple([ ('"' + self.person.get(i,"") + '"') for i in fields ])
print in_sql % in_fields
db_ops.insert( in_sql%(in_fields))
#處理
self.in_quote = 0
def characters(self, content):
#若是在tag之間的內(nèi)容，更新到map中
if self.in_quote:
self.person.update({self.current_tag: content})
if __name__ == "__main__":
f = open("./person.xml")
#如果源文件gbk 轉(zhuǎn)碼 若是utf-8，去掉decode.encode
db_ops = Db_Connect("127.0.0.1", "root", "root", "test")
parseString(f.read().decode("gbk").encode("utf-8"), PersonHandler(db_ops))
f.close()
db_ops.close()
相關(guān)文章
python3實(shí)現(xiàn)隨機(jī)數(shù)
這篇文章主要為大家詳細(xì)介紹了python3實(shí)現(xiàn)隨機(jī)數(shù)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-06-06
對(duì)PyTorch torch.stack的實(shí)例講解
今天小編就為大家分享一篇對(duì)PyTorch torch.stack的實(shí)例講解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-07-07
Python檢查和同步本地時(shí)間(北京時(shí)間)的實(shí)現(xiàn)方法
這篇文章主要介紹了Python檢查和同步本地時(shí)間(北京時(shí)間)的實(shí)現(xiàn)方法,小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹了python使用正則來處理各種匹配問題,本文通過實(shí)例代碼給大家講解的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2019-12-12
六種酷炫Python運(yùn)行進(jìn)度條效果的實(shí)現(xiàn)代碼
這篇文章主要介紹了六種酷炫Python運(yùn)行進(jìn)度條的實(shí)現(xiàn)代碼，本文通過實(shí)例圖文相結(jié)合給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-07-07
Python反爬實(shí)戰(zhàn)掌握酷狗音樂排行榜加密規(guī)則
最新的酷狗音樂反爬來襲，本文介紹如何利用Python掌握酷狗排行榜加密規(guī)則，本章內(nèi)容只限學(xué)習(xí)，切勿用作其他用途?。。。?！ 有需要的朋友可以借鑒參考下2021-10-10
命令行運(yùn)行Python腳本時(shí)傳入?yún)?shù)的三種方式詳解
這篇文章主要介紹了命令行運(yùn)行Python腳本時(shí)傳入?yún)?shù)的三種方式詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-10-10
Opencv常見圖像格式Data Type及代碼實(shí)例
這篇文章主要介紹了Opencv常見圖像格式Data Type及代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11
這篇文章主要介紹了Python常用數(shù)字處理基本操作匯總,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09
Pygame游戲開發(fā)之太空射擊實(shí)戰(zhàn)盾牌篇
相信大多數(shù)8090后都玩過太空射擊游戲，在過去游戲不多的年代太空射擊自然屬于經(jīng)典好玩的一款了，今天我們來自己動(dòng)手實(shí)現(xiàn)它，在編寫學(xué)習(xí)中回顧過往展望未來，在本課中，我們將為玩家添加一個(gè)盾牌以及一個(gè)用于顯示盾牌等級(jí)的欄2022-08-08