django批量導(dǎo)入xml數(shù)據(jù)

更新時間：2016年10月16日 09:44:28 投稿：hebedich

從網(wǎng)上下載的一些數(shù)據(jù)，excel表格，xml文件，txt文件等有時候我們想把它導(dǎo)入數(shù)據(jù)庫，應(yīng)該如何操作呢？下面我們就來詳細(xì)討論下。

django后臺批量導(dǎo)入數(shù)據(jù)

在生產(chǎn)環(huán)境中，往往數(shù)據(jù)不是幾條或者幾百條，那么舉個例子，將公司所有員工員工號或者帳號密碼導(dǎo)入進(jìn)后臺，那就不建議你去后臺一條條記錄去添加了

如何從xml中批量導(dǎo)入svn記錄

第一步：

為數(shù)據(jù)建立模型

@python_2_unicode_compatible
class SVNLog(models.Model):

  vision = models.IntegerField(verbose_name=u"修訂版本", blank=False, null=False,)
  author = models.CharField(verbose_name=u"作者", max_length=60, blank=True, null=True)
  date = models.DateTimeField(verbose_name=u"修訂時間",null=True )
  msg = models.TextField(verbose_name=u"注釋消息", blank=False, null=False, default=u"")
  paths = models.TextField(verbose_name=u"影響的文件", blank=False, null=False, default=u"")
  created_time = models.DateTimeField(verbose_name=u"創(chuàng)建時間", auto_now_add=True, )
  update_time = models.DateTimeField(verbose_name=u"修改時間", auto_now=True, )

  class Meta:
    ordering = ['revision']

  def __str__(self):
    return u'r%s' % (self.revision or u"", )

既然建立好了模型，那我們再去建立接受我們xml文件的models

@python_2_unicode_compatible
class ImportLogFile(models.Model):

  LogFile = models.FileField(upload_to='LogFile')
  FileName = models.CharField(max_length=50, verbose_name=u'文件名')

  class Meta:
    ordering = ['FileName']

  def __str__(self):
    return self.FileName

ok,以上代碼我們定義好了數(shù)據(jù)和上傳文件的model

同步數(shù)據(jù)庫

python manage.py makemigrations
python manage.py migrate

接著我們?nèi)バ薷腶dmin.py 讓我們可以從后臺上傳文件，

class ImportLogAdmin(admin.ModelAdmin):

  list_display = ('LogFile','FileName',)
  list_filter = ['FileName',]

  def save_model(self, request, obj, form, change):

    re = super(YDImportLogAdmin,self).save_model(request, obj, form, change)
    update_svn_log(self, request, obj, change)
    return re

注意上面代碼里的save_model,這里才是關(guān)鍵，在這里我重寫了ModelAdmin里的save_model方法
因為我們要把上傳文件，讀取文件，解析文件，操作數(shù)據(jù)庫合為一步來操作，大家可以打開debug，在上傳文件的時候，返回參數(shù)的obj里包括了文件上傳的路徑，這個路徑也是下一步我們操作解析文件的關(guān)鍵，好了我們在這個app文件夾下新建一個utils.py 用來操作我們操作文件和數(shù)據(jù)庫的工具類，為了簡單我寫成了函數(shù)如下
先貼一下我們要測試的xml文件

<?xml version="1.0" encoding="UTF-8"?>
<log>
<logentry
  revision="2">
<author>qwert</author>
<date>2016-09-27T07:16:37.396449Z</date>
<paths>
<path
  action="A"
  prop-mods="false"
  text-mods="true"
  kind="file">/aaa/README
  </path>
</paths>
<msg>20160927 151630</msg>
</logentry>


<logentry
  revision="1">
<author>VisualSVN Server</author>
<date>2016-09-20T05:03:12.861315Z</date>
<paths>
<path
  action="A"
  prop-mods="false"
  text-mods="false"
  kind="dir">/branches</path>
<path
  action="A"
  prop-mods="false"
  text-mods="false"
  kind="dir">/tags</path>
<path
  action="A"
  prop-mods="false"
  text-mods="false"
  kind="dir">/trunk</path>
</paths>
<msg>hello word</msg>
</logentry>
</log>

輸出結(jié)果格式

r2 | qwer | 2016-09-27 15:16:37 +0800 (二, 27 9 2016) | 1 line
Changed paths:
  A /xxx/README

20160927 151630
------------------------------------------------------------------------
r1 | VisualSVN Server | 2016-09-20 13:03:12 +0800 (二, 20 9 2016) | 1 line
Changed paths:
  A /branches
  A /tags
  A /trunk

Initial structure.
from .models import SVNLog
import xmltodict
def update_svn_log(self, request, obj, change):

  headers = ['r','a','d','m','p']
  filepath = obj.LogFile.path
  xmlfile = xmltodict.parse(open(filepath, 'r'))
  xml_logentry = xml.get('log').get('logentry')
  info_list = []
  pathlist = []
  sql_insert_list = []
  sql_update_list = []
  for j in xml:
    data_dict = {}
    # get path
    paths = j.get('paths').get('path')
    if isinstance(paths,list):
      for path in paths:
        action = path.get('@action')
        pathtext = path.get('#text')
        pathtext = action + ' ' + pathtext
        pathlist.append(pathtext)
        
      _filelist = u'\n'.join(pathlist)
      _paths = u"Changed paths:\n {}".format(_filelist)
      print _paths
    else:
      _filelist = paths.get('@action') + ' ' + paths.get('#text')
      _paths = u"Changed paths:\n {}".format(_filelist)
      print _paths
    # get revision
    vision = j.get('@vision')
    # get auth
    author = j.get('author')
    #get date
    date = j.get('date')
    #get msg
    msg = j.get('msg')

    data_dict[headers[0]] = int(vision)
    data_dict[headers[1]] = author
    data_dict[headers[2]] = date
    data_dict[headers[3]] = msg
    data_dict[headers[4]] = _paths
    info_list.append(data_dict)

  _svnlog = SVNLog.objects.filter().order_by('-vision').first()
  _last_version = _svnlog.vision if _svnlog else 0

  for value in info_list:
    vision = value['r']
    author = value['a']
    date = value['d']
    msg = value['m']
    paths = value['p']
    print vision,author
    _svnlog = YDSVNLog.objects.filter().order_by('-revision').first()
    _last_version = _svnlog.revision if _svnlog else 0
    if vision > _last_version:
      sql_insert_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))
    else:
      sql_update_list.append(SVNLog(revision=revision, author=author, date=date, msg = msg, paths = paths))

  SVNLog.objects.bulk_create(sql_insert_list)
  SVNLog.objects.bulk_create(sql_update_list)

我們使用的xmltodict這個第三方庫來解析xml，他把內(nèi)容解析成了高效率的orderdict類型，就是有序列的字典
這個xml中比較復(fù)雜的是那個paths里的path，因為這個xml中包含兩個元素，第一個元素的path只含有一個path，第二個元素中的paths包含有三個path，因此我們在解析獲取的時候需要判斷一下

paths = j.get('paths').get('path')
if isinstance(paths,list):
  pass

我們判斷這個path是不是一個list類型的，如果是，那我們就按照list的方式來處理，如果不是，那我們就按單個的方式來處理,獲取之后按照輸出結(jié)果格式處理下結(jié)果然后獲取其他內(nèi)容

revision = j.get('@vision')
# get auth
author = j.get('author')
#get date
date = j.get('date')
#get msg
msg = j.get('msg')

最后我們將獲取到的元素存在字典里
在循環(huán)中判斷當(dāng)前的版本號和數(shù)據(jù)庫中的版本號，
如果比原來的小，那么我們執(zhí)行更新操作，反之執(zhí)行插入操作

最后使用了bulk_create來操作數(shù)據(jù)庫，這樣避免了循環(huán)中每次都進(jìn)行數(shù)據(jù)庫操作造成的資源浪費

您可能感興趣的文章:

最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

django批量導(dǎo)入xml數(shù)據(jù)

相關(guān)文章

最新評論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具