快捷導(dǎo)航

python爬蟲之基金信息存儲(chǔ)

更新時(shí)間：2022年05月06日 08:23:35 作者：??斜月????

這篇文章主要介紹了python爬蟲之基金信息存儲(chǔ)，前面已經(jīng)講了很多次要進(jìn)行數(shù)據(jù)存儲(chǔ)，終于在上一篇中完成了數(shù)據(jù)庫的設(shè)，在這篇文章我們就來完成數(shù)據(jù)存儲(chǔ)操作部分的介紹,需要的朋友可以參考一下

1 前言

前面已經(jīng)講了很多次要進(jìn)行數(shù)據(jù)存儲(chǔ)，終于在上一篇中完成了數(shù)據(jù)庫的設(shè)計(jì)，在這一篇就開始數(shù)據(jù)的存儲(chǔ)操作，在數(shù)據(jù)存儲(chǔ)的這個(gè)部分，會(huì)將之前抓取到的基金列表，基金基本信息和基金變動(dòng)信息以及ETF信息進(jìn)行存儲(chǔ)。

2 信息存儲(chǔ)

2.1 基金基本信息存儲(chǔ)

在這里獲取基金信息包括兩個(gè)部分，一部分是場外基金另外一部分是場外基金信息。之在前的文章中，我們已經(jīng)獲完成了場外基金和ETF基金信息的代碼，因此在這里我們僅僅需要存儲(chǔ)數(shù)據(jù)庫即可，那么有個(gè)問題，基金的信息是隨時(shí)發(fā)生變更的或者更新的。在保存時(shí)需要先判斷基金代碼是否已經(jīng)存在，如果存在則更新，如果不存在則新增，但是這樣效率有點(diǎn)低，這時(shí)候就用到之前的文章內(nèi)容，使用這樣 on duplicate key update 的語句就可以一條sql搞定了。

舉例如下所示:

INSERT INTO `tb_fund_list`(`code`, `name`, `fund_type`) VALUES ('000363','國泰聚信價(jià)值優(yōu)勢混合C','混合型-靈活')
on duplicate key update `code` = '000363', `name` = '國泰聚信價(jià)值優(yōu)勢混合C' ,`fund_type` = '混合型-靈活';

如果存在000363基金的話，我們就進(jìn)行更新操作，如果不存在那么久插入數(shù)據(jù)。

具體實(shí)現(xiàn)的代碼如下圖所示:

2.2 基金變動(dòng)信息獲取

基金的變動(dòng)信息不論是場內(nèi)基金還是場外基金都是一樣的獲取方式，在這里就可以使用通用的邏輯進(jìn)行處理了，就是之前抓取基金變動(dòng)信息和基金價(jià)格信息的方式。

3 需要改進(jìn)的地方

3.1 基金類型

現(xiàn)在基金基本信息中的基金類型還是中文，這樣的中文存儲(chǔ)起來不符合常用的編碼規(guī)范，之前沒有處理是因?yàn)檫€不知道有多少種基金的類型，現(xiàn)在已經(jīng)獲取到了所有的基金，這個(gè)時(shí)候我們需要查詢一下所有的基金類型，然后建立枚舉來表述不同的基金類型。

# 獲取所有的基金類型信息
select distinct fund_type from tb_fund_list;

根據(jù)查詢出來的基金類型，最終定義的基金類型如下圖所示:

fund_type_dic = {
    "QDII": "1",
    "商品(不含QDII)": "2",
    "股票型": "3",
    "指數(shù)型-股票": "4",
    "混合型-偏債": "51",
    "混合型-偏股": "52",
    "混合型-平衡": "53",
    "混合型-靈活": "61",
    "債券型-中短債": "62",
    "債券型-可轉(zhuǎn)債": "63",
    "債券型-混合債": "64",
    "債券型-長債": "65"
}

根據(jù)經(jīng)驗(yàn)來說，債券型的基金相對(duì)比較多，如果對(duì)債券基金感興趣的

可以時(shí)常更新數(shù)據(jù)，在后續(xù)的操作中以非債券型基金為主進(jìn)行分析，數(shù)據(jù)總量相對(duì)較小，批量更新的時(shí)間也相對(duì)較短。