python挖掘蛋卷基金投資組合數(shù)據(jù)分析

更新時間：2022年05月18日 17:02:16 作者：concyclics

這篇文章主要為大家介紹了python挖掘蛋卷基金投資組合數(shù)據(jù)分析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪

一、網(wǎng)頁分析

1、打開網(wǎng)頁

我們隨意打開一個蛋卷基金上投資組合的網(wǎng)頁，例如：

鏈接: https://danjuanapp.com/strategy/CSI1033

這里以Microsoft Edge瀏覽器為例。

點擊下載查看詳圖

2、查看json

選擇“XHR”，發(fā)現(xiàn)有一個以基金編號命名的文件，單擊它，查看請求標頭。

點擊下載查看詳圖

GET /djapi/plan/CSI1033 HTTP/1.1
Host: danjuanapp.com
Connection: keep-alive
sec-ch-ua: " Not A;Brand";v="99", "Chromium";v="90", "Microsoft Edge";v="90"
Accept: application/json, text/plain, */*
sec-ch-ua-mobile: ?0
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36 Edg/90.0.818.62
elastic-apm-traceparent: 00-25105e3e8908ba33898b0f6cd57b8a73-c782a0e5122abe33-01
Sec-Fetch-Site: same-origin
Sec-Fetch-Mode: cors
Sec-Fetch-Dest: empty
Referer: https://danjuanapp.com/strategy/CSI1033
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6
Cookie: device_id=web_Skhu79T_v; acw_tc=2760774a16215745204941604e9286878fd10c566d03eedbbb0eb93c40e0f5; channel=undefined; xq_a_token=ccd9918c5b2c091c2d0dacb2e264963ba5fb7539; Hm_lvt_b53ede02df3afea0608038748f4c9f36=1621307606,1621428116,1621514481,1621574521; Hm_lpvt_b53ede02df3afea0608038748f4c9f36=1621574634; timestamp=1621574634698

發(fā)現(xiàn)好像沒什么特別的，說不定沒有反爬的機制，不如試著直接點開這個鏈接。

點擊下載查看詳圖

原來這里面存的就是基金基本信息的json！
我們觀察這個地址：

https://danjuanapp.com/djapi/plan/CSI1033

發(fā)現(xiàn)只要更改最后的編號，就可以獲得各個基金的基本信息。

二、數(shù)據(jù)獲取

1、觀察json的結(jié)構(gòu)

我們觀察一下這個json的結(jié)構(gòu)，這里只截取部分片段。

{
	"data": {
		"plan_code": "CSI1033",
		"plan_name": "螺絲釘主動優(yōu)選組合",
		"yield": "65.93",
		"yield_name": "成立以來收益",
		"yield_middle": "48.03",
		"yield_name_middle": "成立以來年化",
……
		"found_date": "2020-02-03",
		"manager_xq_id": "3079173340",
		"manager_name": "銀行螺絲釘",
		"manager_profile_photo": "https://danjuan.aiganggu.com/o2020021580801637267.png",
		"invest_time_type": 2,
		"invest_time_name": "持有3年以上",
		"invest_money_type": 4,
		"invest_money_name": "積極增值",
		"found_days": 473,
		"min_buy_amount": "200",
		"plan_derived": {
			"end_date": "2021-05-20",
			"nav_grtd": "-0.03",
			"nav_grl1w": "2.38",
……
			"unit_nav": "1.6593",
			"yield_history": [{
				"yield": "-12.02",
				"name": "近3個月"
			}, {
				"yield": "7.40",
				"name": "近6個月"
			}, {
				"yield": "42.25",
……

我們發(fā)現(xiàn)，所有數(shù)據(jù)都存在 “data” 下， “data” 里有基金的基本信息，當日凈值存在 “plan_derived” 下的 “unit_nav” 里，那么我們只要按照這個順序從中獲取數(shù)據(jù)即可。

三、代碼實現(xiàn)

1、基本操作

a. 需要使用的模塊

用requests獲取頁面，用json庫將json文件轉(zhuǎn)化為字典。

import requests
import json

b. 隨便設(shè)置一個請求標頭

header={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}

c. 獲取頁面信息

這里的code為基金的代碼，用requests獲取頁面以后讀出具體的文本內(nèi)容，存到page里。

code='CSI1033'
url='https://danjuanapp.com/djapi/plan/'+code
page=requests.get(url,headers=header).text

我們把page輸出出來檢查一下，發(fā)現(xiàn)我們想要的都在里面。

點擊下載查看詳圖

d. 導(dǎo)入json

因為所有數(shù)據(jù)都在data里，所以我們直接進入data內(nèi)即可。

items=json.loads(page)
items=items.get("data")

e. 從json中獲取需要的信息

基金的名字

name=items.get('plan_name')

基金的當日凈值以及凈值的記錄日期
這些數(shù)據(jù)在“plan_derived”內(nèi)。

value=items.get('plan_derived').get("unit_nav")
date=items.get('plan_derived').get("end_date")

2、寫一個可以重復(fù)使用的函數(shù)

我們以code作為傳入的參數(shù)，把剛才的內(nèi)容組合起來。

def getfund(code):
    url='https://danjuanapp.com/djapi/plan/'+code
    page=requests.get(url,headers=header).text
    items=json.loads(page)
    items=items.get("data")
    value=items.get('plan_derived').get("unit_nav")
    date=items.get('plan_derived').get("end_date")
    name=items.get('plan_name')
    print("基金編號:",code,'\n基金名:',name,"\n日期:",date,"凈值:",value)

3、完整代碼

#by concyclics
import requests
import json
header={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
danjuan=['CSI1033','CSI1032','CSI1038','CSI1029','CSI1006','CSI1065']
danjuan.sort()
#獲取當天信息
def getfund(code):
    url='https://danjuanapp.com/djapi/plan/'+code
    page=requests.get(url,headers=header).text
    items=json.loads(page)
    items=items.get("data")
    value=items.get('plan_derived').get("unit_nav")
    date=items.get('plan_derived').get("end_date")
    name=items.get('plan_name')
    print("基金編號:",code,'\n基金名:',name,"\n日期:",date,"凈值:",value)
if __name__=='__main__':
    for code in danjuan:
        getfund(code)