??數(shù)據(jù)采集

??確定網(wǎng)址

王者新賽季馬上就要開始了，大家都開始沖榜了，準(zhǔn)備拿一個(gè)小省標(biāo)，那么，本文，就來練習(xí)獲取各地最低戰(zhàn)力的爬蟲采集實(shí)戰(zhàn)。

確定好我們的目標(biāo)網(wǎng)址之后，我們要找到我們需要的數(shù)據(jù)源，通過開發(fā)者工具分析，我們不難發(fā)現(xiàn)其數(shù)據(jù)地址。

請(qǐng)求URL：

https://www.sapi.run/hero/select.php

請(qǐng)求方式：

• GET

參數(shù)：

請(qǐng)求示例

https://www.sapi.run/hero/select.php?hero=孫悟空&type=aqq

返回示例

{
  "code": 200,
  "data": {
    "uid": "167",
    "name": "孫悟空",
    "alias": "齊天大圣-孫悟空",
    "platform": "安卓-扣扣區(qū)",
    "photo": "https://game.gtimg.cn/images/yxzj/img201606/heroimg/167/167.jpg",
    "area": "武強(qiáng)縣",
    "areaPower": "3693",
    "city": "潮州市",
    "cityPower": "5501",
    "province": "天津市",
    "provincePower": "7274",
    "guobiao": "11404",
    "stamp": "1654640093",
    "updatetime": "2022/06/08 06:14:53",
    "clientIP": "119.0.0.126"
  },
  "msg": " "
}

下面，我們開始寫代碼。

??獲取數(shù)據(jù)

第一步，發(fā)送請(qǐng)求，獲得數(shù)據(jù)。

import requests
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
hero_url = 'https://pvp.qq.com/web201605/herolist.shtml'
response = requests.get(url=hero_url, headers=headers)

這段代碼中，我們使用 Python 的 requests 模塊發(fā)送了一個(gè) GET 請(qǐng)求，請(qǐng)求的 URL 為 https://pvp.qq.com/web201605/herolist.shtml，并且使用了 headers 參數(shù)來設(shè)置請(qǐng)求頭信息。請(qǐng)求頭信息包括了 user-agent 字段，用于指定瀏覽器的 User-Agent 信息。

請(qǐng)求返回的結(jié)果是一個(gè) Response 對(duì)象，我們可以使用 response.text 屬性來獲取請(qǐng)求的響應(yīng)內(nèi)容。在這個(gè)例子中，我們使用了 response.json() 方法來將響應(yīng)內(nèi)容轉(zhuǎn)換為 JSON 格式，并將其存儲(chǔ)在 response.text 屬性中。

response.encoding='gbk'
heros = re.findall('alt=".*?">(.*?)</a>',response.text)[0:93]

這段代碼中，我們使用 Python 的 re 模塊中的 findall() 函數(shù)來查找 JSONP 回調(diào)函數(shù)的參數(shù)。findall() 函數(shù)可以返回一個(gè)列表，其中包含了所有匹配的子字符串。

在這個(gè)例子中，我們使用 findall() 函數(shù)來查找 JSONP 回調(diào)函數(shù)的參數(shù)，并將其存儲(chǔ)在 response.text 變量中。然后，我們使用 [0:93] 來獲取第一個(gè)匹配的子字符串，并將其存儲(chǔ)在 heros 變量中。

需要注意的是，findall() 函數(shù)返回的子字符串列表中可能包含多個(gè)匹配的子字符串，因此我們需要使用 [0:93] 來獲取第一個(gè)匹配的子字符串。

??解析數(shù)據(jù)

我們發(fā)現(xiàn)，我們得到了這樣英雄名字的數(shù)據(jù)，下面，我們就可以構(gòu)建url，獲取戰(zhàn)力信息。

for hero in heros:
    print(hero)
    url = f'https://www.sapi.run/hero/select.php?hero={hero}&type=qq'
    res = requests.get(url)
    data = res.json()['data']
    name = data['name']
    area = data['area']
    areaPower= data['areaPower']
    city = data['city']
    cityPower = data['cityPower']
    province= data['province']
    provincePower = data['provincePower']
    platform= data['platform']
    updatetime = data['updatetime']

這段代碼中，我們使用 Python 的 requests 模塊發(fā)送了一個(gè) GET 請(qǐng)求，請(qǐng)求的 URL 為 https://www.sapi.run/hero/select.php?hero={hero}&type=qq，并且使用了 json() 方法將響應(yīng)內(nèi)容轉(zhuǎn)換為 JSON 格式，并將其存儲(chǔ)在 res.json() 變量中。

請(qǐng)求返回的結(jié)果是一個(gè) Response 對(duì)象，我們可以使用 response.json() 方法將響應(yīng)內(nèi)容轉(zhuǎn)換為 JSON 格式，并將其存儲(chǔ)在 res.json() 變量中。

在這個(gè)例子中，我們使用了 res.json() 變量來獲取響應(yīng)內(nèi)容，并將其存儲(chǔ)在 data 變量中。然后，我們使用 name 變量獲取了英雄名稱，使用 area 變量獲取了區(qū)域名字，使用 areaPower 變量獲取了區(qū)域戰(zhàn)力，使用 city 變量獲取了市，使用 cityPower 變量獲取了市戰(zhàn)力，使用 province 變量獲取了省份，使用 provincePower 變量獲取了省份戰(zhàn)力，使用 platform 變量獲取了平臺(tái)，使用 updatetime 變量獲取了更新時(shí)間。

保存數(shù)據(jù)

dit = {
    '英雄名稱':name,
    '服務(wù)區(qū)':platform,
    '更新時(shí)間': updatetime,
    '銅牌區(qū)域':area,
    '銅牌分?jǐn)?shù)': areaPower,
    '銀牌區(qū)域':city,
    '銀牌分?jǐn)?shù)': cityPower,
    '金牌區(qū)域':province,
    '金牌分?jǐn)?shù)':provincePower ,
}

這段代碼是一個(gè) Python 代碼片段，它定義了一個(gè)字典，其中包含了一些英雄的信息，包括英雄名稱、服務(wù)區(qū)、更新時(shí)間、銅牌區(qū)域、銅牌分?jǐn)?shù)、銀牌區(qū)域、銀牌分?jǐn)?shù)、金牌區(qū)域、金牌分?jǐn)?shù)等。

下面就是數(shù)據(jù)的寫入了。其實(shí)，把字典數(shù)值寫入到csv文件里面，特別簡(jiǎn)單，只需呀四行代碼就可以實(shí)現(xiàn)。

f = open('最低戰(zhàn)力.csv', mode='a', encoding='utf-8_sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['英雄名稱', '服務(wù)區(qū)', '更新時(shí)間', '銅牌區(qū)域', '銅牌分?jǐn)?shù)',
                                           '銀牌區(qū)域', '銀牌分?jǐn)?shù)', '金牌區(qū)域','金牌分?jǐn)?shù)'])
csv_writer.writeheader()

這段代碼打開了一個(gè)名為 '最低戰(zhàn)力.csv' 的文件，并將其以追加模式打開。它還指定了文件的編碼為 UTF-8 和行結(jié)束符為空字符串（newline=''）。

然后，代碼創(chuàng)建了一個(gè) csv.DictWriter 對(duì)象，并將其與文件對(duì)象關(guān)聯(lián)起來。fieldnames 參數(shù)指定了字典中的鍵和值的名稱。

接下來，代碼調(diào)用 writeheader() 方法來寫入表頭。這個(gè)方法將字典中的鍵值對(duì)寫入文件中，并將其作為表頭。

寫入字典數(shù)值。

csv_writer.writerow(dit)

這時(shí)候，我們就會(huì)在文件夾里面找到最低戰(zhàn)力的csv文件，我們打開看看效果。

以上就是Python采集王者最低戰(zhàn)力信息實(shí)戰(zhàn)示例的詳細(xì)內(nèi)容，更多關(guān)于Python采集王者戰(zhàn)力信息的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論