python 爬取華為應(yīng)用市場評論
代碼分享
整個項目我放在了github上，在python3.7下可以正常使用，如果有什么問題歡迎大家指正。
github項目地址：https://github.com/LSY-C/scrapy_hauweiappstore_comment
分別爬取的一些應(yīng)用信息以及應(yīng)用的評論信息，數(shù)據(jù)結(jié)構(gòu)如下：
一、安裝并創(chuàng)建Scrapy項目
Scrapy官方文檔：https://docs.scrapy.org/en/latest/intro/install.html
Scrapy是一個比較好用的python爬蟲框架，官方文檔寫得也比較詳細(xì)?？梢灾苯舆\行以下命令安裝：
pip install Scrapy
安裝完畢后，需要創(chuàng)建Scrapy項目，相當(dāng)于是一個爬蟲項目框架，在想要放置項目的地方打開命令行并輸入以下命令會自動創(chuàng)建一個名為[project_name]的文件夾，比如我這里的[project_name]是appstore，文件夾中會自動生成的一些文件。
scrapy startproject appstore
- appstore/scrapy.cfg中包含了用于啟動爬蟲的一些基礎(chǔ)配置，一般不用管它。
- appstore/appstore/items.py：定義了爬取到的數(shù)據(jù)格式類，在這里面創(chuàng)建類來存放爬取到的數(shù)據(jù)的item格式。
- appstore/appstore/middlewares.py：定義了爬蟲中間鍵的一些行為，我一般也不會去動它。
- appstore/appstore/pipelines.py：定義了爬取到item后對其進行的處理。
- appstore/appstore/settings.py：是爬蟲配置文件。
- appstore/appstore/spiders/：這個目錄下存放的是爬蟲，也就是向網(wǎng)頁發(fā)送請求并受到應(yīng)答然后進行數(shù)據(jù)處理的過程。
二、爬取應(yīng)用市場評論過程
爬取網(wǎng)頁信息有兩個常用的方法：
- 直接通過xpath解析html文件
- 依據(jù)特定格式構(gòu)造請求獲取json數(shù)據(jù)進行解析
顯然前者更簡單方便一些，但是現(xiàn)在許多網(wǎng)頁都是動態(tài)的，所以后者泛用性更強一些，這里我爬取華為應(yīng)用市場上所有應(yīng)用的評論信息主要使用的是后面一種方法。
1. Scrapy爬蟲運行流程
首先需要大致了解Scrapy的爬蟲是如何運作的，分為以下幾個步驟：
- Step1: 在項目的spiders文件夾中新建一個.py文件，比如huawei.py，一般來說每一個文件代表一個爬蟲，也就是對某一個網(wǎng)頁的爬取策略。
- Step2: 創(chuàng)建一個類繼承自scrapy.Spider，類中至少需要有name、allowed_domain、start_urls變量以及一個函數(shù)parse(self)。其中name是此爬蟲的唯一標(biāo)識，之后啟動時通過指定name來判斷啟動哪個爬蟲（因為spiders文件夾中可能包含多個爬蟲文件）；allowed_domain用來指定當(dāng)前爬蟲可以訪問的主域名；start_urls用來指定首先獲取的頁面，而此獲取結(jié)果將會交由parse函數(shù)進行處理。每個爬蟲中的處理函數(shù)可能有很多個，命名格式一般是parse_xxx之類的，用來處理多級頁面，比如parse處理完主頁面之后構(gòu)造新的請求獲取二級頁面信息并通過parse_second進行處理，但不管怎么樣都會包含一個parse函數(shù)。
import scrapy
class HuaWei(scrapy.Spider):
name = "huawei"
allowed_domains = ['appstore.huawei.com', 'web-drcn.hispace.dbankcloud.cn']
start_urls = [
'https://web-drcn.hispace.dbankcloud.cn/uowap/index?method=internal.getTemplate&serviceType=20&zone=&locale=zh']
def parse(self, response):
pass
- step3: 爬蟲編寫好之后，在項目根目錄（也就是scrapy.cfg文件的同級目錄）打開命令行，并輸入以下命令啟動爬蟲：
scrapy crawl hauwei
2. 頁面分析
首先，通過瀏覽器訪問應(yīng)用市場，分析一下想要爬取網(wǎng)頁的基本信息，這里我想要爬取應(yīng)用市場中所有應(yīng)用的評論，所以首先需要進入到所有應(yīng)用的詳細(xì)界面，然后在詳細(xì)界面中展開評論進行爬取，基本的思路是：對每一個分類–>對每一個子分類–>展開每一個應(yīng)用–>獲取應(yīng)用全部評論。
爬取的初始頁面是https://appgallery.huawei.com/#/Apps，瀏覽器中使用F12啟動開發(fā)者模式，調(diào)試網(wǎng)頁前端代碼，我們希望的是能夠找到頁面排版的某些規(guī)律。
頁面分析過程一
我們發(fā)現(xiàn)不管在應(yīng)用分類的選項卡中選擇哪一個分類或是子分類，url都不會變。也就是說，選擇分類后顯示對應(yīng)的應(yīng)用列表這一功能是動態(tài)實現(xiàn)的，我們沒辦法通過抓取html中的信息來獲取不同分類的應(yīng)用列表，那么我們只能通過自己構(gòu)造請求獲取json數(shù)據(jù)的方式爬取信息。
首先，打開調(diào)試窗口中的Network選項卡來分析獲取不同分類應(yīng)用列表時的網(wǎng)絡(luò)數(shù)據(jù)包：
除了第一個數(shù)據(jù)包以外，后面的都是獲取應(yīng)用圖標(biāo)數(shù)據(jù)，也就是說第一個數(shù)據(jù)包里面就包含了應(yīng)用的其他數(shù)據(jù)，查看此數(shù)據(jù)包中的request_url為：
https://web-drcn.hispace.dbankcloud.cn/uowap/index ?method=internal.getTabDetail &serviceType=20 &reqPageNum=1 &uri=8e62cf6d238c4abdb892b400ff072f43 &maxResults=25 &zone= &locale=zh
我們直接在瀏覽器中訪問此url，可以得到一個json文件，分析后發(fā)現(xiàn)此json文件中包含了列表中應(yīng)用的信息。點擊不同的分類、子分類，獲取不同的request_url，我們發(fā)現(xiàn)，每一個子分類的request_url都只有uri字段不一樣，且默認(rèn)情況都只顯示第1頁的25個應(yīng)用。也就是說我們以此request_url為模板，修改uri字段實現(xiàn)獲取不同類別應(yīng)用列表，修改reqPageNum字段獲取列表中的多頁應(yīng)用。
頁面分析過程二
手動點進每一個應(yīng)用的詳細(xì)界面時，我們發(fā)現(xiàn)，不同應(yīng)用的詳細(xì)界面的url只有最后的定位有不同，比如騰訊視頻與優(yōu)酷視頻這兩個應(yīng)用詳細(xì)界面的url分別是：
多觀察幾個應(yīng)用就會發(fā)現(xiàn)最后的那一串代碼應(yīng)該是類似于應(yīng)用唯一標(biāo)識符一樣的東西。而在上一步中，我們可以發(fā)現(xiàn)在獲取的每個應(yīng)用信息中包含能夠找到這些標(biāo)識符（‘a(chǎn)ppid'鍵的值），于是我在這里嘗試直接以這種格式構(gòu)造url請求獲取頁面，但是失敗了，猜測可能是頁面重定向的問題，沒辦法，只能按部就班地通過其它方式繼續(xù)分析。
通過F12查看頁面排版，每一個app卡片中雖然有app名稱以及一些其他信息，但是找不到app詳細(xì)頁面的鏈接，因為獲取應(yīng)用詳細(xì)信息功能被寫成了使用js動態(tài)獲取的，因此我們沒辦法直接從html界面中獲取，所以依舊采用構(gòu)造request_url的方法獲取json數(shù)據(jù)。
與分析過程一類似，我們可以獲取以下的request_url：
https://web-drcn.hispace.dbankcloud.cn/uowap/index ?method=internal.getTabDetail &serviceType=20 &reqPageNum=1 &maxResults=25 &uri=app%7CC174391 &shareTo= ¤tUrl=https%253A%252F%252Fappgallery.huawei.com%252F%2523%252Fapp%252FC174391 &accessId= &appid=C174391 &zone= &locale=zh
通過此request_url獲取的json中包含了應(yīng)用的詳細(xì)信息，實際上通過測試，其中的reqPageNum、maxResults、shareTo、currentUrl、accessId、appid、zone、locale字段都是不需要的，而又發(fā)現(xiàn)uri字段中后面的“C174391”是當(dāng)前應(yīng)用的appid，也就是說我們只需要修改uri字段的“app%7C”后面的字符串為不同應(yīng)用的appid（可以在分析過程一中的json文件里獲取），就可以獲取不同應(yīng)用的詳細(xì)信息。
頁面分析過程三
有了上面兩次分析的經(jīng)驗，我們繼續(xù)來爬取每個應(yīng)用的評論數(shù)據(jù)，發(fā)現(xiàn)這些數(shù)據(jù)也是通過js動態(tài)獲取的，于是繼續(xù)分析request_url，格式如下：
https://web-drcn.hispace.dbankcloud.cn/uowap/index ?method=internal.user.commenList3 &serviceType=20 &reqPageNum=1 &maxResults=25 &appid=C2002 &version=10.0.0 &zone= &locale=zh
與之前類似，我們可以通過修改appid字段爬取不同應(yīng)用的評論，通過修改reqPageNum字段爬取多頁評論。
3. 爬蟲實現(xiàn)
整個爬取過程就是：構(gòu)造request_url請求獲取json數(shù)據(jù)–>解析json數(shù)據(jù)–>構(gòu)造新的request_url獲取json數(shù)據(jù)–>…
下面是爬蟲中的一個處理函數(shù)，功能是處理每一個應(yīng)用的詳細(xì)信息并構(gòu)造獲取評論的request_url發(fā)送新的請求，接下來依次說明其中的關(guān)鍵部分。
def app_parse(self, response):
"""
解析應(yīng)用，獲取應(yīng)用名稱、描述、資費、版本、開發(fā)者，然后轉(zhuǎn)至appcomment_parse進行處理
:param resonse:
:return:
"""
appid = response.meta['appid']
app_json = json.loads(response.text)
Name = app_json.get('layoutData')[0].get('dataList')[0].get('name')
Star = app_json.get('layoutData')[0].get('dataList')[0].get('intro')
Downloads = app_json.get('layoutData')[0].get('dataList')[0].get('stars')
Price = app_json.get('layoutData')[3].get('dataList')[0].get('tariffDesc')
Version = app_json.get('layoutData')[3].get('dataList')[0].get('version')
Developer = app_json.get('layoutData')[3].get('dataList')[0].get('developer')
Description = app_json.get('layoutData')[7].get('dataList')[0].get('appIntro').replace('\n', '')
AppData = AppItem(
AppId=appid,
AppName=Name,
AppDesc=Description,
AppPrice=Price,
AppVersion=Version,
AppDeveloper=Developer,
AppStar=Star,
AppDownloads=Downloads
)
yield AppData
for pagenum in range(1, 20):
request_url = "https://web-drcn.hispace.dbankcloud.cn/uowap/index?method=internal.user.commenList3&serviceType=20&reqPageNum={}&maxResults=25&appid={}&version=10.0.0&zone=&locale=zh".format(
pagenum, appid)
yield scrapy.Request(url=request_url, callback=self.appcomment_parse, meta={'appid': appid})
解析json并構(gòu)造請求
第8行中通過json.loads將響應(yīng)解析為json格式，并在后續(xù)使用鍵值與index訪問里面的信息。
將數(shù)據(jù)保存在items中
在items.py文件中定義好Item類之后，可以在此新建一個Item對象，并在填入相應(yīng)的值，將此item返回交由pipeline.py進行處理。
# items.py
class AppItem(scrapy.Item):
AppId = scrapy.Field()
AppName = scrapy.Field()
AppDesc = scrapy.Field()
AppPrice = scrapy.Field()
AppVersion = scrapy.Field()
AppDeveloper = scrapy.Field()
AppStar = scrapy.Field()
AppDownloads = scrapy.Field()
yield是python中的一個關(guān)鍵詞，與return類似，會讓函數(shù)返回此關(guān)鍵詞修飾的表達式值，與return不同的是，yield在返回一個值后會繼續(xù)執(zhí)行后面的代碼，而return不會。
構(gòu)造新的請求
在最后一行中針對所有評論列表構(gòu)造新的request_url以獲取評論信息，并通過scrapy.Request發(fā)送請求，其中callback指定用于處理此請求響應(yīng)的處理函數(shù)，而meta中包含了想要傳遞給callback函數(shù)的信息。
item數(shù)據(jù)的處理
在爬取數(shù)據(jù)的過程中，處理函數(shù)會實時將不同的item返回并交由pipeline進行處理，此時需要在pipeline.py中指定如何處理這些item，比如在此我把數(shù)據(jù)全都記錄入csv表格中。pipeline類中必須定義process_item函數(shù)來處理每一個item，而__init__與close_spider都是可選的。
class AppStorePipeline:
def __init__(self):
self.app_list = []
self.comment_list = []
def process_item(self, item, spider): # 接收到item時調(diào)用的函數(shù)
if isinstance(item, AppItem):
self.app_list.append(dict(item))
elif isinstance(item, CommentItem):
self.comment_list.append(dict(item))
return item
def close_spider(self, spider): # 當(dāng)爬蟲關(guān)閉時調(diào)用的函數(shù)
df_app = pd.DataFrame(self.app_list)
df_comment = pd.DataFrame(self.comment_list)
df_app.to_csv('app_info.csv')
df_comment.to_csv('comment_info.csv')
以上就是python 爬取華為應(yīng)用市場評論的詳細(xì)內(nèi)容，更多關(guān)于python 爬取華為應(yīng)用市場的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
大家好，本篇文章主要講的是Python不同格式打印九九乘法表示例，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下哦，方便下次瀏覽2021-12-12
Python數(shù)據(jù)清洗之抽取jsonl文件數(shù)據(jù)字段并合并
這篇文章主要為大家詳細(xì)介紹了Python數(shù)據(jù)清洗之抽取jsonl文件數(shù)據(jù)字段并合并的相關(guān)知識,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解下2025-03-03
今天小編就為大家分享一篇Python 隱藏輸入密碼時屏幕回顯的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
這篇文章主要介紹了Python繪制地理圖表可視化神器pyecharts，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價值，需要的小伙伴可以參考一下2022-07-07
pyspark創(chuàng)建DataFrame的幾種方法
為了便于操作，使用pyspark時我們通常將數(shù)據(jù)轉(zhuǎn)為DataFrame的形式來完成清洗和分析動作。那么你知道pyspark創(chuàng)建DataFrame有幾種方法嗎，下面就一起來了解一下2021-05-05
今天小編就為大家分享一篇使用python進行文本預(yù)處理和提取特征的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
這篇文章主要介紹了python基礎(chǔ)教程之Filter使用方法的相關(guān)資料,這里對Python Filter 進行了簡單實例詳解，需要的朋友可以參考下2017-01-01
這篇文章主要介紹了詳解Python各大聊天系統(tǒng)的屏蔽臟話功能原理,小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。2016-12-12
這篇文章主要介紹了opencv模板匹配相同位置去除重復(fù)的框，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
今天小編就為大家分享一篇快速解決PyCharm無法引用matplotlib的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05