快捷導(dǎo)航

Python+Selenium實現(xiàn)短視頻熱點爬取

更新時間：2022年04月26日 08:31:50 作者：小六公子

隨著短視頻的大火，不僅可以給人們帶來娛樂，還有熱點新聞時事以及各種知識，刷短視頻也逐漸成為了日常生活的一部分。本文將通過Pyhton依托Selenium來爬取短視頻熱點，需要的可以參考一下

隨著短視頻的大火，不僅可以給人們帶來娛樂，還有熱點新聞時事以及各種知識，刷短視頻也逐漸成為了日常生活的一部分。本文以一個簡單的小例子，簡述如何通過Pyhton依托Selenium來爬取短視頻，僅供學(xué)習(xí)分享使用，如有不足之處，還請指正。

涉及知識點

1.selenium，作為瀏覽器端一個自動化測試工具，可以模擬用戶操作瀏覽器的動作，就像是人自己操作瀏覽器一樣。關(guān)于selenium的具體信息如下

Selenium進(jìn)行元素定位，主要有ID，Name，ClassName，Css Selector，Partial LinkText，LinkText，XPath，TagName等8種方式。
Selenium獲取單一元素（如：find_element）和獲取元素數(shù)組（如：find_elements）兩種方式。
Selenium元素定位后，可以給元素進(jìn)行賦值和取值，或者進(jìn)行相應(yīng)的事件操作（如：click）。

2.requests，web請求對象，通過selenium獲取到視頻的url后，再通過requests庫進(jìn)行視頻流的獲取，然后保存成本地視頻文件。

3.瀏覽器開發(fā)者工具，通過開發(fā)者工具可以查看頁面上某一個按鈕或鏈接等頁面元素對應(yīng)的html標(biāo)識。

目標(biāo)分析

在爬取視頻之前，需要分析目標(biāo)結(jié)構(gòu)，本視頻爬取分析可分為三步，具體如下所示：

1. 分析熱榜目錄

熱榜目錄是一個ul標(biāo)簽，每一個熱榜對象一個li子標(biāo)簽，分別包含熱度，標(biāo)題等內(nèi)容。點擊標(biāo)題鏈接可以進(jìn)入具體視頻播放頁面，目標(biāo)分析如下所示：

2.分析視頻播放頁面

視頻在video標(biāo)簽中播放，短視頻播放的真實地址，在video的source子標(biāo)簽中，且為了保證播放質(zhì)量，video下有三個source，任取其一即可，如下所示：

3. 分析彈出框

在爬取過程中，經(jīng)過彈出需要登錄的窗口，需要及時關(guān)閉掉，否則可能會導(dǎo)致找不到頁面元素，從而爬取不成功。如下所示：

核心代碼

經(jīng)過以上分析，就可以編寫爬蟲代碼了，如下所示：

1. 遍歷熱點目錄

通過獲取頁面上對應(yīng)的信息，解析出熱點視頻的目錄，如下所示：

self.__driver.get(self.__url)
self.close_popup_window()
# 4. 最大化窗口
self.__driver.maximize_window()
time.sleep(self.__wait_sec)
# 打開以后，根據(jù)class=BHgRhxNh獲取ul下的li
if self.checkIsExistsByClass(cls='BHgRhxNh'):
    # 獲取
    hots = self.__driver.find_elements(by=By.CLASS_NAME, value='BHgRhxNh')
    hot_infos = []
    index = 0
    for hot in hots:
        hot_info = {}
        a = hot.find_element(by=By.TAG_NAME, value='a')
        href = a.get_attribute("href")
        text = a.text
        hot_info['url'] = href
        hot_info['text'] = text
        if index > 0:
            div = hot.find_element(by=By.CLASS_NAME, value='GsuT_hjh')
            if div is not None:
                hot_value = div.find_element(by=By.TAG_NAME, value='span').text
                hot_info['value'] = hot_value
        hot_infos.append(hot_info)
        index = index + 1
    print(hot_infos)

2. 獲取真實短視頻url

打開單個熱點視頻的url，并解析真實短視頻播放url，如下所示：

def open_video_html(self, url):
    """打開具體視頻的頁面"""
    self.__driver.get(url=url)
    time.sleep(1)
    self.close_popup_window()  # 關(guān)閉彈窗
    video = self.__driver.find_element(by=By.TAG_NAME, value='video')
    source = video.find_element(by=By.TAG_NAME, value='source')
    src = source.get_attribute('src')
    return src

3. 下載視頻

獲取真實的url后，即可進(jìn)行下載，如下所示：

def download_video(self, url, video_name):
    """根據(jù)視頻源地址進(jìn)行下載"""
    if os.path.exists(video_name):
        # 如果已重新下載過，則不需要再次下載
        return
    else:
        with open(video_name, 'wb') as fp:
            fp.write(requests.get(url).content)

4. 關(guān)閉彈出的登錄窗口

在爬取過程中，經(jīng)常彈出需要登錄的遮罩窗口，需要進(jìn)行關(guān)閉，如下所示：

def close_popup_window(self):
    try:
        login = self.__driver.find_element(by=By.ID, value='login-pannel')
        if login is not None:
            login.find_element(by=By.CLASS_NAME, value='dy-account-close').click()
    except BaseException as e:
        pass
    try:
        login = self.__driver.find_element(by=By.CLASS_NAME, value='GaDkStRD')
        if login is not None:
            btns = login.find_elements(by=By.TAG_NAME, value='button')
            for btn in btns:
                if btn.text == '取消':
                    btn.click()
                    break
    except BaseException as e:
        pass

5. 保存日志

在爬取成功后，對爬取的短視頻的相關(guān)內(nèi)容進(jìn)行保存，如下所示：

def save_data(self, hot_infos):
    """
    保存數(shù)據(jù)
    :param res_list: 保存的內(nèi)容文件
    :return:
    """
    t = time.strftime("%Y-%m-%d", time.localtime())
    with open(f'logs[{t}].json', 'a', encoding='utf-8') as f:
        res_list_json = json.dumps(hot_infos, ensure_ascii=False)
        f.write(res_list_json)

示例截圖

程序開發(fā)完成后，運(yùn)行示例如下所示：

爬取的視頻保存在download目錄下，如下所示：

總結(jié)

為什么會采用selenium進(jìn)行本次短視頻的爬取，而不直接采用requests庫，原因如下：

在對目標(biāo)網(wǎng)站進(jìn)行分析的過程中，發(fā)現(xiàn)目標(biāo)網(wǎng)站采用異步調(diào)用的方式數(shù)據(jù)獲取，即網(wǎng)址請求獲取的只是空殼，并沒有真實的數(shù)據(jù)。
在對異步接口調(diào)用的url進(jìn)行分析時發(fā)現(xiàn)，很多接口的url都具有時效性及有效性驗證，如token，時間戳等，構(gòu)造起來相當(dāng)麻煩。

由于以上兩點原因，結(jié)合selenium的特點及優(yōu)勢，所以最終采用selenium進(jìn)行此次爬蟲的最佳選擇。

以上就是Python+Selenium實現(xiàn)短視頻熱點爬取的詳細(xì)內(nèi)容，更多關(guān)于Python Selenium熱點爬取的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: