Python爬蟲實(shí)戰(zhàn)演練之采集糗事百科段子數(shù)據(jù)
更新時(shí)間：2021年10月21日 10:45:35 作者：松鼠愛吃餅干
讀萬卷書不如行萬里路，只學(xué)書上的理論是遠(yuǎn)遠(yuǎn)不夠的，只有在實(shí)戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用Python采集糗事百科段子的數(shù)據(jù),大家可以在過程中查缺補(bǔ)漏，提升水平
知識(shí)點(diǎn)
1.爬蟲基本步驟
2.requests模塊
3.parsel模塊
4.xpath數(shù)據(jù)解析方法
5.分頁功能
爬蟲基本步驟:
1.獲取網(wǎng)頁地址 (糗事百科的段子的地址)
2.發(fā)送請(qǐng)求
3.數(shù)據(jù)解析
4.保存 本地
爬蟲代碼
導(dǎo)入所需模塊
import re import requests import parsel
獲取網(wǎng)頁地址
url = 'https://www.qiushibaike.com/text/'
# 請(qǐng)求頭 偽裝客戶端向服務(wù)器發(fā)送請(qǐng)求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}
發(fā)送請(qǐng)求
requ = requests.get(url=url, headers=headers).text
數(shù)據(jù)解析
sel = parsel.Selector(requ) # 解析對(duì)象 <Selector xpath=None data='<html xmlns="http://www.w3.org/1999/x...'>
href = sel.xpath('//body/div/div/div[2]/div/a[1]/@href').getall()
for html in href:
txt_ + html
requ2 = requests.get(url=txt_href, headers=headers).text
sel2 = parsel.Selector(requ2)
title = sel2.xpath('//body/div[2]/div/div[2]/h1/text()').get().strip()
title = re.sub(r'[|/\：？<>*]','_',title)
# content = sel2.xpath('//div[@class="content"]/text()').getall()
content = sel2.xpath('//body/div[2]/div/div[2]/div[2]/div[1]/div/text()').getall()
contents = '\n'.join(content)
保存數(shù)據(jù)
with open('糗事百科text\\'+title + '.txt', mode='w', encoding='utf-8') as fp:
fp.write(contents)
print(title, '下載成功')
運(yùn)行代碼，得到數(shù)據(jù)
【付費(fèi)VIP完整版】只要看了就能學(xué)會(huì)的教程，80集Python基礎(chǔ)入門視頻教學(xué)
到此這篇關(guān)于Python爬蟲實(shí)戰(zhàn)演練之采集糗事百科段子數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python 采集糗事百科段子內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:
相關(guān)文章
在本篇文章里小編給大家整理的是一篇關(guān)于python中Pexpect的工作流程實(shí)例講解內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2021-03-03
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)圖片橫向和縱向拼接，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-03-03
Selenium webdriver添加cookie實(shí)現(xiàn)過程詳解
這篇文章主要介紹了Selenium webdriver添加cookie實(shí)現(xiàn)過程詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
Qt5.14 與 OpenCV4.5 教程之圖片增強(qiáng)效果
這篇文章主要介紹了Qt5.14 與 OpenCV4.5 教程之圖片增強(qiáng)效果的實(shí)現(xiàn)，本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2021-11-11
python獲取當(dāng)前git的repo地址的示例代碼
大家好,當(dāng)談及版本控制系統(tǒng)時(shí),Git是最為廣泛使用的一種,而Python作為一門多用途的編程語言,在處理Git倉庫時(shí)也展現(xiàn)了其強(qiáng)大的能力,本文給大家介紹了python獲取當(dāng)前git的repo地址的方法,需要的朋友可以參考下2024-09-09
這篇文章主要介紹了python pillow模塊使用方法詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
這篇文章主要為大家詳細(xì)介紹了python多進(jìn)程共享變量的相關(guān)資料，感興趣的小伙伴們可以參考一下2016-04-04
本文是面向SEO人群的Python程序語言入門教程，也適用于其他沒有程序基礎(chǔ)但想學(xué)習(xí)些程序，以解決簡(jiǎn)單的實(shí)際應(yīng)用需求的人群。在后面會(huì)盡量用最基礎(chǔ)的角度來介紹這門語言2012-07-07
python用selenium打開chrome瀏覽器保持登錄方式
大家好，本篇文章主要講的是python用selenium打開chrome瀏覽器保持登錄方式，感興趣的同學(xué)趕快來看一看吧，對(duì)你有幫助的話記得收藏一下2022-02-02
Python 處理數(shù)據(jù)的實(shí)例詳解
這篇文章主要介紹了Python 處理數(shù)據(jù)的實(shí)例詳解的相關(guān)資料,這里主要介紹Python 常用的基礎(chǔ)知識(shí)并附實(shí)例，需要的朋友可以參考下2017-08-08