Python3爬蟲爬取百姓網(wǎng)列表并保存為json功能示例【基于request、lxml和json模塊】
本文實(shí)例講述了Python3爬蟲爬取百姓網(wǎng)列表并保存為json功能。分享給大家供大家參考，具體如下：
python3爬蟲之爬取百姓網(wǎng)列表并保存為json文件。這幾天一直在學(xué)習(xí)使用python3爬取數(shù)據(jù)，今天記錄一下，代碼很簡(jiǎn)單很容易上手。
首先需要安裝python3。如果還沒(méi)有安裝，可參考本站python3安裝與配置相關(guān)文章。
首先需要安裝requests和lxml和json三個(gè)模塊
需要手動(dòng)創(chuàng)建d.json文件
代碼
import requests
from lxml import etree
import json
#構(gòu)造頭文件，模擬瀏覽器訪問(wèn)
url="http://xian.baixing.com/meirongfuwu/"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36','referer':url}
response=requests.get(url,headers=headers)
body=response.text #獲取網(wǎng)頁(yè)內(nèi)容
html=etree.HTML(body,etree.HTMLParser())
gethtml=html.xpath('//div[contains(@class,"media-body-title")]')
# 存儲(chǔ)為數(shù)組list
jsondata = []
for item in gethtml:
jsonone={}
jsonone['title']=item.xpath('.//a[contains(@class,"ad-title")]/text()')[0]
jsonone['url']=item.xpath('.//a[contains(@class,"ad-title")]/attribute::href')[0]
jsonone['phone']=item.xpath('.//button[contains(@class,"contact-button")]/attribute::data-contact')[0]
jsondata.append(jsonone)
# 保存為json
with open("./d.json",'w',encoding='utf-8') as json_file:
json.dump(jsondata,json_file,ensure_ascii=False)
結(jié)果
PS：這里再為大家推薦幾款比較實(shí)用的json在線工具供大家參考使用：
在線JSON代碼檢驗(yàn)、檢驗(yàn)、美化、格式化工具：
http://tools.jb51.net/code/json
JSON在線格式化工具：
http://tools.jb51.net/code/jsonformat
在線XML/JSON互相轉(zhuǎn)換工具：
http://tools.jb51.net/code/xmljson
json代碼在線格式化/美化/壓縮/編輯/轉(zhuǎn)換工具：
http://tools.jb51.net/code/jsoncodeformat
在線json壓縮/轉(zhuǎn)義工具：
http://tools.jb51.net/code/json_yasuo_trans
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
- Python3 json模塊之編碼解碼方法講解
- Python3中對(duì)json格式數(shù)據(jù)的分析處理
- Python3自定義json逐層解析器代碼
- python3實(shí)現(xiàn)從kafka獲取數(shù)據(jù),并解析為json格式,寫入到mysql中
- python3 實(shí)現(xiàn)的對(duì)象與json相互轉(zhuǎn)換操作示例
- python3 json數(shù)據(jù)格式的轉(zhuǎn)換(dumps/loads的使用、dict to str/str to dict、json字符串/字典的相互轉(zhuǎn)換)
- Python3實(shí)現(xiàn)將本地JSON大數(shù)據(jù)文件寫入MySQL數(shù)據(jù)庫(kù)的方法
- Python3實(shí)現(xiàn)的字典、列表和json對(duì)象互轉(zhuǎn)功能示例
- 解決python3 json數(shù)據(jù)包含中文的讀寫問(wèn)題
- Python3內(nèi)置json模塊編碼解碼方法詳解
相關(guān)文章
python中用ctypes模擬點(diǎn)擊的實(shí)例講解
在本篇文章里小編給各位整理了一篇關(guān)于python中用ctypes模擬點(diǎn)擊的實(shí)例講解內(nèi)容，需要的朋友可以參考學(xué)習(xí)下。2020-11-11
這篇文章主要介紹了自己用python做的一款超炫酷音樂(lè)播放器，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-08-08
基于Python和TFIDF實(shí)現(xiàn)提取文本中的關(guān)鍵詞
TFIDF 的工作原理是按比例增加一個(gè)詞語(yǔ)在文檔中出現(xiàn)的次數(shù)，但會(huì)被它所在的文檔數(shù)量抵消。本文將利用TFIDF實(shí)現(xiàn)提取文本中的關(guān)鍵詞，感興趣的小伙伴快跟隨小編一起學(xué)習(xí)一下吧2022-04-04
這篇文章主要介紹Python變量的基礎(chǔ)知識(shí)，圍繞Python變量相關(guān)知識(shí)點(diǎn)展開(kāi),需要的朋友可以參考下面文章的具體內(nèi)容2021-10-10
解決遇到:PytorchStreamReader failed reading zip&n
本文針對(duì)"PytorchStreamReaderfailedreadingziparchive:failedfindingcentral"錯(cuò)誤提出解決方案,包括檢查文件完整性、文件路徑,嘗試更新PyTorch版本,檢查壓縮文件格式,代碼問(wèn)題,或?qū)で蠹夹g(shù)支持等,希望這些經(jīng)驗(yàn)?zāi)芙o遇到同樣問(wèn)題的人一個(gè)參考2024-09-09
使用Mixin設(shè)計(jì)模式進(jìn)行Python編程的方法講解
