python爬取鏈家二手房的數(shù)據(jù)

更新時間：2021年05月22日 08:41:04 作者：秋無之地

相信大家買房前都會在網(wǎng)上找找資料，看看行情，問問朋友，今天就用python帶大家扒一扒《鏈家二手房》的數(shù)據(jù)

一、查找數(shù)據(jù)所在位置：

打開鏈家官網(wǎng)，進(jìn)入二手房頁面，選取某個城市，可以看到該城市房源總數(shù)以及房源列表數(shù)據(jù)。

二、確定數(shù)據(jù)存放位置：

某些網(wǎng)站的數(shù)據(jù)是存放在html中，而有些卻api接口，甚至有些加密在js中，還好鏈家的房源數(shù)據(jù)是存放到html中：

三、獲取html數(shù)據(jù)：

通過requests請求頁面，獲取每頁的html數(shù)據(jù)

# 爬取的url,默認(rèn)爬取的南京的鏈家房產(chǎn)信息
url = 'https://nj.lianjia.com/ershoufang/pg{}/'.format(page)
# 請求url
resp = requests.get(url, headers=headers, timeout=10)

四、解析html，提取有用數(shù)據(jù)：

通過BeautifulSoup解析html，并提取相應(yīng)有用的數(shù)據(jù)

soup = BeautifulSoup(resp.content, 'lxml')
# 篩選全部的li標(biāo)簽
sellListContent = soup.select('.sellListContent li.LOGCLICKDATA')
# 循環(huán)遍歷
for sell in sellListContent:
    # 標(biāo)題
    title = sell.select('div.title a')[0].string
    # 先抓取全部的div信息，再針對每一條進(jìn)行提取
    houseInfo = list(sell.select('div.houseInfo')[0].stripped_strings)
    # 樓盤名字
    loupan = houseInfo[0]
    # 對樓盤的信息進(jìn)行分割
    info = houseInfo[0].split('|')
    # 房子類型
    house_type = info[1].strip()
    # 面積大小
    area = info[2].strip()
    # 房間朝向
    toward = info[3].strip()
    # 裝修類型
    renovation = info[4].strip()
    # 房屋地址
    positionInfo = ''.join(list(sell.select('div.positionInfo')[0].stripped_strings))
    # 房屋總價
    totalPrice = ''.join(list(sell.select('div.totalPrice')[0].stripped_strings))
    # 房屋單價
    unitPrice = list(sell.select('div.unitPrice')[0].stripped_strings)[0]

以上就是我的分享，如果有什么不足之處請指出，多交流，謝謝！

以上就是python爬取鏈家二手房的數(shù)據(jù)的詳細(xì)內(nèi)容，更多關(guān)于python爬取鏈家二手房的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章:

相關(guān)文章

python 控制臺單行刷新,多行刷新實(shí)例
今天小編就為大家分享一篇python 控制臺單行刷新,多行刷新實(shí)例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-02-02
詳解appium自動化測試工具(monitor、uiautomatorviewer)
這篇文章主要介紹了詳解appium自動化測試工具（monitor、uiautomatorviewer），文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-01-01
淺談spring boot 集成 log4j 解決與logback沖突的問題
今天小編就為大家分享一篇淺談spring boot 集成 log4j 解決與logback沖突的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-02-02
Python Scrapy圖片爬取原理及代碼實(shí)例
這篇文章主要介紹了Python Scrapy圖片爬取原理及代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2020-06-06
Python中jieba庫的介紹與使用
使用jieba庫對一段文本進(jìn)行詞頻的統(tǒng)計(jì)是一件非常有意思的事，我們只需要使用這第三方庫，就可以在不閱讀文本的情況下，得到該文本的高頻率詞匯，這篇文章主要介紹了Python中jieba庫的介紹與使用,需要的朋友可以參考下
2023-03-03
python利用requests庫模擬post請求時json的使用教程
這篇文章主要介紹了python利用requests庫模擬post請求時json的使用 ,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值，需要的朋友可以參考下
2018-12-12
Python中X[:,0]和X[:,1]的用法
這篇文章主要介紹了Python中X[:,0]和X[:,1]的用法詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2021-05-05
python?存儲變量的幾種方法(推薦)
這篇文章主要介紹了python?存儲變量的幾種方法,包括numpy?自帶方法，pandas?自帶方法，sklearn?的自帶方法和pickle?庫操作方法，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，需要的朋友可以參考下
2022-11-11
Python連接MySQL數(shù)據(jù)庫的四種方法
用?Python?連接到?MySQL?數(shù)據(jù)庫的方法不是很系統(tǒng),實(shí)際中有幾種不同的連接方法,而且不是所有的方法都能與不同的操作系統(tǒng)很好地配合,本文涵蓋了四種方法,你可以用它們來連接你的Python應(yīng)用程序和MySQL,需要的朋友可以參考下
2024-08-08
linux環(huán)境部署清華大學(xué)大模型最新版 chatglm2-6b 圖文教程
這篇文章主要介紹了linux環(huán)境部署清華大學(xué)大模型最新版 chatglm2-6b ,結(jié)合實(shí)例形式詳細(xì)分析了Linux環(huán)境下chatglm2-6b部署相關(guān)操作步驟與注意事項(xiàng),需要的朋友可以參考下
2023-07-07