Selenium+BeautifulSoup+json獲取Script標(biāo)簽內(nèi)的json數(shù)據(jù)
更新時間：2020年12月07日 10:29:23 作者：詭途
這篇文章主要介紹了Selenium+BeautifulSoup+json獲取Script標(biāo)簽內(nèi)的json數(shù)據(jù)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
Selenium爬蟲遇到 數(shù)據(jù)是以 JSON 字符串的形式包裹在 Script 標(biāo)簽中，
假設(shè)Script標(biāo)簽下代碼如下：
<script id="DATA_INFO" type="application/json" >
{
"user": {
"isLogin": true,
"userInfo": {
"id": 123456,
"nickname": "LiMing",
"intro": "人生苦短，我用python"
}
}
}
</script>
此時drive.find_elements_by_xpath('//*[@id="DATA_INFO"] 只能定位到元素，但是無法通過.text方法，獲取Script標(biāo)簽下的json數(shù)據(jù)
from bs4 import BeautifulSoup as bs
import json as js
#selenium獲取當(dāng)前頁面源碼
html = drive.page_source
#BeautifulSoup轉(zhuǎn)換頁面源碼
bs=BeautifulSoup(html,'lxml')
#獲取Script標(biāo)簽下的完整json數(shù)據(jù)，并通過json加載成字典格式
js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text())
#獲取Script標(biāo)簽下的nickname 值
js_tes
到此這篇關(guān)于Selenium+BeautifulSoup+json獲取Script標(biāo)簽內(nèi)的json數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Selenium+BeautifulSoup獲取json內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python GUI庫圖形界面開發(fā)之PyQt5信號與槽基礎(chǔ)使用方法與實例
這篇文章主要介紹了python GUI庫圖形界面開發(fā)之PyQt5信號與槽基礎(chǔ)使用方法與實例,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了Python中bisect的用法,主要講述了針對數(shù)組的插入及排序操作,非常具有實用價值,需要的朋友可以參考下2014-09-09
這篇文章主要介紹了Pandas之ReIndex重新索引的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
本篇文章主要介紹了python實現(xiàn)冒泡排序的兩種方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-03-03
Python技巧匿名函數(shù)、回調(diào)函數(shù)和高階函數(shù)
本文分享的是Python技巧匿名函數(shù)、回調(diào)函數(shù)和高階函數(shù),我們在Python中使用lambda表達式來使用匿名函數(shù)，回調(diào)函數(shù)即callback，先寫一個函數(shù)，讓預(yù)先寫好的系統(tǒng)來調(diào)用，一個函數(shù)可以作為參數(shù)傳給另外一個函數(shù)，或者一個函數(shù)的返回值為另外一個函數(shù)，滿足其一則為高階函數(shù)2021-12-12
Python中的yeild關(guān)鍵字提高代碼執(zhí)行效率場景實例探究
在Python編程語言中,yeild是一個非常實用的關(guān)鍵字,它不僅可以幫助你編寫更加簡潔的代碼,還可以提高代碼的執(zhí)行效率,本文將詳細介紹yeild在Python中的使用方法,并通過示例代碼進行演示,讓我們一起來探索這個強大的關(guān)鍵字吧2024-01-01
Beautiful Soup是python的一個庫，最主要的功能是從網(wǎng)頁抓取數(shù)據(jù)。今天通過本文給大家分享python beautiful soup庫入門教程，需要的朋友參考下吧2021-08-08
通過python實現(xiàn)Google的精準(zhǔn)搜索功能
這篇文章主要介紹了通過python實現(xiàn)Google的精準(zhǔn)搜索功能,本文通過實例代碼給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友參考下吧2024-05-05
這篇文章主要介紹了使用SAE部署Python運行環(huán)境的教程,SAE作為新浪的在線軟件部署平臺,在國內(nèi)擁有一定的性價比,需要的朋友可以參考下2015-05-05
這篇文章主要為大家詳細介紹了python批量查詢、漢字去重處理CSV文件，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-05-05