Selenium爬取b站主播頭像并以昵稱命名保存到本地
申明:資料來(lái)源于網(wǎng)絡(luò)及書本,通過(guò)理解、實(shí)踐、整理成學(xué)習(xí)筆記。
Pythion的Selenium自動(dòng)化測(cè)試之獲取嗶哩嗶哩主播的頭像以昵稱命名保存到本地文件
效果圖

方法1
通過(guò)接口獲取
首先使用pip下載requests包
pip install requests

import requests
# 通過(guò)接口獲取請(qǐng)求的接口:想要獲取網(wǎng)頁(yè)的url
url = 'https://api.live.bilibili.com/xlive/web-interface/v1/second/getList?platform=web&parent_area_id=1&area_id=0&sort_type=sort_type_152&page=1'
# 發(fā)送get請(qǐng)求,獲取返回?cái)?shù)據(jù)
request = requests.get(url)
# 保存圖片的路徑
dir = '../requests/bilibili/'
# 將獲取的數(shù)據(jù)轉(zhuǎn)化為json文件并獲取到圖片的鏈接
info = request.json()['data']['list']
for i in info:
# 將圖片以主播的昵稱命名
file = open(dir + '{}.png'.format(i['uname']), 'wb')
# 將圖片保存到之前的路徑
file.write(requests.get(i['face']).content)
# 關(guān)閉文件流
file.close()
方法2
通過(guò)html定位獲取
首先使用pip下載requests和selenium包
pip install requests
pip install selenium

import requests
from selenium import webdriver
# 使用谷歌驅(qū)動(dòng)打開谷歌瀏覽器
driver = webdriver.Chrome()
# 訪問(wèn)嗶哩嗶哩直播頁(yè)面
driver.get('https://live.bilibili.com/p/eden/area-tags?visit_id=2mwktlg4e2q0&areaId=0&parentAreaId=1')
# 循環(huán)30次一次保存的頭像圖片
for i in range(1, 31):
# xpth定位頭像的位置
image_xpath = '/html/body/div[1]/div[3]/div/ul/li[{}]/a/div[1]/div/div'.format(i)
# 獲取位置的style屬性值
image_style_value = driver.find_element_by_xpath(image_xpath).get_attribute('style')
# 從style屬性值中切片出圖片的鏈接
image_url = image_style_value[image_style_value.find('h'):image_style_value.find('@'):1]
# xpath定位昵稱的位置
title_xpath = '/html/body/div[1]/div[3]/div/ul/li[{}]/a/div[2]/div[2]/div/span'.format(i)
# 獲取位置的title值
name_title_value = driver.find_element_by_xpath(title_xpath).get_attribute('title')
print(image_url)
# 發(fā)送get請(qǐng)求,獲取返回?cái)?shù)據(jù)
request = requests.get(image_url)
# 保存圖片的路徑
file = open('D:Python Projects/requests/bilibili/{}.jpg'.format(name_title_value), 'wb')
# 將圖片保存到路徑
file.write(request.content)
# 關(guān)閉文件流
file.close()
最后,在為大家增加一個(gè)獲取b站視頻信息的操作代碼
# coding:utf-8
import requests
import json
import time
import pymysql
import bs4
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
}
result = []
def get_aid(page):
url = 'https://search.bilibili.com/all?keyword=爬蟲&from_source=nav_search&spm_id_from=333.851.b_696e7465726e6174696f6e616c486561646572.11' + '&page=' + str(page)
response = requests.get(url, headers=headers, verify=False).text
time.sleep(1)
try:
soup = bs4.BeautifulSoup(response, 'lxml').find('div', attrs={'id':'all-list'}).find('div', attrs={'class':'mixin-list'})
ul = soup.find('ul', attrs={'class':'video-list clearfix'}).find_all('li', attrs={'class':'video-item matrix'})
for item in ul:
# print(item)
info = item.find('div', attrs={'class': 'headline clearfix'}).find('span', attrs={'class': 'type avid'}).get_text()
aid = info.replace('av', '')
print(aid)
result.append(aid)
return result
except:
print('something is wrong')
def get_contents(url):
response = requests.get(url=url, headers=headers, verify=False).json()
time.sleep(1)
try:
data_1 = response['data']
data = data_1['stat']
aid = data['aid']
view = data['view']
coin = data['coin']
like = data['like']
favorite = data['favorite']
share = data['share']
danmaku = data['danmaku']
print('視頻編號(hào)', aid)
print('觀看數(shù)量', view)
print('投幣數(shù)量', coin)
print('收藏?cái)?shù)量', favorite)
print('點(diǎn)贊數(shù)量', like)
print('分享數(shù)量', share)
print('彈幕數(shù)量', danmaku)
except:
print('------------')
if __name__ == '__main__':
for i in range(1, 50):
result = get_aid(i)
for i in result:
url = 'https://api.bilibili.com/x/web-interface/view?aid=' + str(i)
get_contents(url)
到此這篇關(guān)于Selenium爬取b站主播頭像并以昵稱命名保存到本地的文章就介紹到這了,希望對(duì)大家有所幫助,更多相關(guān)python爬取內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持腳本之家!
相關(guān)文章
python實(shí)現(xiàn)跨年煙花動(dòng)態(tài)效果
這篇文章主要介紹了python實(shí)現(xiàn)跨年煙花的動(dòng)態(tài)效果,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)吧2023-01-01
Python 改變數(shù)組類型為uint8的實(shí)現(xiàn)
這篇文章主要介紹了Python 改變數(shù)組類型為uint8的實(shí)現(xiàn)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04
使用Python如何測(cè)試InnoDB與MyISAM的讀寫性能
網(wǎng)上有很多評(píng)論myisam和innodb讀寫性能對(duì)比,所以下面這篇文章主要給大家介紹了關(guān)于使用Python如何測(cè)試InnoDB與MyISAM讀寫性能的相關(guān)資料,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下2018-09-09
Python過(guò)濾函數(shù)filter()使用自定義函數(shù)過(guò)濾序列實(shí)例
這篇文章主要介紹了Python過(guò)濾函數(shù)filter()使用自定義函數(shù)過(guò)濾序列實(shí)例,配合自定義函數(shù)可以實(shí)現(xiàn)許多強(qiáng)大的功能,需要的朋友可以參考下2014-08-08
python實(shí)現(xiàn)對(duì)excel進(jìn)行數(shù)據(jù)剔除操作實(shí)例
python在數(shù)據(jù)分析這方便的介紹應(yīng)該不用多說(shuō)了,下面這篇文章主要給大家介紹了關(guān)于利用python實(shí)現(xiàn)對(duì)excel進(jìn)行數(shù)據(jù)剔除操作的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面來(lái)一起看看吧。2017-12-12
TENSORFLOW變量作用域(VARIABLE SCOPE)
這篇文章主要介紹了TENSORFLOW變量作用域(VARIABLE SCOPE),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01
Python截圖的五個(gè)方法實(shí)例總結(jié)
學(xué)習(xí)一門語(yǔ)言最好的方法便是實(shí)踐,想要拿Python寫一個(gè)截圖工具,下面這篇文章主要給大家介紹了關(guān)于Python截圖的五個(gè)方法,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下2022-12-12

