最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python爬取豆瓣視頻信息代碼實(shí)例

 更新時(shí)間:2019年11月16日 14:42:48   作者:一只帥氣的IT小昂  
這篇文章主要介紹了Python爬取豆瓣視頻信息代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

這篇文章主要介紹了Python爬取豆瓣視頻信息代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

這里是爬取豆瓣視頻信息,用pyquery庫(kù)(jquery的python庫(kù))。

一:代碼

from urllib.request
import quotefrom pyquery
import PyQuery as pqimport requestsimport pandas as pddef get_text_page
	(movie_name): ''
'  函數(shù)功能:獲得指定電影名的源代碼  參數(shù):電影名  返回值:電影名結(jié)果的源代碼  '
''
url =
	'https://www.douban.com/search?q=' +
	movie_name headers = {
		'Host': 'www.douban.com',
		'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',
	}
r = requests.get(url, headers = headers,
	timeout = 5) return r.textdef get_last_url(
	this_text): ''
'  函數(shù)功能:根據(jù)指定的源代碼得到最終的網(wǎng)頁(yè)地址  參數(shù):搜索結(jié)果源代碼  返回值:最終的網(wǎng)頁(yè)地址  '
''
doc = pq(this_text) lis = doc(
		'.title a').items() k = 0 this_str =
	''
for i in lis: #print('豆瓣搜索結(jié)果為:{0}'.format(
	i.text()))# print('地址為:{0}'.format(i.attr
	.href))# print('\n') if k == 0:
	this_str = i.attr.href k += 1
return this_strdef the_last_page(
	this_url): ''
'  函數(shù)功能:獲得最終電影網(wǎng)頁(yè)的源代碼  參數(shù):最終的地址  返回值:最終電影網(wǎng)頁(yè)的源代碼  '
''
headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',
}
r = requests.get(this_url, headers =
	headers, timeout = 20) return r.textdef the_last_text(
	this_text, movie_name): ''
'  函數(shù)功能:獲得每一項(xiàng)的數(shù)據(jù)  參數(shù):爬取頁(yè)面的源代碼  返回值:返回空  '
''
doc = pq(this_text)# 獲取標(biāo)題 title = doc(
		'#content h1').text()# 獲取海報(bào) photo =
	doc('.nbgnbg img') photo_url = photo.attr
	.src r = requests.get(photo_url) with open(
		'{m}.jpg'.format(m = movie_name),
		'wb') as f: f.write(r.content)# 電影信息 message =
	doc('#info').text()# 豆瓣評(píng)分 grade = doc(
		'#interest_sectl').text()# 劇情 things =
	doc('.related-info').text() with open(
		'{0}.txt'.format(movie_name), 'w+') as f:
	try: f.writelines([title, '\n', '\n\n',
		message, '\n\n', grade, '\n\n',
		things
	]) except: f.writelines([title, '\n',
		'\n\n', message, '\n\n', grade
	])# 演員# 演員名 name = [] person_name =
	doc('.info').items() for i in
	person_name: name.append(i.text())# 演員圖片地址 person_photo =
	doc('#celebrities') j = 0
for i in person_photo.find('.avatar').items():
	m = i.attr('style') person_download_url =
	m[m.find('(') + 1: m.find(')')]# 下載演員地址 r =
	requests.get(person_download_url) try:
	with open('{name}.jpg'.format(name =
		name[j]), 'wb') as f: f.write(r.content) except:
	continue j += 1 def lookUrl(this_text,
		my_str): ''
'  函數(shù)功能:獲得觀看鏈接  參數(shù):爬取頁(yè)面的源代碼  返回值:返回空  '
''
doc = pq(this_text) all_url = doc(
	'.bs li a').items() movie_f = [] movie_url = []
for i in all_url: movie_f.append(i.text()) movie_url
	.append(i.attr.href) dataframe = pd.DataFrame({
		'觀看平臺(tái)': movie_f,
		'觀看地址': movie_url
	}) dataframe.to_csv(
		"{movie_name}的觀看地址.csv".format(
			movie_name = my_str), index = False,
		encoding = 'utf_8_sig', sep = ',') def main():
	name = input('') my_str = name movie_name =
	quote(my_str) page_text =
	get_text_page(movie_name)# 得指定電影名的源代碼 last_url =
	get_last_url(page_text)# 根據(jù)指定的源代碼得到最終的網(wǎng)頁(yè)地址 page_text2 =
	the_last_page(last_url)# 獲得最終電影網(wǎng)頁(yè)的源代碼 the_last_text(
		page_text2, my_str)# 獲得每一項(xiàng)的數(shù)據(jù) lookUrl(
		page_text2, my_str)# 得到并處理觀看鏈接main()

二:結(jié)果如下(部分例子)

1.輸入天氣之子

2.輸入百變小櫻魔法卡

必須是已經(jīng)上映的電影才有觀看地址

3.獨(dú)立日

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • 使用Python的Flask框架表單插件Flask-WTF實(shí)現(xiàn)Web登錄驗(yàn)證

    使用Python的Flask框架表單插件Flask-WTF實(shí)現(xiàn)Web登錄驗(yàn)證

    Flask處理表單除了本身的WTForms包,使用Flask-WTF擴(kuò)展來(lái)增強(qiáng)表單功能也是很多開(kāi)發(fā)者的選擇,這里我們就來(lái)講解如何使用Python的Flask框架表單插件Flask-WTF實(shí)現(xiàn)Web登錄驗(yàn)證
    2016-07-07
  • Matplotlib 生成不同大小的subplots實(shí)例

    Matplotlib 生成不同大小的subplots實(shí)例

    今天小編就為大家分享一篇Matplotlib 生成不同大小的subplots實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-05-05
  • 解決python super()調(diào)用多重繼承函數(shù)的問(wèn)題

    解決python super()調(diào)用多重繼承函數(shù)的問(wèn)題

    今天小編就為大家分享一篇解決python super()調(diào)用多重繼承函數(shù)的問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-06-06
  • Python實(shí)現(xiàn)批量下載ts文件并合并為mp4

    Python實(shí)現(xiàn)批量下載ts文件并合并為mp4

    這篇文章主要為大家詳細(xì)介紹了如何通過(guò)Python語(yǔ)言實(shí)現(xiàn)批量下載ts文件并合并為mp4視頻的功能,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下
    2023-06-06
  • Python的Flask框架中使用Flask-Migrate擴(kuò)展遷移數(shù)據(jù)庫(kù)的教程

    Python的Flask框架中使用Flask-Migrate擴(kuò)展遷移數(shù)據(jù)庫(kù)的教程

    Flask-Migrate可以幫助Flask應(yīng)用程序通過(guò)預(yù)設(shè)的Python腳本完成數(shù)據(jù)庫(kù)遷移操作,這里我們就來(lái)看一下Python的Flask框架中使用Flask-Migrate擴(kuò)展遷移數(shù)據(jù)庫(kù)的教程,需要的朋友可以參考下
    2016-06-06
  • 用python構(gòu)建IP代理池詳解

    用python構(gòu)建IP代理池詳解

    大家好,本篇文章主要講的是用python構(gòu)建IP代理池詳解,感興趣的同學(xué)趕快來(lái)看一看吧,對(duì)你有幫助的話記得收藏一下
    2022-01-01
  • python global關(guān)鍵字的用法詳解

    python global關(guān)鍵字的用法詳解

    這篇文章主要介紹了python global關(guān)鍵字的用法詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-09-09
  • Python使用captcha制作驗(yàn)證碼的實(shí)現(xiàn)示例

    Python使用captcha制作驗(yàn)證碼的實(shí)現(xiàn)示例

    本文主要介紹了Python使用captcha制作驗(yàn)證碼的實(shí)現(xiàn)示例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2022-08-08
  • 解決keras+flask模型的重復(fù)調(diào)用出錯(cuò)ValueError: Tensor is not an element of this graph

    解決keras+flask模型的重復(fù)調(diào)用出錯(cuò)ValueError: Tensor is n

    這篇文章主要介紹了解決keras+flask模型的重復(fù)調(diào)用出錯(cuò)ValueError: Tensor is not an element of this graph問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-01-01
  • Python使用pyperclip庫(kù)操作剪切板

    Python使用pyperclip庫(kù)操作剪切板

    本文將介紹如何使用pyperclip庫(kù)來(lái)進(jìn)行剪切板操作,包括復(fù)制、粘貼文本和圖片,以及清空剪切板內(nèi)容等功能,具有一定的參考價(jià)值,感興趣的 可以了解一下
    2024-03-03

最新評(píng)論

鹤峰县| 松原市| 南京市| 岳池县| 闵行区| 白玉县| 青海省| 五大连池市| 阿拉善左旗| 马公市| 吴忠市| 白玉县| 石楼县| 晴隆县| 淮北市| 芜湖市| 宝丰县| 天等县| 杂多县| 栾川县| 衡南县| 邻水| 临潭县| 太原市| 湾仔区| 宝清县| 额济纳旗| 阿合奇县| 化德县| 富平县| 陕西省| 太谷县| 离岛区| 雅江县| 惠东县| 固始县| 阳城县| 弋阳县| 丽水市| 南投县| 广南县|