Python requests獲取網(wǎng)頁常用方法解析
更新時(shí)間：2020年02月20日 11:20:15 作者：酸果實(shí)愛吐泡泡的魚
這篇文章主要介紹了Python requests獲取網(wǎng)頁常用方法解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
這篇文章主要介紹了Python requests獲取網(wǎng)頁常用方法解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
主要記錄使用 requests 模塊獲取網(wǎng)頁源碼的方法
class Crawler(object):
"""
采集類
"""
def __init__(self, base_url):
self._base_url = base_url
self._cookie = None
self._getCookie()
def _getCookie(self):
"""
獲取站點(diǎn)cookie
:return:
"""
try:
res = requests.get(self._base_url)
res.raise_for_status()
# TODO response.cookies獲取到的是一個(gè)cookiejar對象，需要使用requests.utils.dict_from_cookiejar來
# TODO 將cookiejar對象轉(zhuǎn)換為一個(gè)字典，這個(gè)字典后續(xù)使用的時(shí)候，在請求時(shí)直接傳入就可以了，
# 如 requests.get(url, cookies=cookies)
self._cookie = requests.utils.dict_from_cookiejar(res.cookies)
print self._cookie
except Exception as e:
print e
def get_html_text(self, url, **kwargs):
"""
爬取網(wǎng)頁的通用代碼框架
:param url:
:param method:
:param kwargs:
:return:
"""
try:
kwargs.setdefault('cookies', self._cookie)
res = requests.get(url, **kwargs)
# TODO 若響應(yīng)狀態(tài)碼不是200, 拋出 HTTPError 異常
res.raise_for_status()
res.encoding = res.apparent_encoding
# print requests.utils.dict_from_cookiejar(res.cookies)
return res.text
except Exception as e:
print traceback.print_exc()
return
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
python如何實(shí)時(shí)獲取tcpdump輸出
這篇文章主要介紹了python如何實(shí)時(shí)獲取tcpdump輸出，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-09-09
今天小編就為大家分享一篇PyQt編程之如何在屏幕中央顯示窗體的實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
python使用 request 發(fā)送表單數(shù)據(jù)操作示例
這篇文章主要介紹了python使用 request 發(fā)送表單數(shù)據(jù)操作,結(jié)合實(shí)例形式分析了Python基于requests模塊的表單數(shù)據(jù)發(fā)送操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2019-09-09
文章介紹了在Python中讀取Excel文件的兩種方法：使用pandas庫和使用openpyxl庫,pandas適合數(shù)據(jù)分析和處理,而openpyxl提供了更多的Excel文件操作功能,感興趣的朋友跟隨小編一起看看吧2024-11-11
Python作為一種功能強(qiáng)大且易于學(xué)習(xí)的編程語言,提供了許多用于處理HTTP請求的庫,其中,Requests庫是最受歡迎的選擇之一,本文主要介紹了Python中的HTTP請求庫Requests的具體使用,感興趣的可以了解一下2023-12-12
Python刪除Java源文件中全部注釋的實(shí)現(xiàn)方法
這篇文章主要介紹了Python刪除Java源文件中全部注釋的實(shí)現(xiàn)方法,涉及Python讀取文件、正則匹配、字符串查找、替換等相關(guān)操作技巧,需要的朋友可以參考下2017-08-08
python深度學(xué)習(xí)tensorflow入門基礎(chǔ)教程示例
這篇文章主要為大家介紹了python深度學(xué)習(xí)tensorflow入門基礎(chǔ)教程示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-06-06
這篇文章主要介紹了python?+?pyqt5制作一個(gè)串口助手,串口助手是串口通信使用的工具，為整合知識，打算做個(gè)串口助手，本文給大家講解的非常詳細(xì)，需要的朋友可以參考下2023-04-04
Python返回?cái)?shù)組/List長度的實(shí)例
今天小編就為大家分享一篇Python返回?cái)?shù)組/List長度的實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
Python Opencv提取圖片中某種顏色組成的圖形的方法
這篇文章主要介紹了Python Opencv提取圖片中某種顏色組成的圖形的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09