python爬蟲模擬瀏覽器訪問-User-Agent過程解析
更新時間：2019年12月28日 10:08:30 作者：故事的小黃花丶
這篇文章主要介紹了python爬蟲模擬瀏覽器訪問-User-Agent過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
這篇文章主要介紹了python爬蟲模擬瀏覽器訪問-User-Agent過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
模擬瀏覽器訪問-User-Agent：
import urllib2
#User-Agent 模擬瀏覽器訪問
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
#通過urllib2.Request()方法構造一個請求對象
request = urllib2.Request("http://www.baidu.com/",headers = headers)
#向指定的URL地址發(fā)送請求，并返回服務器響應的類文件對象
#response是服務器響應的類文件，除了支持文件操作的方法外，還支持以下常用的方法：
response = urllib2.urlopen(request)
#服務器返回的類文件對象支持python文件對象的操作方法
#read()方法就是讀取文件里的全部內容，返回字符串
html = response.read()
#返回HTTP的響應碼，成功返回200,4服務器頁面出錯；5.服務器問題
print response.getcode()
#返回實際數(shù)據(jù)的實際URL，防止重定向問題
print response.geturl()
#返回服務器響應的HTTP報頭
print response.info()
#打印響應內容
print(html)
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
今天小編就為大家分享一篇使用python繪制二維圖形示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
有時候自己寫了一個py文件,想要把它導入到另一個py文件里面,所以下面這篇文章主要給大家介紹了關于Python如何導入自己編寫的py文件的相關資料,需要的朋友可以參考下2021-11-11
這篇文章主要分享了用python實現(xiàn)的一個通訊錄實例，學習python的朋友可以參考下2013-11-11
Python尋找兩個有序數(shù)組的中位數(shù)實例詳解
這篇文章主要介紹了Python尋找兩個有序數(shù)組的中位數(shù),本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下2018-12-12
這篇文章主要介紹了Python使用ElementTree美化XML格式的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
Python matplotlib畫圖時圖例說明(legend)放到圖像外側詳解
這篇文章主要介紹了Python matplotlib畫圖時圖例說明(legend)放到圖像外側詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
在Python中,__repr__是一個特殊的內置類屬性,用于定義類的字符串表示形式,本文將深入探討__repr__的作用、用法以及一些實際應用場景,希望對大家有所幫助2023-12-12
這篇文章主要介紹了Python的內存泄漏及gc模塊的使用分析,有助于讀者進一步了解Python的內存分配及回收機制,增強代碼編寫的安全意識,需要的朋友可以參考下2014-07-07
這篇文章主要給大家介紹了關于python文件夾分區(qū)的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-04-04
這篇文章是一篇關于python基礎知識內容，主要講述了關于類的相關知識點，有興趣的朋友參考下。2018-06-06