最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python中使用urllib2偽造HTTP報頭的2個方法

 更新時間:2014年07月07日 10:43:58   投稿:junjie  
這篇文章主要介紹了python中使用urllib2偽造HTTP報頭的2個方法,即偽造http頭信息,需要的朋友可以參考下

在采集網(wǎng)頁信息的時候,經(jīng)常需要偽造報頭來實現(xiàn)采集腳本的有效執(zhí)行

下面,我們將使用urllib2的header部分偽造報頭來實現(xiàn)采集信息

方法1、

#!/usr/bin/python
# -*- coding: utf-8 -*-
#encoding=utf-8
#Filename:urllib2-header.py
 
import urllib2
import sys
 
#抓取網(wǎng)頁內(nèi)容-發(fā)送報頭-1
url= "http://m.fzitv.net"
send_headers = {
 'Host':'m.fzitv.net',
 'User-Agent':'Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0',
 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
 'Connection':'keep-alive'
}
 
req = urllib2.Request(url,headers=send_headers)
r = urllib2.urlopen(req)
 
html = r.read()        #返回網(wǎng)頁內(nèi)容
receive_header = r.info()     #返回的報頭信息
 
# sys.getfilesystemencoding() 
html = html.decode('utf-8','replace').encode(sys.getfilesystemencoding()) #轉(zhuǎn)碼:避免輸出出現(xiàn)亂碼 
 
print receive_header
# print '####################################'
print html

方法2、

#!/usr/bin/python
# -*- coding: utf-8 -*-
#encoding=utf-8
#Filename:urllib2-header.py
 
import urllib2
import sys
 
url = 'http://m.fzitv.net'
 
req = urllib2.Request(url)
req.add_header('Referer','http://m.fzitv.net/')
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0')
r = urllib2.urlopen(req)
 
html = r.read()
receive_header = r.info()
 
html = html.decode('utf-8').encode(sys.getfilesystemencoding())
 
print receive_header
print '#####################################'
print html

相關(guān)文章

  • pandas缺失值np.nan, np.isnan, None, pd.isnull, pd.isna

    pandas缺失值np.nan, np.isnan, None, pd.isnull,&n

    本文主要介紹了pandas缺失值np.nan, np.isnan, None, pd.isnull, pd.isna
    2024-04-04
  • python 進制轉(zhuǎn)換 int、bin、oct、hex的原理

    python 進制轉(zhuǎn)換 int、bin、oct、hex的原理

    這篇文章主要介紹了python 進制轉(zhuǎn)換 int、bin、oct、hex的原理,本文給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2021-01-01
  • 利用python求解物理學(xué)中的雙彈簧質(zhì)能系統(tǒng)詳解

    利用python求解物理學(xué)中的雙彈簧質(zhì)能系統(tǒng)詳解

    這篇文章主要給大家介紹了關(guān)于利用python如何求解物理學(xué)中的雙彈簧質(zhì)能系統(tǒng)的相關(guān)資料,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。
    2017-09-09
  • 人工智能-Python實現(xiàn)多項式回歸

    人工智能-Python實現(xiàn)多項式回歸

    這篇文章主要介紹了人工智能-Python實現(xiàn)多項式回歸,上一次我們講解了線性回歸,這次我們重點分析多項式回歸,需要的小伙伴可以參考一下
    2022-01-01
  • Python 安裝第三方庫 pip install 安裝慢安裝不上的解決辦法

    Python 安裝第三方庫 pip install 安裝慢安裝不上的解決辦法

    很多朋友反映在使用pip install安裝python 第三方庫的過程中會出現(xiàn)網(wǎng)速很慢,或者是安裝下載到中途,停止,卡主,或者是下載報錯等問題,下面小編給大家?guī)砹私鉀Q方法,一起看看吧
    2019-06-06
  • python openpyxl提取Excel圖片實現(xiàn)原理技巧

    python openpyxl提取Excel圖片實現(xiàn)原理技巧

    在這篇文章中,將介紹如何使用openpyxl來提取Excel中的圖片,以及它的原理和技巧,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2024-01-01
  • 最新評論

    海丰县| 玛多县| 凤阳县| 汤原县| 永城市| 渭南市| 科尔| 会泽县| 从化市| 长沙县| 江口县| 乌兰浩特市| 文水县| 远安县| 建宁县| 金平| 西贡区| 宿迁市| 中江县| 安远县| 乡城县| 乡城县| 加查县| 德钦县| 太和县| 宁陵县| 胶南市| 蓬溪县| 长武县| 昌平区| 措勤县| 萨嘎县| 濮阳县| 漳平市| 葫芦岛市| 临江市| 吴江市| 宁蒗| 台中市| 武宁县| 浪卡子县|