快捷導(dǎo)航

python爬蟲添加請(qǐng)求頭代碼實(shí)例

更新時(shí)間：2019年12月28日 10:07:06 作者：Lust4Life

這篇文章主要介紹了python爬蟲添加請(qǐng)求頭代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

request

import requests


headers = {
  # 'Accept': 'application/json, text/javascript, */*; q=0.01',
  # 'Accept': '*/*',
  # 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-US;q=0.7',
  # 'Cache-Control': 'no-cache',
  # 'accept-encoding': 'gzip, deflate, br',
  'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36',
  'Referer': 'https://www.google.com/'
}

resp = requests.get('http://httpbin.org/get', headers=headers)
print(resp.content)

urllib

import urllib, urllib2
def get_page_source(url):
  headers = {'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
        }
  req = urllib2.Request(url, None, headers)
  response = urllib2.urlopen(req)
  page_source = response.read()
  return page_source

phantomjs請(qǐng)求頁面

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
def get_headers_driver():
  desire = DesiredCapabilities.PHANTOMJS.copy()
  headers = {'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.8',
        'Cache-Control': 'max-age=0',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
        'Connection': 'keep-alive',
        'Referer': 'http://www.baidu.com/'
        }
  for key, value in headers.iteritems():
    desire['phantomjs.page.customHeaders.{}'.format(key)] = value
  driver = webdriver.PhantomJS(desired_capabilities=desire, service_args=['--load-images=yes'])#將yes改成no可以讓瀏覽器不加載圖片
  return driver

以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python?OpenCV實(shí)現(xiàn)圖形檢測(cè)示例詳解
圖形檢測(cè)在計(jì)算機(jī)視覺開發(fā)中是一項(xiàng)非常重要的操作，算法通過對(duì)圖像的檢測(cè)，分析出圖像中可能存在哪些形狀。本文詳細(xì)介紹了Python+OpenCV如何實(shí)現(xiàn)圖形檢測(cè)，感興趣的可以了解一下
2022-04-04
Python實(shí)現(xiàn)自動(dòng)化網(wǎng)頁操作步驟
這篇文章主要介紹Python如何實(shí)現(xiàn)自動(dòng)化網(wǎng)頁操作，文中有詳細(xì)的流程步驟和代碼示例，對(duì)我們的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下
2023-06-06
對(duì)Python3中bytes和HexStr之間的轉(zhuǎn)換詳解
今天小編就為大家分享一篇對(duì)Python3中bytes和HexStr之間的轉(zhuǎn)換詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2018-12-12
Python繪制心形曲線完整代碼實(shí)現(xiàn)
這篇文章主要介紹了Python繪制心形曲線的相關(guān)資料,通過numpy和matplotlib庫計(jì)算坐標(biāo)并繪圖,代碼包含導(dǎo)入庫、定義函數(shù)、生成參數(shù)、計(jì)算坐標(biāo)、繪圖和顯示圖形等步驟,展示了數(shù)學(xué)與編程的結(jié)合美感,需要的朋友可以參考下
2024-10-10
python使用requests+excel進(jìn)行接口自動(dòng)化測(cè)試的實(shí)現(xiàn)
在當(dāng)今的互聯(lián)網(wǎng)時(shí)代中,接口自動(dòng)化測(cè)試越來越成為軟件測(cè)試的重要組成部分,本文就來介紹了python使用requests+excel進(jìn)行接口自動(dòng)化測(cè)試的實(shí)現(xiàn),感興趣的可以了解一下
2023-11-11
利用Python實(shí)現(xiàn)模擬登錄知乎
這篇文章主要為大家介紹了如何利用Python實(shí)現(xiàn)模擬登陸知乎功能，文中的示例代碼講解詳細(xì)，對(duì)我們學(xué)習(xí)有一定幫助，需要的可以參考一下
2022-05-05
Python辦公自動(dòng)化之網(wǎng)絡(luò)監(jiān)控和壓縮文件處理
Python辦公?動(dòng)化是利用Python編程語?來創(chuàng)建腳本和程序,以簡化、加速和?動(dòng)化?常辦公任務(wù)和工作流程的過程,本文主要介紹了如何進(jìn)行網(wǎng)絡(luò)監(jiān)控和壓縮文件處理,感興趣的可以了解下
2023-12-12
Python 列表的清空方式
今天小編就為大家分享一篇Python 列表的清空方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2020-01-01
python實(shí)現(xiàn)人工智能Ai摳圖功能
這篇文章主要介紹了python實(shí)現(xiàn)人工智能Ai摳圖功能,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2019-09-09
python Event事件、進(jìn)程池與線程池、協(xié)程解析
這篇文章主要介紹了python Event事件、進(jìn)程池與線程池、協(xié)程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-10-10