最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

爬蟲代理的cookie如何生成運(yùn)行

 更新時(shí)間:2020年09月22日 09:17:32   作者:laical  
這篇文章主要介紹了爬蟲代理的cookie如何生成運(yùn)行,幫助大家更好的理解和使用爬蟲,感興趣的朋友可以了解下

HTTP是用于互聯(lián)網(wǎng)傳輸數(shù)據(jù)信息到本地的一種傳送協(xié)議

我們?cè)跒g覽器中輸入輸入關(guān)鍵詞,會(huì)返回頁(yè)面內(nèi)容。這就是我們用瀏覽器向網(wǎng)站所在的服務(wù)器發(fā)送了一個(gè)請(qǐng)求,網(wǎng)站的服務(wù)器接收到這個(gè)請(qǐng)求后進(jìn)行解析,然后把網(wǎng)頁(yè)內(nèi)容呈現(xiàn)出來(lái)。

有時(shí)候服務(wù)器網(wǎng)站會(huì)檢測(cè)IP在一個(gè)時(shí)間段內(nèi)的請(qǐng)求次數(shù),如果過(guò)于頻繁,就會(huì)拒絕服務(wù),簡(jiǎn)稱為封IP。

HTTP代理就是用別人的IP進(jìn)行訪問(wèn),進(jìn)行IP偽裝。

除非是訪問(wèn)網(wǎng)站或APP專用數(shù)據(jù)api接口,正常的HTTP請(qǐng)求都需要進(jìn)行ua(User-Agent)優(yōu)化,因?yàn)閡a是瀏覽器標(biāo)識(shí),如果http請(qǐng)求沒(méi)有ua,或ua太少,都會(huì)被網(wǎng)站運(yùn)維統(tǒng)計(jì)異常的,ua越豐富分布就越真實(shí)。cookie最好是登陸獲取的,一般訪客的cookie,對(duì)方限制會(huì)比較嚴(yán)格,可以控制一個(gè)地區(qū)新訪客的訪問(wèn)頻率。另外反爬統(tǒng)計(jì)的js也要分析下,是不是做了機(jī)器人判斷,有沒(méi)有做窗口分辨率判斷等。

生成cookie:

import os
import time
import zipfile

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait


class GenCookies(object):
  USER_AGENT = open('useragents.txt').readlines()
  # www.16yun.cn 代理配置
  PROXY_HOST = 't.16yun.cn' # proxy or host
  PROXY_PORT = 31111 # port
  PROXY_USER = 'USERNAME' # username
  PROXY_PASS = 'PASSWORD' # password
def open(self):
    """
    打開(kāi)網(wǎng)頁(yè)輸入用戶名密碼并點(diǎn)擊
    :return: None
    """
    self.browser.delete_all_cookies()
    self.browser.get(self.url)
    username = self.wait.until(EC.presence_of_element_located((By.ID, 'loginName')))
    password = self.wait.until(EC.presence_of_element_located((By.ID, 'loginPassword')))
    submit = self.wait.until(EC.element_to_be_clickable((By.ID, 'loginAction')))
    username.send_keys(self.username)
    password.send_keys(self.password)
    time.sleep(1)
    submit.click()

  def password_error(self):
    """
    判斷是否密碼錯(cuò)誤
    :return:
    """
    try:
      return WebDriverWait(self.browser, 5).until(
        EC.text_to_be_present_in_element((By.ID, 'errorMsg'), '用戶名或密碼錯(cuò)誤'))
    except TimeoutException:
      return False

  def get_cookies(self):
    """
    獲取Cookies
    :return:
    """
    return self.browser.get_cookies()

運(yùn)行cookie:

API接口開(kāi)始運(yùn)行
* Running on http://0.0.0.0:5000/ (Press CTRL+C to quit)
Cookies生成進(jìn)程開(kāi)始運(yùn)行
Cookies檢測(cè)進(jìn)程開(kāi)始運(yùn)行
正在生成Cookies 賬號(hào) 180000000 密碼 16yun
正在測(cè)試Cookies 用戶名 180000000
Cookies有效 180000000

如果HTTP請(qǐng)求成功,HTTP的狀態(tài)碼會(huì)返回200且返回?cái)?shù)據(jù)。當(dāng)然其他HTTP其他狀態(tài)碼也有,403表示禁止訪問(wèn),504服務(wù)器內(nèi)部出錯(cuò)等等。

以上就是爬蟲代理的cookie如何生成運(yùn)行的詳細(xì)內(nèi)容,更多關(guān)于爬蟲代理 cookie的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Python中特殊函數(shù)集錦

    Python中特殊函數(shù)集錦

    這篇文章主要介紹了Python中特殊函數(shù),主要介紹一下四個(gè)函數(shù):1 過(guò)濾函數(shù)filter 2 映射和歸并函數(shù)map/reduce 3 裝飾器@ 4 匿名函數(shù)lamda,需要的朋友可以參考下
    2015-07-07
  • 用Python爬取各大高校并可視化幫弟弟選大學(xué),弟弟直呼牛X

    用Python爬取各大高校并可視化幫弟弟選大學(xué),弟弟直呼牛X

    高考結(jié)束了,接下來(lái)最重要的就是玩玩玩,然后準(zhǔn)備報(bào)志愿吧.中國(guó)教育在線網(wǎng)顯示國(guó)內(nèi)目前共有2857所高等院校,報(bào)一個(gè)理想的學(xué)校簡(jiǎn)直是千里挑一.正好表弟求著我讓我?guī)退x學(xué)校,我想著十年寒窗苦讀也不容易不如就用python幫幫他.分析一下目前國(guó)內(nèi)的大學(xué),需要的朋友可以參考下
    2021-06-06
  • python 使用OpenCV進(jìn)行簡(jiǎn)單的人像分割與合成

    python 使用OpenCV進(jìn)行簡(jiǎn)單的人像分割與合成

    這篇文章主要介紹了python 使用OpenCV進(jìn)行簡(jiǎn)單的人像分割與合成的方法,幫助大家更好的利用python處理圖像,感興趣的朋友可以了解下
    2021-02-02
  • pytorch使用 to 進(jìn)行類型轉(zhuǎn)換方式

    pytorch使用 to 進(jìn)行類型轉(zhuǎn)換方式

    今天小編就為大家分享一篇pytorch使用 to 進(jìn)行類型轉(zhuǎn)換方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-01-01
  • Django框架使用富文本編輯器Uedit的方法分析

    Django框架使用富文本編輯器Uedit的方法分析

    這篇文章主要介紹了Django框架使用富文本編輯器Uedit的方法,結(jié)合實(shí)例形式分析了Django框架中使用Uedit的安裝、配置方法及Uedit相關(guān)插件制作方法,需要的朋友可以參考下
    2018-07-07
  • python查找指定文件夾下所有文件并按修改時(shí)間倒序排列的方法

    python查找指定文件夾下所有文件并按修改時(shí)間倒序排列的方法

    今天小編就為大家分享一篇python查找指定文件夾下所有文件并按修改時(shí)間倒序排列的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-10-10
  • python獲得兩個(gè)數(shù)組交集、并集、差集的方法

    python獲得兩個(gè)數(shù)組交集、并集、差集的方法

    這篇文章主要介紹了python獲得兩個(gè)數(shù)組交集、并集、差集的方法,實(shí)例分析了Python操作list集合的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下
    2015-03-03
  • Python序列化與反序列化pickle用法實(shí)例

    Python序列化與反序列化pickle用法實(shí)例

    這篇文章主要介紹了Python序列化與反序列化pickle用法實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-11-11
  • python保留兩位小數(shù)的3種方法實(shí)例

    python保留兩位小數(shù)的3種方法實(shí)例

    保留小數(shù)位是我們經(jīng)常會(huì)碰到的問(wèn)題,尤其是刷題過(guò)程中,下面這篇文章主要給大家介紹了關(guān)于python保留兩位小數(shù)的3種方法,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2022-12-12
  • python圖形界面教程Tkinter詳解

    python圖形界面教程Tkinter詳解

    Python自帶了tkinter模塊,實(shí)質(zhì)上是一種流行的面向?qū)ο蟮腉UI工具包?TK?的Python編程接口,提供了快速便利地創(chuàng)建GUI應(yīng)用程序的方法,下面這篇文章主要給大家介紹了關(guān)于python圖形界面教程Tkinter的相關(guān)資料,需要的朋友可以參考下
    2022-12-12

最新評(píng)論

宁蒗| 永寿县| 黑水县| 黄平县| 含山县| 延长县| 儋州市| 永修县| 南靖县| 武义县| 沈阳市| 莱阳市| 墨玉县| 茶陵县| 涞源县| 嘉善县| 贵定县| 大邑县| 荥阳市| 大兴区| 上高县| 光山县| 遂昌县| 乐昌市| 资源县| 南和县| 武邑县| 鱼台县| 曲松县| 会同县| 潢川县| 武夷山市| 稻城县| 府谷县| 江源县| 武宣县| 昭通市| 厦门市| 综艺| 漯河市| 眉山市|