pyppeteer執(zhí)行js繞過webdriver監(jiān)測(cè)方法下
更新時(shí)間：2022年04月12日 14:33:59 作者：Jeff的技術(shù)棧
這篇文章主要為大家介紹了pyppeteer上執(zhí)行js并繞過webdriver監(jiān)測(cè)常見方法的上篇，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪
上篇傳送門：pyppeteer執(zhí)行js繞過webdriver監(jiān)測(cè)方法上
官方文檔
https://miyakogi.github.io/pyppeteer/reference.html#mouse-class
啟動(dòng)pyppteer
import asyncio
from pyppeteer import launch
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個(gè)頁面
page = await browser.newPage()
# 超時(shí)間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
print(await page.content()) # 返回html代碼
resp_headers = res.headers # 響應(yīng)頭
resp_status = res.status # 響應(yīng)狀態(tài)
# 程序啟動(dòng)入口
asyncio.get_event_loop().run_until_complete(main())
切圖
# 設(shè)置頁面視圖大小
await page.setViewport(viewport={'width': 1280, 'height': 800})
# 是否啟用JS，enabled設(shè)為False，則無渲染效果
await page.setJavaScriptEnabled(enabled=True)
# 超時(shí)間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 截圖 保存圖片
await page.screenshot({'path': 'cnblog.png'})
獲取響應(yīng)頭，響應(yīng)頭狀態(tài)，cookies
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個(gè)頁面
page = await browser.newPage()
# 超時(shí)間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
resp_headers = res.headers # 響應(yīng)頭
resp_status = res.status # 響應(yīng)狀態(tài)
cookies = page.cookies()
print(resp_headers)
print(resp_status)
print(page.cookies())
# 程序啟動(dòng)入口
asyncio.get_event_loop().run_until_complete(main())
獲取當(dāng)前頁面標(biāo)題
print(await page.title())
獲取頁面html
import asyncio
from pyppeteer import launch
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個(gè)頁面
page = await browser.newPage()
# 是否啟用JS，enabled設(shè)為False，則無渲染效果
await page.setJavaScriptEnabled(enabled=True)
# 超時(shí)間見 10000 毫秒
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
print(await page.content()) # 返回html代碼
第一種：獲取整個(gè)頁面html
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
print(await page.content()) # 返回html代碼
第二種：只獲取文本
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
content = await page.evaluate(pageFunction='document.body.textContent', force_expr=True)
print(content)
注入JS，控制上下滾動(dòng)
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
# 滑到底部
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# js
window.scrollTo(0,100) # 向下滑動(dòng)100
window.scrollTo(0,500) # 向下滑動(dòng)500
window.scrollTo(0,document.body.scrollHeight) # 滑到底部
window.scrollTo(0,document.body.scrollHeight-500) # 滑到-500
選擇器
Page.querySelector() # CSS選擇器 Page.querySelectorAll() # CSS選擇器選所有 Page.xpath() # xpath選擇器 # 簡(jiǎn)寫方式為： Page.J(), Page.JJ(), and Page.Jx()
獲取元素內(nèi)部的文本、屬性
res = await page.goto('https://www.cnblogs.com/guyouyin123/p/12690418.html', options={'timeout': 10000})
# 等待
await asyncio.sleep(2)
await page.evaluate('window.scrollBy(0, document.body.scrollHeight)')
# 方式一：獲取h2標(biāo)簽內(nèi)容--執(zhí)行JS方式
element = await page.querySelector('h2')
title = await page.evaluate('(element) => element.textContent', element)
# 方式二：獲取文本
element = await page.querySelector('h2')
title = await (await item.getProperty('textContent')).jsonValue()
# 方式三：獲取屬性src,href
element = await page.querySelector('h2')
title_link = await (await item.getProperty('href')).jsonValue()
get_html
async def get_html(url):
browser = await pyppeteer.launch(headless=True, args=['--no-sandbox'])
page = await browser.newPage()
res = await page.goto(url, options={'timeout': 3000})
data = await page.content()
title = await page.title()
resp_cookies = await page.cookies() # cookie
resp_headers = res.headers # 響應(yīng)頭
resp_status = res.status # 響應(yīng)狀態(tài)
print(data)
print(title)
print(resp_headers)
print(resp_status)
return xxx
模擬輸入，鼠標(biāo)點(diǎn)擊
# 模擬輸入 賬號(hào)密碼 {'delay': rand_int()} 為輸入時(shí)間
await page.type('#fm-login-id', "用戶名")
await page.type('#fm-login-password', "密碼", )
await page.waitFor(1000) # 等待時(shí)間
await page.click("#J_SubmitStatic") # 點(diǎn)擊
taobao登錄
import asyncio
from pyppeteer import launch
async def main():
# headless參數(shù)設(shè)為False，則變成有頭模式
browser = await launch(
{'headless': False}
)
# 打開一個(gè)頁面
page = await browser.newPage()
await page.setViewport(viewport={'width': 1280, 'height': 800})
res = await page.goto('https://login.taobao.com/', options={'timeout': 10000})
await page.type('#fm-login-id', "123456")
await page.type('#fm-login-password', "aaa", )
await page.waitFor(1000) # 等待時(shí)間
slider = await page.querySelector('#nc_1_n1z') # 是否有滑塊
if slider:
try:
print('有滑塊')
await page.hover('#nc_1_n1z') # 不同場(chǎng)景的驗(yàn)證碼模塊能名字不同。
await page.mouse.down()
# X，Y坐標(biāo)，steps 是指分成幾步來完成，steps越大，滑動(dòng)速度越慢。(在源碼中，steps是指移動(dòng)到指定x,y 分段滑動(dòng)的次數(shù)，但是每次啟動(dòng)滑動(dòng)都會(huì)花費(fèi)一定時(shí)間，可以認(rèn)為steps是滑動(dòng)的速度)
# 如果是每次移動(dòng)的距離，可以用for循環(huán)嘗試正負(fù)移動(dòng)
await page.mouse.move(2000, 0, {'delay': random.randint(1000, 2000)})
await page.mouse.up()
except Exception as e:
print(e)
input('驗(yàn)證失敗，人工登錄：')
else:
print('沒有滑塊')
input()
await page.click("#login-form > div.fm-btn > button") # 點(diǎn)擊登錄
# 程序啟動(dòng)入口
asyncio.get_event_loop().run_until_complete(main())
taobao修改檢測(cè)瀏覽器
await page.evaluate(
'''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''') # 以下為插入中間js，將淘寶會(huì)為了檢測(cè)瀏覽器而調(diào)用的js修改其結(jié)果。
await page.evaluate('''() =>{ window.navigator.chrome = { runtime: {}, }; }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'languages', { get: () => ['en-US', 'en'] }); }''')
await page.evaluate('''() =>{ Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5,6], }); }''')
# 使用type選定頁面元素，并修改其數(shù)值，用于輸入賬號(hào)密碼，修改的速度仿人類操作，因?yàn)橛袀€(gè)輸入速度的檢測(cè)機(jī)制
# 因?yàn)?pyppeteer 框架需要轉(zhuǎn)換為js操作，而js和python的類型定義不同，所以寫法與參數(shù)要用字典，類型導(dǎo)入
await page.type('.J_UserName', username, {'delay': input_time_random() - 50})
await page.type('#J_StandardPwd input', pwd, {'delay': input_time_random()})
# await page.screenshot({'path': './headless-test-result.png'}) # 截圖測(cè)試
def input_time_random():
return random.randint(100, 151)
鼠標(biāo)事件
.click() # 點(diǎn)擊按鈕 .down() # 按下按鈕 .up() # 釋放按鈕 .move() # 移動(dòng)光標(biāo)
鍵盤事件
您可以使用down()，up()和 sendCharacter()手動(dòng)觸發(fā)事件，就好像事件是由真實(shí)鍵盤生成的一樣。
await page.keyboard.press('ArrowLeft')
await page.keyboard.down('Shift')
for i in ' World':
await page.keyboard.press('ArrowLeft')
await page.keyboard.up('Shift')
await page.keyboard.press('Backspace')
# Result text will end up saying 'Hello!'.按下鍵盤A：
await page.keyboard.down('Shift')
await page.keyboard.press('KeyA')
await page.keyboard.press('Enter')
await page.keyboard.up('Shift')
注意
修飾鍵確實(shí)會(huì)影響down()。按住shift 將以大寫形式鍵入文本。
參數(shù)：
key（str）–要按鍵的名稱，例如ArrowLeft。
options（dict）–選項(xiàng)可以具有text字段，如果指定了此選項(xiàng)，則使用此文本生成輸入事件。
使用ip代理ua
import asyncio
from pyppeteer import launch
async def register():
browser = await launch({
'headless': False,
# 代理ip
'args': ['--proxy-server=47.105.111.124:15525', ]
})
page = await browser.newPage()
await page.setUserAgent(
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36')
asyncio.get_event_loop().run_until_complete(register())
# 更多參數(shù)
args: [
'--disable-setuid-sandbox',
'--no-sandbox',
'--proxy-server=10.24.51.125:8411',
'--ignore-certificate-errors',
'--window-size=375,812',
'--remote-debugging-port=9222'
],以上就是pyppeteer執(zhí)行js并繞過webdriver監(jiān)測(cè)的常見方法下篇的詳細(xì)內(nèi)容，更多關(guān)于pyppeteer執(zhí)行js繞過webdriver監(jiān)測(cè)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
本文給大家介紹一下Python中類才初始化時(shí)候的特殊方法，通過實(shí)例給大家做了分析，一起來學(xué)習(xí)下。2017-12-12
Python線性網(wǎng)絡(luò)實(shí)現(xiàn)分類糖尿病病例
什么是線性規(guī)劃？想象一下，您有一個(gè)線性方程組和不等式系統(tǒng)。這樣的系統(tǒng)通常有許多可能的解決方案。線性規(guī)劃是一組數(shù)學(xué)和計(jì)算工具，可讓您找到該系統(tǒng)的特定解，該解對(duì)應(yīng)于某些其他線性函數(shù)的最大值或最小值2022-10-10
在自然語言處理（NLP）領(lǐng)域，文本相似度計(jì)算是一個(gè)常見的任務(wù)，本文為大家整理了Python中的文本相似度常見計(jì)算方法，希望對(duì)大家有所幫助2023-05-05
Python實(shí)現(xiàn)讀取excel中的圖片功能
這篇文章主要介紹了如何利用Python實(shí)現(xiàn)讀取Excel中的圖片的功能，文中的實(shí)現(xiàn)步驟講解詳細(xì)，對(duì)我們學(xué)習(xí)Python有一定幫助，需要的可以參考一下2022-01-01
Windows系統(tǒng)下PhantomJS的安裝和基本用法
今天小編就為大家分享一篇關(guān)于Windows系統(tǒng)下PhantomJS的安裝和基本用法，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2018-10-10
這篇文章主要介紹了python圖形界面tkinter的使用技巧，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-09-09
Python密碼學(xué)XOR算法編碼流程及乘法密碼教程
這篇文章主要為大家介紹了Python密碼學(xué)XOR流程及乘法密碼教程示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
python網(wǎng)絡(luò)編程之文件下載實(shí)例分析
這篇文章主要介紹了python網(wǎng)絡(luò)編程之文件下載實(shí)現(xiàn)方法,實(shí)例分析了Python基于FTP及http實(shí)現(xiàn)文件下載的技巧,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了關(guān)于python曲線擬合，scipy.optimize中，curve_fit函數(shù)可調(diào)用非線性最小二乘法進(jìn)行函數(shù)擬合，文中有詳細(xì)的代碼作為參考，需要的朋友可以閱讀參考2023-04-04
Pandas是一個(gè)強(qiáng)大的Python庫,用于數(shù)據(jù)處理和分析,它提供了多種文件格式的數(shù)據(jù)讀取和導(dǎo)出方法,包括CSV、Excel、SQL數(shù)據(jù)庫、JSON等,常用的數(shù)據(jù)讀取方法為`pd.read_csv()`、`pd.read_excel()`等,導(dǎo)出方法為`to_csv()`、`to_excel()`等2025-01-01