Python使用Selenium時遇到網(wǎng)頁＜body＞劃不動的問題解決方法

更新時間：2024年10月12日 09:18:53 作者：wdxylb

如果在使用 Selenium 時遇到網(wǎng)頁的 <body> 劃不動的問題,這通常是因為頁面的滾動機制（例如,可能使用了一個具有固定高度的容器或自定義的滾動條）導致無法通過簡單的 JavaScript 實現(xiàn)滾動,可以通過以下方法來解決該問題

前言

如果在使用 Selenium 時遇到網(wǎng)頁的 <body> 劃不動的問題，這通常是因為頁面的滾動機制（例如，可能使用了一個具有固定高度的容器或自定義的滾動條）導致無法通過簡單的 JavaScript 實現(xiàn)滾動。可以通過以下方法來解決該問題。

1. 查找可滾動的元素

查看頁面上是否有特定的可滾動元素，而不是直接滾動整個 <body>。例如，有些網(wǎng)頁會使用 <div> 或其他容器來顯示內(nèi)容，這種元素可能有 overflow: auto 或 overflow: scroll 屬性?？梢試L試定位那個容器并對其進行滾動。

例如：

scrollable_div = driver.find_element(By.CSS_SELECTOR, 'div.scrollable-container')  # 替換為實際的選擇器
driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", scrollable_div)

driver.execute_script("arguments[0].scrollTop = arguments[0].scrollHeight", scrollable_div) 是 Selenium 中使用 JavaScript 來執(zhí)行頁面滾動操作的一種方式。具體來說，這行代碼的作用是將指定的元素（在代碼中名為 scrollable_div）滾動到底部。

arguments[0]：這是 JavaScript 中的參數(shù)傳遞方式。當您調用 driver.execute_script 時，傳遞的第二個參數(shù)（即 scrollable_div）會作為 arguments[0] 傳遞到 JavaScript 代碼中。
scrollTop：這是 DOM 元素的一個屬性，表示元素當前垂直滾動的像素數(shù)。通過設置這個值，可以控制元素的滾動位置。
scrollHeight：這是 DOM 元素的一個屬性，表示元素內(nèi)容的總高度（包括因溢出而不可見的內(nèi)容）。

要解決的問題是滾動到某個容器元素的底部，而不是整個頁面。假設頁面中有一個 div 包含大量內(nèi)容，并且這個 div 有自己的滾動條。通過將這個 div 的 scrollTop 設置為其 scrollHeight，可以實現(xiàn)將該 div 的內(nèi)容滾動到底部。

2. 使用 JavaScript 滾動

如果是 <body> 無法滾動，可以使用 JavaScript 來嘗試不同的滾動方法，例如直接調整 scrollTop 值。比如，向下移動一定的像素：

driver.execute_script("window.scrollBy(0, 500);")  # 向下滾動 500 像素

3. 檢查 page-load 狀態(tài)

確保在進行滾動之前，頁面已完全加載。使用顯式等待確認頁面的狀態(tài)。例如，使用 WebDriverWait 來等待某個元素的加載：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
 
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, 'your-element-class')))  # 替換為實際的類名

4. 循環(huán)滾動

如果需要滾動整個頁面，可以使用一個循環(huán)，不斷檢查滾動高度的變化，直到到達頁面底部。這是一個常見的處理無限滾動列表的方法：

last_height = driver.execute_script("return document.body.scrollHeight")
 
while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(2)  # 等待加載新內(nèi)容
 
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break  # 到達底部，停止?jié)L動
    last_height = new_height

5. 使用 Actions 類進行滾動

使用 Selenium 的 ActionChains 可以模擬按鍵或鼠標事件，進行更復雜的用戶交互，例如按“向下箭頭”鍵：

from selenium.webdriver.common.action_chains import ActionChains
 
actions = ActionChains(driver)
for _ in range(10):  # 示例：按下10次向下箭頭
    actions.send_keys(Keys.ARROW_DOWN).perform()
    time.sleep(0.5)  # 等待一會兒，以便內(nèi)容加載

當然也可以在控制臺中直接模擬下拉（即向下滾動）操作，使用 JavaScript 來實現(xiàn)。以下是如何在控制臺中執(zhí)行 JavaScript 代碼來實現(xiàn)下拉操作的步驟。

JavaScript 代碼操作步驟

1. 打開瀏覽器控制臺

首先，打開你想要操作的網(wǎng)頁，然后按下 F12 鍵或者右鍵點擊頁面并選擇“檢查”來打開開發(fā)者工具。然后在開發(fā)者工具中切換到“控制臺”標簽。

2. 找到可滾動的元素

假設你要滾動的元素是一個 div，并且它的類名是 __vuescroll。你需要先找到這個元素。

3. 編寫 JavaScript 代碼來下拉

在控制臺中輸入以下 JavaScript 代碼，這將使指定的 div 向下滾動：

// 找到你要操作的 div 元素
var scrollableDiv = document.querySelector('div.__vuescroll.hasVBar');
 
// 如果找到了這個 div
if (scrollableDiv) {
    // 將 div 滾動到最底部
    scrollableDiv.scrollTop = scrollableDiv.scrollHeight;
} else {
    console.error('沒有找到可滾動的 div 元素');
}

代碼解釋

document.querySelector('div.__vuescroll.hasVBar')：通過 CSS 選擇器找到類名為 __vuescroll 并且有 hasVBar 類的 div 元素。
scrollTop = scrollableDiv.scrollHeight：將元素的 scrollTop 屬性設置為元素的 scrollHeight（元素內(nèi)容的總高度），這將使元素滾動到最底部。

4. 執(zhí)行代碼

在控制臺中輸入或粘貼上述代碼，然后按下 Enter 鍵。這將使指定的 div 元素滾動到最底部。

逐步滾動

如果你想要逐步滾動而不是一次性滾動到底部，可以使用以下代碼：

// 找到你要操作的 div 元素
var scrollableDiv = document.querySelector('div.__vuescroll.hasVBar');
 
// 如果找到了這個 div
if (scrollableDiv) {
    // 當前的 scrollTop 值
    var currentScrollTop = scrollableDiv.scrollTop;
    
    // 每次增加 100 像素，逐步滾動到底部
    var scrollInterval = setInterval(function() {
        // 每次增加 100 像素
        currentScrollTop += 100;
        
        // 設置新的 scrollTop 值
        scrollableDiv.scrollTop = currentScrollTop;
        
        // 如果已經(jīng)滾動到底部，停止定時器
        if (currentScrollTop >= scrollableDiv.scrollHeight) {
            clearInterval(scrollInterval);
        }
    }, 100); // 每 100 毫秒執(zhí)行一次
} else {
    console.error('沒有找到可滾動的 div 元素');
}