利用Java+Selenium+OpenCV模擬實現(xiàn)網(wǎng)頁滑動驗證
更新時間：2022年01月08日 14:51:07 作者：ohhMySun
目前很多網(wǎng)頁都有滑動驗證，目的就是防止不良爬蟲扒他們網(wǎng)站的數(shù)據(jù)。本文將介紹通過Java Selenium OpenCV解決網(wǎng)頁滑塊驗證，需要的可以參考一下
目前很多網(wǎng)頁都有滑動驗證，目的就是防止不良爬蟲扒他們網(wǎng)站的數(shù)據(jù)，我這次本著學習的目的使用Java和selenium學習解決滑動驗證的問題，前前后后花了一周時間（抄代碼），終于成功了某音的滑動驗證！
效果展示：
一、需求分析
要模擬滑動驗證總共就兩步：
1、找到小滑塊
2、按住小滑塊，滑動一段距離
第一步很簡單，直接通過xPath找到，比較重要和困難的是第二步中距離的問題，我花了那么多的時間在這次學習中，主要是耗在計算需要滑動的距離。
在面向百度編程的過程中看到了很多學習資料，大體上是同一個方法：使用opencv計算機視覺工具讓兩張?zhí)幚磉^的圖像進行比對，從而計算出滑動的距離。
二、模擬步驟
1、使用selenium打開某音網(wǎng)頁
直接打開
2、找到小滑塊以及小滑塊所在的背景圖
打開前端調(diào)式工具，F(xiàn)12，定位小滑塊和背景圖的位置，復制xpath，然后用selenium查找元素
eg: driver.findElement(By.xpath("小滑塊的xpath"));
3、計算小滑塊需要滑動的距離
這一部分是最重要的，所以需要重點記錄，學習一次，以后遇到同樣的問題就能馬上解決。
步驟：
1、保存小滑塊圖像和小滑塊背景圖
如圖，使用selenium可以很方便的獲取到這兩張圖片。
2、將背景圖進行指定比例和區(qū)域的剪裁
在這一步中有兩個比較重要的參數(shù)：
1、小滑塊的top值
2、網(wǎng)頁當前顯示的圖像和原圖像的大小比例，在計算滑動距離需要用到
剪裁用的是 BufferedImage的getSubimage方法，一共有四個參數(shù)
image = image.getSubimage(x, y, width, height);
x和y 為截圖后圖片左上角的坐標值，如果x和y都是0，那么就從原圖的左上角開始截起，width和height分別是截圖后圖片的長和寬。
在某音的滑動驗證中，x設置成小滑塊的寬度，y設置為小滑塊的top，top也就是小滑塊距離背景圖上邊界的像素
width設置為背景圖原來的寬度-小滑塊的寬度
height設置為小滑塊的高度
最后截出來的圖片類似這樣，一定要把背景圖的缺口包含進去
3、將小滑塊圖像二值化
從這里開始要用到opencv（開源計算機視覺庫）
首先將保存的小滑塊圖片轉(zhuǎn)灰度，然后將轉(zhuǎn)灰度的下滑快二值化，二值化就是非黑即白，了解過后才知道目前很多機器識別使用的原理和這個差不多。
代碼如下：
//小滑塊Mat對象
Mat s_mat = Imgcodecs.imread(sFile.getPath());
// 轉(zhuǎn)灰度圖像
Mat s_newMat = new Mat();
Imgproc.cvtColor(s_mat, s_newMat, Imgproc.COLOR_BGR2GRAY);
// 二值化圖像
binaryzation(s_newMat);binaryzation是一個方法，在源碼中有
Imgcodecs.imwrite(sFile.getPath(), s_newMat);
4、將二值化的小滑塊和剪裁的背景圖進行比對
代碼我是抄的，看不懂，就不放在這了。
我研究了好久，因為沒有學習過opencv，計算過程調(diào)用的幾個方法我還不是很懂，但是最后的返回值需要根據(jù)實際情況來調(diào)整，要不然驗證成功率幾乎為0。
4、按住小滑塊并滑動
滑動過程不能讓程序一步走完，不然網(wǎng)頁會認為你是爬蟲，即使能滑到指定位置也會驗證失敗?；瑒舆^程應該盡量模擬人工操作。
/**
* 模擬移動滑塊
* @param driver
* @param ele 小滑塊
* @param distance 滑動距離
*/
public void move(ChromeDriver driver,WebElement ele,int distance) {
int randomTime = 0;
if (distance > 90) {
randomTime = 250;
} else if (distance > 80 && distance <= 90) {
randomTime = 150;
}
List<Integer> track = getMoveTrack(distance - 2);
int moveY = 1;
try {
Actions actions = new Actions(driver);
actions.clickAndHold(ele).perform();
Thread.sleep(200);
for (int i = 0; i < track.size(); i++) {
actions.moveByOffset(track.get(i), moveY).perform();
Thread.sleep(new Random().nextInt(300) + randomTime);
}
Thread.sleep(200);
actions.release(ele).perform();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 根據(jù)距離獲取滑動軌跡
* @param distance 需要移動的距離
* @return
*/
public static List<Integer> getMoveTrack(int distance) {
List<Integer> track = new ArrayList<>();// 移動軌跡
Random random = new Random();
int current = 0;// 已經(jīng)移動的距離
int mid = distance * 4 / 5;// 減速閾值
int a = 0;
int move = 0;// 每次循環(huán)移動的距離
while (true) {
a = random.nextInt(10);
if (current <= mid) {
move += a;// 不斷加速
} else {
move -= a;
}
if ((current + move) < distance) {
track.add(move);
} else {
track.add(distance - current);
break;
}
current += move;
}
return track;
}
三、學習過程中比較棘手的問題
1、截圖問題
我一開始截出來的圖包含的小滑塊缺口總是不完整的，經(jīng)過一番截圖參數(shù)調(diào)試后，我發(fā)現(xiàn)某音小滑塊top的單位他丫的是em，這像素的大小用em???真不愧是某音，別家都是px，你偏偏要em......然后我又開始面向百度，最后得到的結(jié)論是默認瀏覽器1em = 10px，我在top *10之后還是截不到完整的小滑塊缺口。
我這會直接上網(wǎng)頁調(diào)試工具，最終調(diào)式出來1em約等于100px，最后top *100截出來的圖片就對了。
2、返回結(jié)果與實際滑動距離相差太多，甚至無規(guī)律可循
好不容易把代碼敲完，之后的測試卻一直是失敗的，無論在計算的結(jié)果加減乘除某個數(shù)值都不行。
導致原因：因為在網(wǎng)頁上顯示的圖片和實際上圖片大小是不同的，依靠opencv比對計算出來的滑動距離是按照原圖大小計算的。
解決辦法：只需要將返回值乘上顯示圖片與原圖寬度的比例即可。
注意：因為之前在獲取小滑塊圖像時，top的值為網(wǎng)頁顯示的大小，計算過程中是按照原圖大小計算的，所以獲取的top值乘以100后還要乘上原圖寬度與顯示圖像寬度的比例。
3、openCV的下載安裝
官網(wǎng)實在是太慢了，直接搜索安裝包下載了。
四、總結(jié)
這次學習經(jīng)歷前后共花了一周，恰逢考試周，考試科目大多沒有復習好，也不知是不是虧了，滑動驗證是網(wǎng)頁登錄或者搜索會經(jīng)常遇到的問題，模擬滑動解鎖主要能夠鍛煉我們解決問題的能力。
圖像在計算機中實際是一個個像素組成的，每一個像素包含三個數(shù)值，所以才能夠?qū)D像進行二值化、比對。比對過程是在看不懂，不過也不必每一行代碼都看懂，能夠解決問題才是最重要的。
以下為源碼（僅用于學習交流）：
package indi.imitateslide;
import org.apache.commons.io.FileUtils;
import org.opencv.core.*;
import org.opencv.imgcodecs.Imgcodecs;
import org.opencv.imgproc.Imgproc;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.interactions.Actions;
import javax.imageio.ImageIO;
import java.awt.image.BufferedImage;
import java.io.File;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.Random;
/**
* 自動化模擬滑動驗證
*/
public class ImitateSlide {
//驅(qū)動
private ChromeDriver driver;
public ImitateSlide(ChromeDriver driver){
this.driver = driver;
}
public void slide(String url,String sliderXpath) throws Exception {
driver.get(url);
Thread.sleep(2000);
//獲取滑塊
WebElement ele = waitWebElement(driver,By.xpath(sliderXpath),500);
//獲取滑動背景圖
String bUrl = waitWebElement(driver,By.xpath("http://*[@id=\"captcha-verify-image\"]"),500).getAttribute("src");
//獲取小滑塊圖片
String sUrl = waitWebElement(driver,By.xpath("http://*[@id=\"captcha_container\"]/div/div[2]/img[2]"),500).getAttribute("src");
//獲取高度
String topStr = waitWebElement(driver,By.xpath("http://*[@id=\"captcha_container\"]/div/div[2]/img[2]"),500).getAttribute("style").substring(16,20);
System.out.println("字符串高度是： "+topStr);
double dTop = Double.parseDouble(topStr);
dTop *= 160;
int top = (int) dTop;
System.out.println("最終高度是： "+top);
//計算移動的距離
double dDis = Double.parseDouble(getDistance(bUrl,sUrl,top));
System.out.println("計算出的距離為： "+dDis);
int distance = (int) dDis;
System.out.println("最終移動的距離為： "+distance);
Thread.sleep(500);
//滑動
move(driver,ele,distance);
Thread.sleep(1000);
driver.quit();
}
/**
* 模擬移動滑塊
* @param driver
* @param ele
* @param distance
*/
public void move(ChromeDriver driver,WebElement ele,int distance) {
int randomTime = 0;
if (distance > 90) {
randomTime = 250;
} else if (distance > 80 && distance <= 90) {
randomTime = 150;
}
List<Integer> track = getMoveTrack(distance - 2);
int moveY = 1;
try {
Actions actions = new Actions(driver);
actions.clickAndHold(ele).perform();
Thread.sleep(200);
for (int i = 0; i < track.size(); i++) {
actions.moveByOffset(track.get(i), moveY).perform();
Thread.sleep(new Random().nextInt(300) + randomTime);
}
Thread.sleep(200);
actions.release(ele).perform();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 根據(jù)距離獲取滑動軌跡
* @param distance 需要移動的距離
* @return
*/
public static List<Integer> getMoveTrack(int distance) {
List<Integer> track = new ArrayList<>();// 移動軌跡
Random random = new Random();
int current = 0;// 已經(jīng)移動的距離
int mid = distance * 4 / 5;// 減速閾值
int a = 0;
int move = 0;// 每次循環(huán)移動的距離
while (true) {
a = random.nextInt(10);
if (current <= mid) {
move += a;// 不斷加速
} else {
move -= a;
}
if ((current + move) < distance) {
track.add(move);
} else {
track.add(distance - current);
break;
}
current += move;
}
return track;
}
/**
* 獲取滑塊移動的距離
* @param bUrl 滑動背景圖
* @param sUrl 小滑塊
* @param top 高度
* @return
*/
public String getDistance(String bUrl, String sUrl, int top) {
System.loadLibrary( Core.NATIVE_LIBRARY_NAME );
File bFile = new File("D:\\douyin_b1.jpg");
File sFile = new File("D:\\douyin_s1.jpg");
try {
//將圖片復制保存到指定路徑
FileUtils.copyURLToFile(new URL(bUrl), bFile);
FileUtils.copyURLToFile(new URL(sUrl), sFile);
BufferedImage bgBI = ImageIO.read(bFile);
BufferedImage sBI = ImageIO.read(sFile);
// 裁剪
System.out.println("背景圖片的寬度是： "+bgBI.getWidth());
System.out.println("小圖片的高度是："+sBI.getHeight());
bgBI = bgBI.getSubimage(sBI.getWidth(), top, bgBI.getWidth() - 110, sBI.getHeight());
ImageIO.write(bgBI, "png", bFile);
Mat s_mat = Imgcodecs.imread(sFile.getPath());
Mat b_mat = Imgcodecs.imread(bFile.getPath());
// 轉(zhuǎn)灰度圖像
Mat s_newMat = new Mat();
Imgproc.cvtColor(s_mat, s_newMat, Imgproc.COLOR_BGR2GRAY);
// 二值化圖像
binaryzation(s_newMat);
Imgcodecs.imwrite(sFile.getPath(), s_newMat);
//讓兩張圖片進行比對
int result_rows = b_mat.rows() - s_mat.rows() + 1;
int result_cols = b_mat.cols() - s_mat.cols() + 1;
Mat g_result = new Mat(result_rows, result_cols, CvType.CV_32FC1);
Imgproc.matchTemplate(b_mat, s_mat, g_result, Imgproc.TM_SQDIFF); // 歸一化平方差匹配法
// 歸一化相關匹配法
Core.normalize(g_result, g_result, 0, 1, Core.NORM_MINMAX, -1, new Mat());
//以下看不懂
Point matchLocation = new Point();
Core.MinMaxLocResult mmlr = Core.minMaxLoc(g_result);
matchLocation = mmlr.maxLoc; // 此處使用maxLoc還是minLoc取決于使用的匹配算法
Imgproc.rectangle(b_mat, matchLocation,
new Point(matchLocation.x + s_mat.cols(), matchLocation.y + s_mat.rows()), new Scalar(0, 255, 0, 0));
//返回值就是要移動的距離，在這里需要加上被裁剪掉的寬度再減去小滑塊的寬度，最后乘上相應的比例。
return "" + ((matchLocation.x + s_mat.cols()) / 1.62);
} catch (Throwable e) {
e.printStackTrace();
return null;
} finally {
//刪除保存的滑塊以及背景圖片
bFile.delete();
sFile.delete();
}
}
/**
* 將圖像二值化，固定代碼
* @param mat
*/
public static void binaryzation(Mat mat) {
int BLACK = 0;
int WHITE = 255;
int ucThre = 0, ucThre_new = 127;
int nBack_count, nData_count;
int nBack_sum, nData_sum;
int nValue;
int i, j;
int width = mat.width(), height = mat.height();
// 尋找最佳的闕值
while (ucThre != ucThre_new) {
nBack_sum = nData_sum = 0;
nBack_count = nData_count = 0;
for (j = 0; j < height; ++j) {
for (i = 0; i < width; i++) {
nValue = (int) mat.get(j, i)[0];
if (nValue > ucThre_new) {
nBack_sum += nValue;
nBack_count++;
} else {
nData_sum += nValue;
nData_count++;
}
}
}
nBack_sum = nBack_sum / nBack_count;
nData_sum = nData_sum / nData_count;
ucThre = ucThre_new;
ucThre_new = (nBack_sum + nData_sum) / 2;
}
// 二值化處理
int nBlack = 0;
int nWhite = 0;
for (j = 0; j < height; ++j) {
for (i = 0; i < width; ++i) {
nValue = (int) mat.get(j, i)[0];
if (nValue > ucThre_new) {
mat.put(j, i, WHITE);
nWhite++;
} else {
mat.put(j, i, BLACK);
nBlack++;
}
}
}
// 確保白底黑字
if (nBlack > nWhite) {
for (j = 0; j < height; ++j) {
for (i = 0; i < width; ++i) {
nValue = (int) (mat.get(j, i)[0]);
if (nValue == 0) {
mat.put(j, i, WHITE);
} else {
mat.put(j, i, BLACK);
}
}
}
}
}
/**
* 元素延時加載，等到元素出現(xiàn)時返回該元素，超過500*0.05s后無響應則拋出NOSuchElement異常
* @param driver
* @param by
* @param count
* @return WebElement
* @throws Exception
*/
private static WebElement waitWebElement(WebDriver driver, By by, int count) throws Exception {
WebElement webElement = null;
boolean isWait = false;
for (int k = 0; k < count; k++) {
try {
webElement = driver.findElement(by);
if (isWait)
System.out.println(" ok!");
return webElement;
} catch (org.openqa.selenium.NoSuchElementException ex) {
isWait = true;
if (k == 0)
System.out.print("waitWebElement(" + by.toString() + ")");
else
System.out.print(".");
Thread.sleep(50);
}
}
if (isWait)
System.out.println(" outTime!");
return null;
}
}到此這篇關于利用Java+Selenium+OpenCV模擬實現(xiàn)網(wǎng)頁滑動驗證的文章就介紹到這了,更多相關Java Selenium OpenCV滑動驗證內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
Mybatis讀取和存儲json類型數(shù)據(jù)的實現(xiàn)
本文主要介紹了Mybatis讀取和存儲json類型數(shù)據(jù)的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-06-06
這篇文章主要為大家詳細介紹了java實現(xiàn)學生成績檔案管理系統(tǒng)，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-07-07
這篇文章主要給大家分享Java 網(wǎng)絡編程的一個總結(jié)，說到網(wǎng)絡編程肯定都會想到IP地址、端口、通信協(xié)議等一些必不可少的元素，下面來看看文章的詳細介紹吧2021-11-11
在我們?nèi)粘I(yè)務開發(fā)過程中，或多或少都會用到并發(fā)的功能。那么并發(fā)線程池到底設置多大呢？文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-09-09
springboot如何通過不同的策略動態(tài)調(diào)用不同的實現(xiàn)類
這篇文章主要介紹了springboot如何通過不同的策略動態(tài)調(diào)用不同的實現(xiàn)類，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-02-02
要想實現(xiàn)網(wǎng)絡編程,除了可以使用Socket之外,我們還可以利用URL編程或HTTP編程技術,所以今天這篇文章,就給大家介紹一下URL編程和HTTP編程技術,看看這兩種技術有什么特點,文中有詳細的代碼講解,需要的朋友可以參考下2023-11-11
request如何獲取完整url(包括域名、端口、參數(shù))
這篇文章主要介紹了request如何獲取完整url(包括域名、端口、參數(shù))問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-12-12
Java性能工具JMeter實現(xiàn)上傳與下載腳本編寫
性能測試工作中，文件上傳也是經(jīng)常見的性能壓測場景之一，那么 JMeter 文件上傳下載腳本怎么做，本文詳細的來介紹一下，感興趣的可以了解一下2021-07-07
前面我們提到了方法需要參數(shù)類型，但是如果我們需要用一個函數(shù)同時兼容多種參數(shù)的情況應該怎么辦呢？ 這里就可以使用到方法重載，對Java中方法的使用、重載與遞歸相關知識感興趣的朋友一起看看吧2021-11-11
ThreadLocal數(shù)據(jù)存儲結(jié)構原理解析
這篇文章主要為大家介紹了ThreadLocal數(shù)據(jù)存儲結(jié)構原理解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-10-10