最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Java?+?Selenium?+?OpenCV解決自動化測試中的滑塊驗證問題

 更新時間:2022年07月19日 08:51:16   作者:大宇yu  
OpenCV是一個基于Apache2.0許可(開源)發(fā)行的跨平臺計算機視覺和機器學(xué)習(xí)軟件庫,可以運行在Linux、Windows、Android和Mac?OS操作系統(tǒng)上,這篇文章主要介紹了Java?+?Selenium?+?OpenCV解決自動化測試中的滑塊驗證,需要的朋友可以參考下

最近工作過程中,一個常用的被測網(wǎng)站突然增加了滑塊驗證環(huán)節(jié),導(dǎo)致整個自動化項目失效了。

為了解決這個滑塊驗證問題,在網(wǎng)上查閱了一些資料后,總結(jié)并實現(xiàn)了解決方案,現(xiàn)記錄如下。

1、滑塊驗證思路

被測對象的滑塊對象長這個樣子。相對而言是比較簡單的一種形式,需要將左側(cè)的拼圖通過下方的滑塊進行拖動,嵌入到右側(cè)空槽中,即完成驗證。

要自動化完成這個驗證過程,關(guān)鍵點就在于確定滑塊滑動的距離。

根據(jù)上面的分析,驗證的關(guān)鍵點在于確定滑塊滑動的距離。但是看似簡單的一個需求,完成起來卻并不簡單。

如果使用自然邏輯來分析這個過程,可以拆解如下:

1. 定位到左側(cè)拼圖所在的位置,由于拼圖的形狀和大小固定,那么其實只需要定位其左邊邊界離背景圖片的左側(cè)距離。(實際在本例中,拼圖的起始位置也是固定的,節(jié)省了不少工夫)

2. 定位到右側(cè)凹槽所在位置,同樣其形狀和大小是固定的,那么只需要定位其左邊邊界離背景圖片的左側(cè)距離。

3. 用2中探測到的距離減去1中的距離,既是滑塊需要被拖動的距離。

要完成上述的探測計算,首先我們想到的是使用元素定位的方法定位到拼圖和凹槽的位置。

然而這一想法是不可行的,原因在于這個驗證模塊是使用兩個canvas即畫布元素實現(xiàn)的:

拼圖和凹槽都是“畫”在畫布上的,其本身并不是一個頁面元素,不能使用元素定位的方法。

因此我們考慮使用圖片解析的方法,分析畫布圖像本身,來確定相應(yīng)圖形的位置。

2、使用OpenCV進行圖片解析

這里我們將引入OpenCV庫,來幫我完成圖片解析過程:

OpenCV是一個基于Apache2.0許可(開源)發(fā)行的跨平臺計算機視覺和機器學(xué)習(xí)軟件庫,可以運行在Linux、Windows、Android和Mac OS操作系統(tǒng)上。 

它輕量級而且高效——由一系列 C 函數(shù)和少量 C++ 類構(gòu)成,同時提供了Python、Ruby、MATLAB等語言的接口,實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法。
OpenCV用C++語言編寫,它具有C ++,Python,Java和MATLAB接口,并支持Windows,Linux,Android和Mac OS,OpenCV主要傾向于實時視覺應(yīng)用,并在可用時利用MMX和SSE指令, 如今也提供對于C#、Ch、Ruby,GO的支持。

2.1 OpenCV引入項目

1:下載 OpenCV

進入到官網(wǎng) https://opencv.org/releases/ 下載對應(yīng)系統(tǒng)的 openCV 軟件包后,解壓放置到本地。

使用Maven依賴并不能引入正確的OpenCV外部依賴,這里需使用外部

2:工程中添加 jar 包

Intellij 中選擇 File -> Project Structure -> Modules -> Dependencies

點擊 add -> JARS or directories... 選擇

3. 新建滑塊驗證工具類,引入OpenCV動態(tài)鏈接庫文件:opencv_java450.dll

public class slideUtil {
 
    public static String dllPath = "D:\\AutoTest\\src\\main\\resources\\lib\\opencv\\opencv_java450.dll";
 
    public static void main(String[] args) {
 
        //getDistance();//調(diào)試用的main方法,調(diào)用一個getDistance方法,獲取拼圖和凹槽之間的距離,返回double類型數(shù)值。
    }

2.2 實現(xiàn)圖片解析,計算所需距離

由于本項目的特點,拼圖的形狀和位置是固定的,首先我們將拼圖和凹槽圖片下載到本地,方便后續(xù)處理。(其它項目可能出現(xiàn)圖片形狀不固定的情況,可以直接用selenium實時下載圖片,這過程比較簡單,因此不贅述)。

下載完的圖片如下:

凹槽圖片:

拼圖圖片:

下面直接上代碼再做說明:

 public static double getDistance(){
 
        // 加載OpenCV本地庫
        System.load(dllPath);
        //System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
//對拼圖圖形進行處理,存儲為Mat類型①
        Mat slideBlockMat=Imgcodecs.imread("slide_blk.png");//由于本項目的特點,拼圖的形狀和位置是固定的,因此直接將拼圖圖片保存到本地進行使用了
//Step1、灰度化圖片②
        Imgproc.cvtColor(slideBlockMat,slideBlockMat,Imgproc.COLOR_BGR2GRAY);
        imwrite("cvt_blk.png",slideBlockMat);
//Step2、去除周圍黑邊
        for (int row = 0; row < slideBlockMat.height(); row++) {
            for (int col = 0; col < slideBlockMat.width(); col++) {
                if (slideBlockMat.get(row, col)[0] == 0) {
                    slideBlockMat.put(row, col, 96);
                }
            }
        }
        imwrite("nsr_blk.png",slideBlockMat);
//Step3、轉(zhuǎn)黑白圖
        Core.inRange(slideBlockMat, Scalar.all(96), Scalar.all(96), slideBlockMat);
        imwrite("ezh_blk.png",slideBlockMat);<br>
//對滑動背景圖進行處理③
        Mat slideBgMat = Imgcodecs.imread("slide_bg.png");//背景凹槽圖片需要動態(tài)獲取,見下面的解析
//Step1、灰度化圖片④
        Imgproc.cvtColor(slideBgMat,slideBgMat,Imgproc.COLOR_BGR2GRAY);
        imwrite("hdh_bg.png",slideBgMat);
//Step2、二值化
        //Core.inRange(slideBgMat, Scalar.all(96), Scalar.all(96), slideBgMat);
        Imgproc.threshold(slideBgMat,slideBgMat,127,255, Imgproc.THRESH_BINARY);
        imwrite("ezh_bg.png",slideBgMat);
        Mat g_result = new Mat();
        /*
         * 將凹槽背景和拼圖圖形進行匹配⑤
         */
        Imgproc.matchTemplate(slideBgMat,slideBlockMat,g_result, Imgproc.TM_CCOEFF_NORMED);
        Point matchLocation= Core.minMaxLoc(g_result).maxLoc;
//返回匹配點的橫向距離
        System.out.println(matchLocation.x);
        return matchLocation.x;
    }

2.3 算法解析說明

①什么是Mat類型:

Mat 是 OpenCV 中用來存儲圖像信息的內(nèi)存對象。Mat 對象中除了存儲圖像的像素數(shù)據(jù)外,還包括圖像的其它屬性:寬、高、類型、維度、大小、深度等??梢哉J為在OpenCV中,一個Mat對象就定義了一個圖像。②對于slide_blk.png的處理經(jīng)過了以下過程:灰度化:

去黑邊:

二值化:

最終的目的在于將圖形轉(zhuǎn)化為黑白分明的圖形,便于后續(xù)匹配。

③本項目中,由于背景凹槽圖片,凹槽的位置是動態(tài)的,所以需要實時動態(tài)獲?。海ㄈ绻龅狡磮D也需要動態(tài)獲取,可以同樣處理)

WebElement bg_canvas = driver.findElement(slide_ver_bg_by);//元素定位,定位到背景圖片
 
        Object base64 = ((JavascriptExecutor) driver)
                .executeScript("return arguments[0].toDataURL('image/png').substring(21);", bg_canvas);//頁面元素轉(zhuǎn)Base64
        String base64Str = base64.toString();
        generateImage(base64Str , "slide_bg.png");// 將base64把字符串裝換成圖片

④對于slide_bg.png的處理經(jīng)過了以下過程:

灰度化:

二值化:

這里省略了去黑邊這一過程,因為實踐發(fā)現(xiàn),經(jīng)過上述兩部后,我們已經(jīng)能夠進行較為準確的圖片匹配了。

⑤matchTemplate:在模板和輸入圖像之間尋找匹配,獲得匹配結(jié)果圖像

esult:保存匹配的結(jié)果矩陣

TM_CCOEFF_NORMED標準相關(guān)匹配算法

minMaxLoc:在給定的結(jié)果矩陣中尋找最大和最小值,并給出它們的位置

3、Selenium處理滑塊滑動

Selenium的滑塊處理是庫里的標準玩法,使用actions類或者javaScript的方式都可以實現(xiàn),本例采用的是actions類方法:

public void slide_verify(WebDriver driver) throws InterruptedException {
 
        double  slideDistance = getDistance();//此處就是調(diào)用2中的OpenCV計算拼圖和凹槽距離
        System.out.println("滑動距離是" + slideDistance);
        WebElement dragElement = driver.findElement(slide_obj_by);//定位到滑塊
        Actions actions = new Actions(driver);
        actions.clickAndHold(dragElement);//模擬鼠標動作,按住滑塊
        Thread.sleep(300);
<br>//滑動,分兩次進行①
        actions.moveByOffset(((int)slideDistance - 11)/2,0);
        Thread.sleep(1000);
        Thread.sleep(500);
        actions.release();
        actions.perform();
    }

①這里進行滑動時,首先滑動距離之所以要減去11,是因為本例中拼圖的初始位置固定離整體圖形的左邊距是11.

分兩次滑行并且中間sleep了一個時間,是為了防止全勻速拖動而被識別為機器人。

其它文章中有提到使用比較復(fù)雜的拖動軌跡算法,本項目中實踐得知,滑動軌跡并沒有太重要,分兩次拖動就可以了,沒必要復(fù)雜化。

4、最終效果

最終的滑動效果,因為被測網(wǎng)站的敏感性就不放上來了,最終實現(xiàn)成果是較為理想的。

到此這篇關(guān)于Java + Selenium + OpenCV解決自動化測試中的滑塊驗證的文章就介紹到這了,更多相關(guān)Java滑塊驗證內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 使用SpringBoot和JPA實現(xiàn)批量處理新增、修改

    使用SpringBoot和JPA實現(xiàn)批量處理新增、修改

    最近項目需要在JPA中使用ID進行批量更新,所以下面這篇文章主要給大家介紹了關(guān)于使用SpringBoot和JPA實現(xiàn)批量處理新增、修改的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2023-06-06
  • 一文讀懂Spring Bean的生命周期

    一文讀懂Spring Bean的生命周期

    今天我們來說一說 Spring Bean 的生命周期,小伙伴們應(yīng)該在面試中經(jīng)常遇到,這是正?,F(xiàn)象,本文讓更多的小伙伴們可以輕松的讀懂 Spring Bean 的生命周期
    2023-03-03
  • Java對象以Hash結(jié)構(gòu)存入Redis詳解

    Java對象以Hash結(jié)構(gòu)存入Redis詳解

    這篇文章主要介紹了Java對象以Hash結(jié)構(gòu)存入Redis詳解,和Java中的對象非常相似,卻不能按照Java對象的結(jié)構(gòu)直接存儲進Redis的hash中,因為Java對象中的field是可以嵌套的,而Redis的Hash結(jié)構(gòu)不支持嵌套結(jié)構(gòu),需要的朋友可以參考下
    2023-08-08
  • Mybatis-plus數(shù)據(jù)權(quán)限D(zhuǎn)ataPermissionInterceptor實現(xiàn)

    Mybatis-plus數(shù)據(jù)權(quán)限D(zhuǎn)ataPermissionInterceptor實現(xiàn)

    本文主要介紹了Mybatis-plus數(shù)據(jù)權(quán)限D(zhuǎn)ataPermissionInterceptor實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2022-07-07
  • JavaSE static final及abstract修飾符實例解析

    JavaSE static final及abstract修飾符實例解析

    這篇文章主要介紹了JavaSE static final及abstract修飾符實例解析,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-06-06
  • SpringBoot攔截器Filter的使用方法詳解

    SpringBoot攔截器Filter的使用方法詳解

    這篇文章主要介紹了SpringBoot攔截器Filter的使用方法詳解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-03-03
  • Spring?Security?自定義授權(quán)服務(wù)器實踐記錄

    Spring?Security?自定義授權(quán)服務(wù)器實踐記錄

    授權(quán)服務(wù)器(Authorization Server)目前并沒有集成在Spring Security項目中,而是作為獨立項目存在于Spring生態(tài)中,這篇文章主要介紹了Spring?Security?自定義授權(quán)服務(wù)器實踐,需要的朋友可以參考下
    2022-08-08
  • 關(guān)于服務(wù)網(wǎng)關(guān)Spring Cloud Zuul(Finchley版本)

    關(guān)于服務(wù)網(wǎng)關(guān)Spring Cloud Zuul(Finchley版本)

    這篇文章主要介紹了關(guān)于服務(wù)網(wǎng)關(guān)Spring Cloud Zuul(Finchley版本),具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-03-03
  • Spring中自動裝配的4種方式

    Spring中自動裝配的4種方式

    今天小編就為大家分享一篇關(guān)于Spring中自動裝配的4種方式,小編覺得內(nèi)容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧
    2019-01-01
  • Java 反射獲取類詳細信息的常用方法總結(jié)

    Java 反射獲取類詳細信息的常用方法總結(jié)

    Java 反射獲取類詳細信息的常用方法總結(jié),需要的朋友可以參考一下
    2013-03-03

最新評論

沿河| 塔河县| 丰台区| 科技| 平果县| 馆陶县| 大丰市| 孟州市| 西峡县| 水富县| 宾阳县| 资兴市| 胶州市| 偏关县| 金昌市| 保康县| 海宁市| 大余县| 嘉定区| 准格尔旗| 卢龙县| 宕昌县| 衡东县| 邢台县| 北碚区| 义乌市| 吉木萨尔县| 奉节县| 徐州市| 望谟县| 东阳市| 嵩明县| 东至县| 聂拉木县| 安远县| 方山县| 齐河县| 叶城县| 遂平县| 竹北市| 奉化市|