深入探討opencv圖像矯正算法實(shí)戰(zhàn)

更新時(shí)間：2021年05月21日 09:19:14 作者：唯有自己強(qiáng)大

在機(jī)器視覺中，對(duì)于圖像的處理有時(shí)候因?yàn)榉胖玫脑驅(qū)е翿OI區(qū)域傾斜，這個(gè)時(shí)候我們會(huì)想辦法把它糾正為正確的角度視角來，本文主要介紹了opencv圖像矯正算法，感興趣的可以了解一下

摘要

在機(jī)器視覺中，對(duì)于圖像的處理有時(shí)候因?yàn)榉胖玫脑驅(qū)е翿OI區(qū)域傾斜，這個(gè)時(shí)候我們會(huì)想辦法把它糾正為正確的角度視角來，方便下一步的布局分析與文字識(shí)別，這個(gè)時(shí)候通過透視變換就可以取得比較好的裁剪效果。

本次實(shí)戰(zhàn)，對(duì)于圖像的矯正使用了兩種矯正思路：

針對(duì)邊緣比較明顯的圖像，使用基于輪廓提取的矯正算法。
針對(duì)邊緣不明顯，但是排列整齊的文本圖像，使用了基于霍夫直線探測(cè)的矯正算法。

基于輪廓提取的矯正算法

整體思路：

圖片灰度化，二值化
檢測(cè)輪廓,并篩選出目標(biāo)輪廓（通過橫縱比或面積去除干擾輪廓)
獲取目標(biāo)輪廓的最小外接矩形
獲取最小外接矩形的四頂點(diǎn)，并定義矯正圖像后的四頂點(diǎn)
透視變換（四點(diǎn)變換）

opencv實(shí)現(xiàn)（分解步驟）：

（一）圖片灰度化，二值化（開運(yùn)算，消除噪點(diǎn)）

  Mat src = imread("D:/opencv練習(xí)圖片/圖片矯正.png");
    imshow("原圖片", src);
    // 二值圖像
    Mat gray, binary;
    cvtColor(src, gray, COLOR_BGR2GRAY);
    threshold(gray, binary, 0, 255, THRESH_BINARY_INV| THRESH_OTSU);
    imshow("二值化", binary);
    // 定義結(jié)構(gòu)元素
    Mat se = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(binary, binary, MORPH_OPEN, se);
    imshow("開運(yùn)算", binary);

注意：由于原圖像背景是白色，因此二值化時(shí)候要用THRESH_BINARY_INV

（二）提取輪廓，篩選輪廓

// 尋找最大輪廓
    vector<vector<Point>> contours;
    findContours(binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE);
    int index = -1;
    int max = 0;
    for (size_t i = 0; i < contours.size(); i++) 
    {
        double area = contourArea(contours[i]);
        if (area > max) 
        {
            max = area;
            index = i;
        }
    }

（三）求取最小外接矩形以及四頂點(diǎn)坐標(biāo)，并定義變換后的四頂點(diǎn)坐標(biāo)

// 尋找最小外接矩形
    RotatedRect rect = minAreaRect(contours[index]);    
    Point2f srcpoint[4];//存放變換前四頂點(diǎn)
    Point2f dstpoint[4];//存放變換后四頂點(diǎn)
    rect.points(srcpoint);//獲取最小外接矩形四頂點(diǎn)坐標(biāo)
    //顯示頂點(diǎn)
    for (size_t i = 0; i < 4; i++)
    {
        circle(src, srcpoint[i], 5, Scalar(0, 0, 255),-1);//-1表示填充
    }
    imshow("頂點(diǎn)坐標(biāo)", src);
    //獲取外接矩形寬高
    float width = rect.size.width;
    float height = rect.size.height;
    //定義矯正后四頂點(diǎn)
    dstpoint[0]= Point2f(0, height);
    dstpoint[1] = Point2f(0, 0);
    dstpoint[2] = Point2f(width, 0);
    dstpoint[3] = Point2f(width, height);

😄 這里需要注意的是：

RotatedRect 類的矩形返回的是矩形的中心坐標(biāo)，傾斜角度。

Rect類的矩形返回的是矩形的左上角坐標(biāo)，寬，高。因此要獲取RotatedRect 類的矩形的寬，高就要用：

//獲取外接矩形寬高
    float width = rect.size.width;
    float height = rect.size.height;

獲取RotatedRect 類四頂點(diǎn)坐標(biāo)的順序依次是：左下-左上-右上-右下（可通過顯示頂點(diǎn)依次查看）

對(duì)應(yīng)矯正后的四頂點(diǎn)就是：(0，height)-(0，0)-(width，0)-(width，height）

（四）透視變換

// 透視變換
    Mat M = getPerspectiveTransform(srcpoint, dstpoint);
    Mat result = Mat::zeros(Size(width, height), CV_8UC3);
    warpPerspective(src, result, M, result.size());
    imshow("矯正結(jié)果", result);

基于霍夫直線探測(cè)的矯正算法

對(duì)于文本圖像（如圖），它沒有明顯的輪廓邊緣去求四頂點(diǎn)。但是經(jīng)過深入分析，可以發(fā)現(xiàn)：文本的每一行文字都是呈一條直線，而且這些直線都是平行的！

利用這個(gè)特征就可以實(shí)現(xiàn)基于霍夫直線探測(cè)的矯正算法：

用霍夫線變換探測(cè)出圖像中的所有直線計(jì)算出每條直線的傾斜角，求他們的平均值根據(jù)傾斜角旋轉(zhuǎn)矯正

💙先來看看什么是霍夫變換：

霍夫變換在檢測(cè)各種形狀的的技術(shù)中非常流行，如果你要檢測(cè)的形狀可以用數(shù)學(xué)表達(dá)式寫出，你就可以是使用霍夫變換檢測(cè)它。

霍夫變換的直線檢測(cè)簡(jiǎn)單來說就是在空間坐標(biāo)系和映射到另外一個(gè)參數(shù)空間，將空間坐標(biāo)系中的每一個(gè)點(diǎn)映射到另外一個(gè)參數(shù)空間中的線，通過該參數(shù)空間中所有線的交叉次數(shù)得到實(shí)際空間坐標(biāo)系中的直線。

在OpenCV中，使用Hough變換的直線檢測(cè)在函數(shù)HoughLines和HoughLinesP中實(shí)現(xiàn)。

HoughLines函數(shù)（標(biāo)準(zhǔn)霍夫變換）

從平面坐標(biāo)轉(zhuǎn)換到霍夫空間，最終輸出是找到直線的極坐標(biāo)（r，θ）

HoughLines(
InputArray src,        // 輸入圖像，必須CV_8U的二值圖像（常用canny處理后的二值圖像）
OutputArray lines,     // 輸出的極坐標(biāo)來表示直線
double rho,            // 步長(zhǎng)(常為1）
double theta,          //角度，（一般是CV_PI/180）
int threshold,         // 閾值，只有獲得足夠交點(diǎn)的極坐標(biāo)點(diǎn)才被看成是直線
double min_theta=0，   // 表示角度掃描范圍 0 ~180之間， 默認(rèn)即可
double max_theta=CV_PI) 
// 一般情況是有經(jīng)驗(yàn)的開發(fā)者使用，需要自己反變換到平面空間

HoughLinesP函數(shù)（霍夫變換直線概率)

從平面坐標(biāo)轉(zhuǎn)換到霍夫空間，最終輸出是找到直線的起點(diǎn)和終點(diǎn)（直角坐標(biāo)系）

HoughLinesP(
InputArray src, // 輸入圖像，必須CV_8U的二值圖像
OutputArray lines, // 輸出找到直線的兩點(diǎn)
double rho, // 步長(zhǎng)（半徑，常設(shè)為1）
double theta, //角度，一般取值CV_PI/180
Int threshold, // 閾值，累計(jì)次數(shù)必須達(dá)到的值,一般為150
double minLineLength=0，// 最小直線長(zhǎng)度，一般為50
double maxLineGap=0）// 最大間隔，一般為10

opencv實(shí)現(xiàn)（分解步驟）：

（一）圖片灰度化，Canny邊緣提取

Mat src, src_edge, src_gray,src_rotate;
    double angle;
    src = imread("D:/opencv練習(xí)圖片/文本矯正.png");
    imshow("文本圖片", src);
    cvtColor(src, src_gray, COLOR_RGB2GRAY);
    Canny(src_gray, src_edge, 50, 200, 3);
    imshow("canny", src_edge);

（二）霍夫直線檢測(cè)（HoughLines函數(shù)）并顯示

//通過霍夫變換檢測(cè)直線
    vector<Vec2f> plines;
    //第5個(gè)參數(shù)就是閾值，閾值越大，檢測(cè)精度越高
    HoughLines(src_edge, plines, 1, CV_PI / 180, 200, 0, 0);
    cout << plines.size() << endl;
    //由于圖像不同，閾值不好設(shè)定，因?yàn)殚撝翟O(shè)定過高導(dǎo)致無法檢測(cè)直線，閾值過低直線太多，速度很慢
    //所以根據(jù)閾值由大到小設(shè)置了三個(gè)閾值，如果經(jīng)過大量試驗(yàn)后，可以固定一個(gè)適合的閾值。
    
    float sum = 0;
    //依次畫出每條線段
    for (size_t i = 0; i < plines.size(); i++)
    {
        float rho = plines[i][0];
        float theta = plines[i][1];
        Point pt1, pt2;
        double a = cos(theta), b = sin(theta);
        double x0 = a * rho, y0 = b * rho;
        pt1.x = cvRound(x0 + 1000 * (-b));//cvRound四舍五入
        pt1.y = cvRound(y0 + 1000 * (a));
        pt2.x = cvRound(x0 - 1000 * (-b));
        pt2.y = cvRound(y0 - 1000 * (a));
        sum += theta;
        line(src_gray, pt1, pt2, Scalar(55, 100, 195), 1, LINE_AA);//Scalar函數(shù)用于調(diào)節(jié)線段顏色         
        imshow("直線探測(cè)效果圖", src_gray);
        float average = sum / plines.size(); //對(duì)所有角度求平均，這樣做旋轉(zhuǎn)效果會(huì)更好
        angle = DegreeTrans(average) - 90;
    }

😊核心代碼分析：

由于需要求解直線的傾斜角度，因此這里使用了HoughLines函數(shù)，返回的是直線的步長(zhǎng)和弧度（極坐標(biāo)系下）

通過極坐標(biāo)系下的步長(zhǎng)和弧度，可以轉(zhuǎn)換到直接坐標(biāo)系下的兩點(diǎn)坐標(biāo)，然后顯示。（原理如圖）

（三）根據(jù)傾斜角度，進(jìn)行放射變換（逆時(shí)針旋轉(zhuǎn)矯正）

    //旋轉(zhuǎn)中心為圖像中心    
    Point2f center;
    center.x = float(src.cols / 2.0);
    center.y = float(src.rows / 2.0);
    int length = 0;
    length = sqrt(src.cols*src.cols + src.rows*src.rows);
    Mat M = getRotationMatrix2D(center, angle, 1);
    warpAffine(src, src_rotate, M, Size(length, length), 1, 0, Scalar(255, 255, 255));//仿射變換，背景色填充為白色  
    imshow("矯正后", src_rotate);