Python和OpenCV進行多尺度模板匹配實現(xiàn)

更新時間：2021年09月10日 10:27:19 作者：程序媛一枚~

本文將實現(xiàn)如何將標準模板匹配擴展到多尺度，使其可以處理模板和輸入圖像大小不同的匹配。具有一定的參考價值，感興趣的小伙伴們可以參考一下

1. 效果圖

模板匹配問題：對于模板和圖像中不一致的情況，會發(fā)生錯誤檢測。

如下圖左側(cè)模板小，右側(cè)圖像中大，雖然完全一致，只是大小不一樣，卻未被檢測到。

在這里插入圖片描述

優(yōu)化：多尺度模板匹配，對于模板和圖像中有平移和縮放的情況可以完美工作。
如下圖：

在這里插入圖片描述

多尺度模板匹配，gif 詳細效果圖：

在這里插入圖片描述

2. 原理

使用cv2.matchTemplate進行模板匹配，不是很健壯。當模板的尺寸與檢測圖像上的尺寸不匹配時，將面臨錯誤檢測。
模板匹配具有平移不變性。通過擴展可以使其對伸縮性（即大?。┑淖兓咏选?/li>
多尺度模板匹配可以處理平移和縮放中的變化，但對旋轉(zhuǎn)或非仿射變換的變化不具有魯棒性。
對于非仿射變換上的旋轉(zhuǎn)，可使用檢測關(guān)鍵點，提取局部不變描述符，并應用關(guān)鍵點匹配（keypoint matching）。
如果模板相當嚴格且邊緣映射良好，只關(guān)心平移和縮放，那么多尺度模板匹配可以提供非常好的結(jié)果；
使用邊緣映射而不是原始圖像進行模板匹配可以大大提高模板匹配的精度。

模板匹配不能很好地說明一個對象是否沒有出現(xiàn)在圖像中。 可以通過設置相關(guān)系數(shù)的閾值，但實際上是不可靠和穩(wěn)健的。優(yōu)化：更健壯的方法——關(guān)鍵點匹配。

3. 步驟

1）在每次迭代中，圖像都會被調(diào)整大小并計算Canny邊緣圖；
2）應用模板匹配，找到相關(guān)系數(shù)最大的圖像的邊界框（x，y）坐標；
3）最后，將這些值存儲在簿記變量中；
4）在算法的最后，找到所有尺度上相關(guān)系數(shù)響應最大的區(qū)域的（x，y）-坐標，然后繪制邊界框；

4. 源碼

# USAGE
# python match.py --template cod_logo.png --images images
# USAGE2 了解實際檢測原理及細節(jié)
# python match.py --template cod_logo.png --images images --visualize 1

# 導入必要的包
import argparse  # argparse解析命令行參數(shù)
import glob  # 獲取輸入圖像的路徑

import cv2  # opencv綁定
import imutils  # 圖像處理的一些方法
import numpy as np  # numpy進行數(shù)值處理

# 構(gòu)建命令行及解析參數(shù)
# --template 模板路徑
# --images 原始圖像路徑
# --visualize 標志是否顯示每一個迭代的可視化結(jié)果
ap = argparse.ArgumentParser()
ap.add_argument("-t", "--template", required=True, help="Path to template image")
ap.add_argument("-i", "--images", required=True,
                help="Path to images where template will be matched")
ap.add_argument("-v", "--visualize",
                help="Flag indicating whether or not to visualize each iteration")
args = vars(ap.parse_args())

# 加載模板圖像，轉(zhuǎn)換灰度圖，檢測邊緣
# 使用邊緣而不是原始圖像進行模板匹配可以大大提高模板匹配的精度。
template = cv2.imread(args["template"])
template = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)
template = cv2.Canny(template, 50, 200)
(tH, tW) = template.shape[:2]
cv2.imshow("Template", template)

# 遍歷圖像以匹配模板
for imagePath in glob.glob(args["images"] + "/*.jpg"):

    # 加載圖像，轉(zhuǎn)換為灰度圖，初始化用于追蹤匹配區(qū)域的簿記變量
    image = cv2.imread(imagePath)
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    found = None

    # 遍歷圖像尺寸
    for scale in np.linspace(0.2, 1.0, 20)[::-1]:
        # 根據(jù)scale比例縮放圖像，并保持其寬高比
        resized = imutils.resize(gray, width=int(gray.shape[1] * scale))
        r = gray.shape[1] / float(resized.shape[1])

        # 縮放到圖像比模板小，則終止
        if resized.shape[0] < tH or resized.shape[1] < tW:
            break

        # 在縮放后的灰度圖中檢測邊緣，進行模板匹配
        # 使用與模板圖像完全相同的參數(shù)計算圖像的Canny邊緣表示；
        # 使用cv2.matchTemplate應用模板匹配；
        # cv2.minMaxLoc獲取相關(guān)結(jié)果并返回一個4元組，其中分別包含最小相關(guān)值、最大相關(guān)值、最小值的（x，y）坐標和最大值的（x，y）坐標。我們只對最大值和（x，y）-坐標感興趣，所以只保留最大值而丟棄最小值。
        edged = cv2.Canny(resized, 50, 200)
        result = cv2.matchTemplate(edged, template, cv2.TM_CCOEFF)
        (_, maxVal, _, maxLoc) = cv2.minMaxLoc(result)

        # 檢查是否可視化
        if args.get("visualize", False):
            # 在檢測到的區(qū)域繪制邊界框
            clone = np.dstack([edged, edged, edged])
            cv2.rectangle(clone, (maxLoc[0], maxLoc[1]),
                          (maxLoc[0] + tW, maxLoc[1] + tH), (0, 0, 255), 2)
            cv2.imshow("Visualize", clone)
            cv2.waitKey(0)

        # 如果我們找到了一個新的最大校正值，更新簿記變量值
        if found is None or maxVal > found[0]:
            found = (maxVal, maxLoc, r)

    # 解包簿記變量并基于調(diào)整大小的比率，計算邊界框（x，y）坐標
    (_, maxLoc, r) = found
    (startX, startY) = (int(maxLoc[0] * r), int(maxLoc[1] * r))
    (endX, endY) = (int((maxLoc[0] + tW) * r), int((maxLoc[1] + tH) * r))

    # 在檢測結(jié)果上繪制邊界框并展示圖像
    cv2.rectangle(image, (startX, startY), (endX, endY), (0, 0, 255), 2)
    cv2.imshow("Image", image)
    cv2.waitKey(0)