OpenCV學(xué)習(xí)之圖像的分割與修復(fù)詳解
背景
圖像分割本質(zhì)就是將前景目標(biāo)從背景中分離出來。在當(dāng)前的實際項目中，應(yīng)用傳統(tǒng)分割的并不多，大多是采用深度學(xué)習(xí)的方法以達(dá)到更好的效果；當(dāng)然，了解傳統(tǒng)的方法對于分割的整體認(rèn)知具有很大幫助，本篇將介紹些傳統(tǒng)分割的一些算法；
一、分水嶺法
原理圖如下：
利用二值圖像的梯度關(guān)系，設(shè)置一定邊界，給定不同顏色實現(xiàn)分割；
實現(xiàn)步驟：
標(biāo)記背景 —— 標(biāo)記前景 —— 標(biāo)記未知區(qū)域（背景減前景） —— 進(jìn)行分割
函數(shù)原型：
watershed（img，masker）：分水嶺算法，其中masker表示背景、前景和未知區(qū)域；
distanceTransform（img，distanceType，maskSize）：矩離變化，求非零值到最近的零值的距離；
connectedComponents（img，connectivity，…）：求連通域；
代碼實現(xiàn)：
img = cv2.imread('water_coins.jpeg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 加入cv2.THRESH_OTSU表示自適應(yīng)閾值（實現(xiàn)更好的效果）
ret, thresh = cv2.threshold(gray, 100, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)
# 開運算（去噪點）
kernel = np.ones((3,3), np.int8)
open1 = cv2.morphologyEx(thresh, cv2.MORPH_OPEN, kernel, iterations = 2)
#膨脹
beijing = cv2.dilate(open1, kernel, iterations = 1)
# 獲取前景
tmp = cv2.distanceTransform(open1, cv2.DIST_L2, 5)
ret, qianjing = cv2.threshold(tmp, 0.7*tmp.max(), 255, cv2.THRESH_BINARY)
# 獲取未知區(qū)域
beijingj = np.uint8(beijing)
qianjing = np.uint8(qianjing)
unknow = cv2.subtract(beijing, qianjing)
# 創(chuàng)建連通域
ret, masker = cv2.connectedComponents(qianjing)
masker = masker + 1
masker[unknow==255] = 0
# 進(jìn)行圖像分割
result = cv2.watershed(img, masker)
img[result == -1] = [0, 0, 255]
cv2.imshow('result', img)
cv2.waitKey(0)?
二、GrabCut法
原理：通過交互的方式獲得前景物體；
1、用戶指定前景的大體區(qū)域，剩下的為背景區(qū)域；
2、用戶可以明確指定某些地方為前景或背景；
3、采用分段迭代的方法分析前景物體形成模型樹；
4、根據(jù)權(quán)重決定某個像素是前景還是背景；
函數(shù)原型：
grabCut（img，mask，rect，bgdModel，fbgModel，5，mode）
mask：表示生成的掩碼，函數(shù)輸出的值，其中0表示背景、1表示前景、2表示可能背景、3表示可能前景；
代碼如下：
class App:
? ? flag_rect = False
? ? rect=(0, 0, 0, 0)
? ? startX = 0
? ? startY = 0
? ? def onmouse(self, event, x, y, flags, param):
? ? ? ? if event == cv2.EVENT_LBUTTONDOWN:
? ? ? ? ? ? self.flag_rect = True
? ? ? ? ? ? self.startX = x
? ? ? ? ? ? self.startY = y
? ? ? ? ? ? print("LBUTTIONDOWN")
? ? ? ? elif event == cv2.EVENT_LBUTTONUP:
? ? ? ? ? ? self.flag_rect = False
? ? ? ? ? ? cv2.rectangle(self.img,?
? ? ? ? ? ? ? ? ? ? ? ? ? ? (self.startX, self.startY),
? ? ? ? ? ? ? ? ? ? ? ? ? ? (x, y),
? ? ? ? ? ? ? ? ? ? ? ? ? ? (0, 0, 255),?
? ? ? ? ? ? ? ? ? ? ? ? ? ? 3)
? ? ? ? ? ? self.rect = (min(self.startX, x), min(self.startY, y),?
? ? ? ? ? ? ? ? ? ? ? ? abs(self.startX - x),?
? ? ? ? ? ? ? ? ? ? ? ? abs(self.startY -y))
? ? ? ? ? ? print("LBUTTIONUP")
? ? ? ? elif event == cv2.EVENT_MOUSEMOVE:
? ? ? ? ? ? if self.flag_rect == True:
? ? ? ? ? ? ? ? self.img = self.img2.copy()
? ? ? ? ? ? ? ? cv2.rectangle(self.img,?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (self.startX, self.startY),
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (x, y),
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (255, 0, 0),?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 3)
? ? ? ? ? ? print("MOUSEMOVE") ?
? ? ? ? print("onmouse")
? ? def run(self):
? ? ? ? print("run...")
? ? ? ? cv2.namedWindow('input')
? ? ? ? cv2.setMouseCallback('input', self.onmouse)
? ? ? ? self.img = cv2.imread('./lena.png')
? ? ? ? self.img2 = self.img.copy()
? ? ? ? self.mask = np.zeros(self.img.shape[:2], dtype=np.uint8)
? ? ? ? self.output = np.zeros(self.img.shape, np.uint8)
? ? ? ? while(1):
? ? ? ? ? ? cv2.imshow('input', self.img)
? ? ? ? ? ? cv2.imshow('output', self.output)
? ? ? ? ? ? k = cv2.waitKey(100)
? ? ? ? ? ? if k == 27:
? ? ? ? ? ? ? ? break
? ? ? ? ? ? if k == ord('g'):
? ? ? ? ? ? ? ? bgdmodel = np.zeros((1, 65), np.float64)
? ? ? ? ? ? ? ? fgdmodel = np.zeros((1, 65), np.float64)
? ? ? ? ? ? ? ? cv2.grabCut(self.img2, self.mask, self.rect,
? ? ? ? ? ? ? ? ? ? ? ? ? ? bgdmodel, fgdmodel,
? ? ? ? ? ? ? ? ? ? ? ? ? ? 1,?
? ? ? ? ? ? ? ? ? ? ? ? ? ? cv2.GC_INIT_WITH_RECT)
? ? ? ? ? ? # 注意np.where的用法可以用來篩選前景
? ? ? ? ? ? mask2 = np.where((self.mask==1)|(self.mask==3), 255, 0).astype('uint8')
? ? ? ? ? ? self.output = cv2.bitwise_and(self.img2, self.img2, mask=mask2)由于效果并不是特別明顯，并且運行時耗時會比較長，在這里就不展示了；
注意：np.where的用法需要掌握，可以將一個矩陣中選定的值與未選定的值做二值化的處理；
三、MeanShift法
實現(xiàn)原理：
并不是用來進(jìn)行圖像分割的，而是在色彩層面的平滑濾波；
中和色彩分布相近的顏色，平滑色彩細(xì)節(jié)，腐蝕掉面積較小的顏色區(qū)域；
以圖像上任意點P為圓心，半徑為sp，色彩幅值為sr進(jìn)行不斷的迭代；
函數(shù)原型：
pyrMeanShiftFiltering（img，sp，sr，…）
代碼實現(xiàn)：
img = cv2.imread('flower.png')
result = cv2.pyrMeanShiftFiltering(img, 20, 30)
cv2.imshow('img', img)
cv2.imshow('result', result)
cv2.waitKey(0)?
通過該函數(shù)可以實現(xiàn)色彩的平滑處理，做特效也是不錯的（有種卡通化的效果），雖然該函數(shù)并不能直接做圖像分割，但處理后的圖像可以通過canny算法進(jìn)行邊緣檢測；
Canny代碼：
img = cv2.imread('key.png')
result = cv2.pyrMeanShiftFiltering(img, 20, 30)
img_canny = cv2.Canny(result, 150, 300)
contours, _ = cv2.findContours(img_canny, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours(img, contours, -1, (0, 0, 255), 2)
cv2.imshow('img', img)
cv2.imshow('result', result)
cv2.imshow('canny', img_canny)
cv2.waitKey(0)?
四、MOG前景背景分離法
首先需要了解視頻的一些原理：
- 視頻是一組連續(xù)幀組成的（一幀也可以看作一副圖像）
- 幀與幀之間關(guān)系密切（又稱為GOP）
- 在GOP中，背景幾乎是不變的
主要有以下幾種方法：
1、MOG去背景
原理：混合高斯模型為基礎(chǔ)的前景、背景分割法；
函數(shù)原型：
createBackgroundSubtractorMOG（其中的默認(rèn)值就不做講解了）
代碼實戰(zhàn)：
cap = cv2.VideoCapture('./vtest.avi')
mog = cv2.bgsegm.createBackgroundSubtractorMOG()
while(True):
? ? ret, frame = cap.read()
? ? mask = mog.apply(frame)
? ??
? ? cv2.imshow('img', mask)
? ? k = cv2.waitKey(10)
? ? if k == 27:
? ? ? ? break
? ??
cap.release()
cv2.destroyAllWindows()
五、拓展方法
1、MOG2
說明：與MOG算法類似，但對于亮度產(chǎn)生的陰影有更好的識別效果，噪點更多；
函數(shù)原型：createBackgroundSubtractorMOG2（默認(rèn)參數(shù)不作介紹）
效果展示：
2、GMG
說明：靜態(tài)背景圖像估計和每個像素的貝葉斯分割抗噪性更強；
函數(shù)原型：createBackgroundSubtractorGMG（）
效果展示：
總結(jié)：GMG開始會不顯示一段時間，這是由于初始參考幀的數(shù)量和過大；對比業(yè)界的效果來看，這些傳統(tǒng)方法的效果并不好，特別是對比深度學(xué)習(xí)的算法；但很多原理值得我們?nèi)∷伎冀梃b，模型只是給出我們問題的優(yōu)解，如果能將傳統(tǒng)算法結(jié)合深度學(xué)習(xí)算法，那是否能在提速的同時，也達(dá)到一個可觀的效果，這是我思考的一個點，歡迎大家發(fā)表自己的意見；
六、圖像修復(fù)
說明：我們的圖像往往會有一些馬賽克的存在，特別是一些老照片會有不必要的圖案，圖像修復(fù)就是用于解決這類問題，并不等同于超清化；
函數(shù)原型：
inpaint（img，mask，inpaintRadius，兩種方式：INPAINT_NS、INPAINT_TELEA）
代碼案例：
img = cv2.imread('inpaint.png')
mask = cv2.imread('inpaint_mask.png', 0)
result = cv2.inpaint(img, mask, 5, cv2.INPAINT_TELEA)
cv2.imshow('img', img)
cv2.imshow('result', result)
cv2.waitKey()
總結(jié)：從結(jié)果來看，效果相當(dāng)不錯，但前提我們需要知道需要修復(fù)的部分，所以應(yīng)用的場景也會比較局限；
總結(jié)
簡單介紹了一些傳統(tǒng)的一些圖像分割算法，并沒有涉及原理，感興趣的可以自行了解；當(dāng)然，現(xiàn)在業(yè)界的分割算法都采用深度學(xué)習(xí)的方式了，并且也有了很好的效果和落地應(yīng)用。
以上就是OpenCV學(xué)習(xí)之圖像的分割與修復(fù)詳解的詳細(xì)內(nèi)容，更多關(guān)于OpenCV圖像分割修復(fù)的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要介紹了Python處理XML格式數(shù)據(jù)的方法,結(jié)合實例形式詳細(xì)分析了Python針對xml格式文件的編碼處理、常見錯誤及相關(guān)操作注意事項,需要的朋友可以參考下2017-03-03
Python pass語句作用和Python assert斷言函數(shù)的用法
這篇文章主要介紹了Python pass語句作用和Python assert斷言函數(shù)的用法,文章內(nèi)容介紹詳細(xì)具有一定的參考價值，需要的小伙伴可以參考一下，希望對你有所幫助2022-03-03
Python?中的對象析構(gòu)函數(shù)__del__?詳情
這篇文章主要介紹了Python?中的對象析構(gòu)函數(shù)del詳情，Python?中的類的構(gòu)造函數(shù)???__init__???,?每當(dāng)實例產(chǎn)生就會調(diào)用這個構(gòu)造函下面更多相關(guān)內(nèi)容，需要的小伙伴可以參考一下2022-03-03
python使用xlrd與xlwt對excel的讀寫和格式設(shè)定
最近在用python處理excel表的時候出現(xiàn)了一些問題，所以想著記錄下最后的實現(xiàn)方式和問題解決方法。方便自己或者大家在有需要的時候參考借鑒，下面這篇文章主要就介紹了python使用xlrd與xlwt對excel的讀寫和格式設(shè)定的相關(guān)資料，一起來學(xué)習(xí)學(xué)習(xí)吧。2017-01-01
一個非常簡單好用的Python圖形界面庫(PysimpleGUI)
這篇文章主要介紹了一個非常簡單好用的Python圖形界面庫，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
今天小編就為大家分享一篇python中seaborn包常用圖形使用詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
在 Python 中如何使用 Re 模塊的正則表達(dá)式通配符
這篇文章主要介紹了在 Python 中如何使用 Re 模塊的正則表達(dá)式通配符,本文詳細(xì)解釋了如何在 Python 中使用帶有通配符的 re.sub() 來匹配字符串與正則表達(dá)式，需要的朋友可以參考下2023-06-06
Python通過tkinter實現(xiàn)百度搜索的示例代碼
這篇文章主要介紹了Python通過tkinter實現(xiàn)百度搜索的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
Python+Pyecharts實現(xiàn)散點圖的繪制
散點圖是指在回歸分析中，數(shù)據(jù)點在直角坐標(biāo)系平面上的分布圖，散點圖表示因變量隨自變量而變化的大致趨勢，據(jù)此可以選擇合適的函數(shù)對數(shù)據(jù)點進(jìn)行擬合。本文將利用Python Pyecharts實現(xiàn)散點圖的繪制，需要的可以參考一下2022-06-06
在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于python爬蟲用scrapy獲取影片的實例分析內(nèi)容，有興趣的朋友們可以參考下。2020-11-11