利用OpenCV實現(xiàn)綠幕視頻背景替換

更新時間：2022年01月11日 10:27:24 作者：Zero___Chen

這篇文章主要介紹了如何利用OpenCV實現(xiàn)綠幕視頻背景替換功能，文中的示例代碼講解詳細，對我們學(xué)習(xí)OpenCV有一定的幫助，感興趣的可以學(xué)習(xí)一下

前言

本文將使用OpenCV C++ 進行綠幕視頻背景替換。

一、圖像預(yù)處理

背景

綠幕視頻

首先，我們需要使用resize API將背景圖尺寸修改與視頻尺寸大小。這樣才能進行后續(xù)的像素賦值操作。

	Mat bg = imread("background.jpg");  //背景圖

	VideoCapture capture;  //讀取待處理的綠幕視頻
	capture.open("5.flv");
	if (!capture.isOpened())
	{
		cout << "Can not open video!" << endl;
		system("pause");
		return -1;
	}

	int width = capture.get(CAP_PROP_FRAME_WIDTH);
	int height = capture.get(CAP_PROP_FRAME_HEIGHT);

	resize(bg, bg, Size(width, height), 1, 1, INTER_CUBIC);  //將背景圖resize成視頻尺寸大小

二、HSV色彩空間轉(zhuǎn)換

1. cvtColor色彩空間轉(zhuǎn)換

cvtColor(frame, HSV, COLOR_BGR2HSV);   //將原圖轉(zhuǎn)換成HSV色彩空間

2. inRange摳圖

經(jīng)百度查表，我們可以獲取綠色HSV顏色分量范圍

    //綠色HSV顏色分量范圍
    int hmin = 35, smin = 43, vmin = 46; 
    int hmax = 77, smax = 255, vmax = 255;

由于我們已經(jīng)將原圖轉(zhuǎn)換為HSV色彩空間，故可以使用inRange API將前景從綠幕中摳出來。inRange將兩閾值內(nèi)的像素置為255（即綠色被置為白色），閾值外的像素置為0（其他顏色被置為黑色）。故由此我們可以將前景摳出來。

        //經(jīng)過inRange API處理，輸出一張二值圖像，即將前景從綠幕中扣出來啦
        inRange(HSV, Scalar(hmin, smin, vmin), Scalar(hmax, smax, vmax), mask);

mask圖像，即從綠幕中摳出來的前景圖。

三、背景替換

我們通過修改圖像像素值達到替換背景目的。通過遍歷視頻圖像像素值，當mask像素值為0時，表示此時圖像像素為前景，將綠幕視頻當前像素點賦給目標圖像dst；當mask像素值為255時，表示此時圖像像素為背景，將背景圖當前像素點賦給目標圖像dst。

Mat Replace_Background(Mat frame, Mat mask, Mat bg)
{
	Mat dst = Mat::zeros(frame.size(), frame.type());

	for (int i = 0; i < frame.rows; i++)
	{
		for (int j = 0; j < frame.cols; j++)
		{
			int p = mask.at<uchar>(i, j);  //傳入的mask是張二值圖,p為當前mask像素值

			if (p == 0)
			{   //代表mask此時為前景，將綠幕視頻中的前景像素賦給dst
				dst.at<Vec3b>(i, j) = frame.at<Vec3b>(i, j);
			}
			else if (p == 255)
			{
				//代表mask此時為背景，將背景圖像素賦給dst
				dst.at<Vec3b>(i, j) = bg.at<Vec3b>(i,j);
			}

		}
	}

	return dst;
}

最終效果如圖所示。

四、源碼

#include<iostream>
#include<opencv2/opencv.hpp>
using namespace std;
using namespace cv;


Mat Replace_Background(Mat frame, Mat mask, Mat bg)
{
	Mat dst = Mat::zeros(frame.size(), frame.type());

	for (int i = 0; i < frame.rows; i++)
	{
		for (int j = 0; j < frame.cols; j++)
		{
			int p = mask.at<uchar>(i, j);  //傳入的mask是張二值圖,p為當前mask像素值

			if (p == 0)
			{   //代表mask此時為前景，將綠幕視頻中的前景像素賦給dst
				dst.at<Vec3b>(i, j) = frame.at<Vec3b>(i, j);
			}
			else if (p == 255)
			{
				//代表mask此時為背景，將背景圖像素賦給dst
				dst.at<Vec3b>(i, j) = bg.at<Vec3b>(i,j);
			}

		}
	}

	return dst;
}

int main()
{

	Mat bg = imread("background.jpg");  //背景圖

	VideoCapture capture;  //讀取待處理的綠幕視頻
	capture.open("5.flv");
	if (!capture.isOpened())
	{
		cout << "Can not open video!" << endl;
		system("pause");
		return -1;
	}

	int width = capture.get(CAP_PROP_FRAME_WIDTH);
	int height = capture.get(CAP_PROP_FRAME_HEIGHT);

	resize(bg, bg, Size(width, height), 1, 1, INTER_CUBIC);  //將背景圖resize成視頻尺寸大小

	Mat frame, HSV, mask, dst;
	//綠色HSV顏色分量范圍
	int hmin = 35, smin = 43, vmin = 46; 
	int hmax = 77, smax = 255, vmax = 255;

	while (capture.read(frame))
	{

		cvtColor(frame, HSV, COLOR_BGR2HSV);   //將原圖轉(zhuǎn)換成HSV色彩空間

		//經(jīng)過inRange API處理，輸出一張二值圖像，即將前景從綠幕中扣出來啦
		inRange(HSV, Scalar(hmin, smin, vmin), Scalar(hmax, smax, vmax), mask);

		dst = Replace_Background(frame, mask, bg);

		imshow("demo", frame);
		//imwrite("frame.jpg", frame);
		imshow("mask", mask);
		//imwrite("mask.jpg", mask);
		imshow("dst", dst);
		//imwrite("dst.jpg", dst);

		char key = waitKey(10);

		if (key == 27)
		{
			break;
		}
	}

	destroyAllWindows();
	capture.release();
	system("pause");
	return 0;
}