OpenCV視頻流C++多線程處理方法詳細分析
為什么需要多線程處理視頻流
在之前有寫過一篇文章Python環(huán)境下OpenCV視頻流的多線程處理方式，上面簡單記錄了如何使用Python實現(xiàn)對OpenCV視頻流的多線程處理。簡單來說，在目標檢測等任務中，如果視頻流的捕獲、解碼以及檢測都在同一個線程中，那么很可能出現(xiàn)目標檢測器實時性不高導致的檢測時延問題。使用多線程處理，將視頻幀的捕獲和解碼放在一個線程，推理放在一個線程，可以有效緩解時延的問題，使得目標檢測的實時性看似有所提升。
C++的多線程處理方式
C++的處理方式與Python大致相同，但卻可能遇到一些問題，如使用OpneCV多線程時X11庫報錯、OpenCV顯示卡死等問題，這些問題可能的解決方法會在后面簡單提一下。在本文中，使用的多線程是c++11中引入的thread標準庫，實現(xiàn)方式則包括函數(shù)封裝和類封裝兩種。
函數(shù)封裝的實現(xiàn)方式
函數(shù)封裝的實現(xiàn)方式相比類封裝要更為簡潔，當然可復用性也會降低。簡單的示例代碼如下：
// video_test.cpp
#include <iostream>
#include <thread>
#include <mutex>
#include <atomic>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
static std::mutex mutex;
static std::atomic_bool isOpen;
static void cameraThreadFunc(int camId, int height, int width, cv::Mat* pFrame)
{
cv::VideoCapture capture(camId);
capture.set(cv::CAP_PROP_FOURCC, CV_FOURCC('M', 'J', 'P', 'G'));
capture.set(cv::CAP_PROP_FRAME_WIDTH, width);
capture.set(cv::CAP_PROP_FRAME_HEIGHT, height);
capture.set(cv::CAP_PROP_FPS, 30);
if (!capture.isOpened()) {
isOpen = false;
std::cout << "Failed to open camera with index " << camId << std::endl;
}
cv::Mat frame;
while (isOpen) {
capture >> frame;
if (mutex.try_lock()) {
frame.copyTo(*pFrame);
mutex.unlock();
}
cv::waitKey(5);
}
capture.release();
}
int main(int argc, char* argv[])
{
isOpen = true;
cv::Mat frame(480, 640, CV_8UC3), gray;
std::thread thread(cameraThreadFunc, 0, 480, 640, &frame);
while (isOpen) {
mutex.lock();
frame.copyTo(gray);
mutex.unlock();
if (gray.empty()) {
break;
}
cv::cvtColor(frame, gray, cv::COLOR_BGR2GRAY);
cv::blur(gray, gray, cv::Size(3, 3));
cv::Canny(gray, gray, 5 , 38 , 3);
cv::waitKey(100);
cv::imshow("video", gray);
if (cv::waitKey(1) == 'q') {
break;
}
}
isOpen = false;
thread.join();
return 0;
}在上面的代碼中，攝像頭的打開、幀捕獲及解碼都在cameraThreadFunc線程函數(shù)中進行。在c++11中，有關pthread的線程操作都封裝在thread標準庫中，線程的開啟方式也由執(zhí)行pthread_create()函數(shù)變?yōu)閷?code>thread類的操作。使用thread類時，第一個參數(shù)為線程函數(shù)的指針，后續(xù)的參數(shù)為傳入線程函數(shù)的參數(shù)。需要注意的是：如果要傳入?yún)?shù)引用，則需要使用std::ref()對參數(shù)進行包裝；如果傳入類成員函數(shù)時，則thread類構(gòu)造函數(shù)的第二個參數(shù)必須為this。
使用多線程時還需要考慮線程之間的同步問題，在上面的程序中，兩個線程會同時訪問pFrame指向的緩存空間，使用mutex可確保同一時刻下僅有一個線程能訪問到緩存空間。另外，使用atomic_bool在多線程中進行狀態(tài)切換也是必要的，原子操作使得對布爾變量的賦值在臨界區(qū)中進行，可消除線程之間競爭訪問或訪問結(jié)果不一致的情況。
在上面的程序中，由于主線程會先訪問pFrame變量，因此需要預先為pFrame申請空間，不然程序開始執(zhí)行時出現(xiàn)pFrame為空的情況。在Ubuntu中使用g++編譯的方法如下：
g++ video_test.cpp -std=c++11 -I/usr/local/include/ -lpthread -L/usr/local/lib -lopencv_highgui -lopencv_core -lopencv_imgproc -lopencv_videoio -o video_test
根據(jù)OpenCV版本和安裝位置的不同，需要相應修改頭文件和庫文件的位置，例如對于OpenCV4，頭文件目錄應修改為/usr/local/include/opencv4。在Jetson平臺上，頭文件的位置在/usr/include/opencv4，庫文件則在/usr/lib/aarch64-linux-gnu。如果有配置pkg-config，那么還可以使用如下方式進行編譯：
g++ video_test.cpp -std=c++11 `pkg-config --cflags opencv` -pthread `pkg-config --libs opencv` -o video_test
類封裝的實現(xiàn)方式
同函數(shù)封裝的方式相似，類封裝的方式僅是將線程函數(shù)和線程同步變量變?yōu)轭惓蓡T，從而提升程序的可復用性。簡單的示例代碼如下：
// video_test.cpp
#include <iostream>
#include <string>
#include <thread>
#include <mutex>
#include <atomic>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
class VideoCaptureMT {
public:
VideoCaptureMT(int index, int height=480, int width=640);
VideoCaptureMT(std::string filePath, int height=480, int width=640);
~VideoCaptureMT();
bool isOpened() {
return m_IsOpen;
}
void release() {
m_IsOpen = false;
}
bool read(cv::Mat& frame);
private:
void captureInit(int index, std::string filePath, int height, int width);
void captureFrame();
cv::VideoCapture* m_pCapture;
cv::Mat* m_pFrame;
std::mutex* m_pMutex;
std::thread* m_pThread;
std::atomic_bool m_IsOpen;
};
VideoCaptureMT::VideoCaptureMT(int index, int height, int width)
{
captureInit(index, std::string(), height, width);
}
VideoCaptureMT::VideoCaptureMT(std::string filePath, int height, int width)
{
captureInit(0, filePath, height, width);
}
VideoCaptureMT::~VideoCaptureMT()
{
m_IsOpen = false;
m_pThread->join();
if (m_pCapture->isOpened()) {
m_pCapture->release();
}
delete m_pThread;
delete m_pMutex;
delete m_pCapture;
delete m_pFrame;
}
void VideoCaptureMT::captureInit(int index, std::string filePath, int height, int width)
{
if (!filePath.empty()) {
m_pCapture = new cv::VideoCapture(filePath);
}
else {
m_pCapture = new cv::VideoCapture(index);
}
m_pCapture->set(cv::CAP_PROP_FRAME_WIDTH, width);
m_pCapture->set(cv::CAP_PROP_FRAME_HEIGHT, height);
m_pCapture->set(cv::CAP_PROP_FPS, 30);
m_IsOpen = true;
m_pFrame = new cv::Mat(height, width, CV_8UC3);
m_pMutex = new std::mutex();
m_pThread = new std::thread(&VideoCaptureMT::captureFrame, this);
}
void VideoCaptureMT::captureFrame()
{
cv::Mat frameBuff;
while (m_IsOpen) {
(*m_pCapture) >> frameBuff;
if (m_pMutex->try_lock()) {
frameBuff.copyTo(*m_pFrame);
m_pMutex->unlock();
}
cv::waitKey(5);
}
}
bool VideoCaptureMT::read(cv::Mat& frame)
{
if (m_pFrame->empty()) {
m_IsOpen = false;
}
else {
m_pMutex->lock();
m_pFrame->copyTo(frame);
m_pMutex->unlock();
}
return m_IsOpen;
}
int main(int argc, char* argv[])
{
VideoCaptureMT capture(0);
cv::Mat frame, gray;
while (capture.isOpened()) {
if (!capture.read(frame)) {
break;
}
cv::cvtColor(frame, gray, cv::COLOR_BGR2GRAY);
cv::blur(gray, gray, cv::Size(3, 3));
cv::Canny(gray, gray, 5 , 38 , 3);
cv::waitKey(100);
cv::imshow("image", gray);
if (cv::waitKey(5) == 'q') {
break;
}
}
capture.release();
return 0;
}在上面的代碼中，線程函數(shù)和線程間同步變量都是類成員，不同的地方在于：攝像頭是在主線程中打開，在子線程中捕獲和解碼幀，但實際效果和函數(shù)封裝的方式?jīng)]有區(qū)別。
可能遇到的問題
使用C++編寫OpenCV的多線程程序時可能會遇到一些問題，例如我在Jetson AGX上運行時會報錯，提示需要進行XInitThreads的初始化。出現(xiàn)這樣的情況時，需要在cpp文件中添加#include <X11/Xlib.h>頭文件，并在main函數(shù)開頭添加XInitThreads()函數(shù)調(diào)用，在編譯時還需要添加-lX11鏈接庫。我在Jetson Nano上運行時還遇到顯示窗口卡死的情況，既imshow函數(shù)出現(xiàn)問題，點擊關閉窗戶后又會重新打開新窗口正常顯示。遇到這樣的情況，可在main函數(shù)開頭添加一行代碼cv::setNumThreads(1)，設置OpenCV在單線程的模式下運行可緩解窗口卡死的情況。
到此這篇關于OpenCV視頻流C++多線程處理方法詳細分析的文章就介紹到這了,更多相關OpenCV視頻流內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
C語言中sizeof()與strlen()的區(qū)別詳解
這篇文章主要給大家介紹了關于C語言中sizeof()與strlen()區(qū)別的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-12-12
這篇文章主要為大家詳細介紹了C++實現(xiàn)迷宮生成與解決，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-12-12
C++實現(xiàn)Window環(huán)境聊天室功能
這篇文章主要為大家詳細介紹了C++實現(xiàn)Window環(huán)境聊天室功能，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-06-06
詳解C/C++實現(xiàn)各種字符轉(zhuǎn)換方法合集
這篇文章主要為大家詳細介紹了C/C++中實現(xiàn)各種字符轉(zhuǎn)換的方法，文中的示例代碼講解詳細，對我們學習C++具有一定借鑒價值，需要的可以參考一下2022-09-09
在C語言中自定義類型主要有結(jié)構(gòu)體類型、位段、枚舉類型、聯(lián)合體類型，自定義類型是面試常會碰到的內(nèi)容，今天我們來詳細了解一下它2022-02-02
C++實現(xiàn)LeetCode(904.水果裝入果籃)
這篇文章主要介紹了C++實現(xiàn)LeetCode(904.水果裝入果籃),本篇文章通過簡要的案例,講解了該項技術(shù)的了解與使用,以下就是詳細內(nèi)容,需要的朋友可以參考下2021-07-07
這篇文章主要為大家詳細介紹了C語言繪制余弦、正弦曲線的相關代碼，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-06-06
本文主要介紹C語言 結(jié)構(gòu)體和指針,這里整理了相關資料，并附示例代碼和實現(xiàn)結(jié)果，以便大家學習參考，希望能幫助學習C語言的朋友2016-08-08
用C語言模仿Python函數(shù)的一種簡單實現(xiàn)方法
這篇文章主要介紹了用C語言模仿Python函數(shù)的一種簡單實現(xiàn)方法,需要的朋友可以參考下2017-05-05
這篇文章主要為大家詳細介紹了QT實現(xiàn)貪吃蛇游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-05-05