快捷導(dǎo)航

Protobuf在Cmake中的正確使用方法詳解

更新時(shí)間：2021年03月15日 10:13:59 作者：老潘博客

這篇文章主要介紹了Protobuf在Cmake中的正確使用方法,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下

Protobuf是google開(kāi)發(fā)的一個(gè)序列化和反序列化的協(xié)議庫(kù)，我們可以自己設(shè)計(jì)傳遞數(shù)據(jù)的格式，通過(guò).proto文件定義我們的要傳遞的數(shù)據(jù)格式。例如，在深度學(xué)習(xí)中常用的ONNX交換模型就是使用.proto編寫(xiě)的。我們可以通過(guò)多種前端(MNN、NCNN、TVM的前端)去讀取這個(gè).onnx這個(gè)模型，但是首先你要安裝protobuf。

在之前的博文中已經(jīng)簡(jiǎn)單介紹了onnx，其中onnx.proto就代表了onnx模型的基本數(shù)據(jù)結(jié)構(gòu)。一般來(lái)說(shuō)，protobuf經(jīng)常搭配Cmake使用，Cmake有官方的modules，可以通過(guò)簡(jiǎn)單的幾個(gè)命令protobuf_generate_cpp來(lái)生成對(duì)應(yīng)的.pb.cc和.pb.h。

簡(jiǎn)單的例子：

find_package(Protobuf REQUIRED)
include_directories(${Protobuf_INCLUDE_DIRS})
include_directories(${CMAKE_CURRENT_BINARY_DIR})
protobuf_generate_cpp(PROTO_SRCS PROTO_HDRS foo.proto)
protobuf_generate_cpp(PROTO_SRCS PROTO_HDRS EXPORT_MACRO DLL_EXPORT foo.proto)
protobuf_generate_python(PROTO_PY foo.proto)
add_executable(bar bar.cc ${PROTO_SRCS} ${PROTO_HDRS})
target_link_libraries(bar ${Protobuf_LIBRARIES})

但是這個(gè)例子太簡(jiǎn)單了，如果我們的.proto文件只有一個(gè)或者說(shuō)都只在一個(gè)目錄里，那用這個(gè)命令沒(méi)什么毛病...

但如果是這種情況，我們的文件目錄如下：

├── CMakeLists.txt
├── README.md
├── meta
│  └── proto
│    ├── CMakeLists.txt
│    └── common
│      ├── bar
│      │  ├── CMakeLists.txt
│      │  └── bar.proto
│      └── foo
│        ├── CMakeLists.txt
│        └── foo.proto
└── src
  ├── CMakeLists.txt
  ├── c_proto.cc
  └── c_proto.hh

其中foo.proto文件如下:

message foo_msg 
{
 optional string name = 1;
}

bar.proto的文件如下：

import "common/foo/foo.proto";
 
message bar_msg 
{
 optional foo_msg foo = 1;
 optional string name = 2;
}

如上，bar文件引用foo，而且這兩個(gè)不在一個(gè)目錄，如果直接使用protobuf_generate_cpp來(lái)生成，直接會(huì)報(bào)錯(cuò)。（這個(gè)例子取自Yu的一篇博文）

也想過(guò)把他倆放到同一個(gè)目錄...然后bar.proto中import的代碼就要修改，雖然這樣可以，但顯然是不適合大型的項(xiàng)目。

而這個(gè)大型項(xiàng)目顯然就是mediapipe...折磨了我好久。

關(guān)于mediapipe的詳細(xì)介紹在另一篇文章。mediapipe中使用了大量的ProtoBuf技術(shù)來(lái)表示圖結(jié)構(gòu)，而且mediapipe原生并不是采用cmake來(lái)構(gòu)建項(xiàng)目，而是使用google自家研發(fā)的bazel，這個(gè)項(xiàng)目構(gòu)建系統(tǒng)我就不評(píng)價(jià)了，而現(xiàn)在我需要使用Cmake來(lái)對(duì)其進(jìn)行構(gòu)建。

這也是噩夢(mèng)的開(kāi)始，mediapipe的.proto文件很多，核心的framework的目錄下存在很多的.proto文件，根目錄和子目錄都有.proto文件：

而且每個(gè)proto文件之間存在引用的順序，framework根目錄下的calculator.proto文件:

// mediapipe/framework/calculator.proto
syntax = "proto3";

package mediapipe;

import public "mediapipe/framework/calculator_options.proto";

import "google/protobuf/any.proto";
import "mediapipe/framework/mediapipe_options.proto";
import "mediapipe/framework/packet_factory.proto";
import "mediapipe/framework/packet_generator.proto";
import "mediapipe/framework/status_handler.proto";
import "mediapipe/framework/stream_handler.proto";

每個(gè).proto文件都import了其他目錄下的文件，這里的import類(lèi)似于C++中的include，但是這里的import又可以相互引用，例如上述的status_handler.proto也引用了mediapipe_options.proto。

如果直接對(duì)上述所有的.proto文件直接使用protobuf_generate_cpp命令，會(huì)直接報(bào)錯(cuò)，因?yàn)檫@些文件不在一個(gè)目錄，而且import的相對(duì)目錄也無(wú)法分析。另外，不同目錄內(nèi)的.cc文件會(huì)引用相應(yīng)目錄生成的.pb.h文件，我們需要生成的.pb.cc和.pb.h在原始的目錄中，這樣才可以正常引用，要不然需要修改其他源代碼的include地址，比較麻煩。

CLion中Cmake來(lái)編譯proto生成的.pb.cc和.pb.h不在原始目錄，而是集中在cmake-build-debug(release)中，我們額外需要將其中生成的.pb.cc和.pb.h文件移動(dòng)到原始地址(Clion的情況是這樣)。

正確修改cmake

對(duì)于這種情況，比較合適的做法是直接使用命令進(jìn)行生成。

首先找到所有需要編譯的.proto文件：

file(GLOB protobuf_files
    mediapipe/framework/*.proto
    mediapipe/framework/tool/*.proto
    mediapipe/framework/deps/*.proto
    mediapipe/framework/testdata/*.proto
    mediapipe/framework/formats/*.proto
    mediapipe/framework/formats/annotation/*.proto
    mediapipe/framework/formats/motion/*.proto
    mediapipe/framework/formats/object_detection/*.proto
    mediapipe/framework/stream_handler/*.proto
    mediapipe/util/*.proto
    mediapipe/calculators/internal/*.proto
    )

接下來(lái)，定義相關(guān)的目錄地址，PROTO_META_BASE_DIR為編譯之后生成文件的目錄。PROTO_FLAGS很重要，指定編譯.proto文件時(shí)的總的尋找路徑，.proto中的import命令根據(jù)根據(jù)這個(gè)地址去連接其他的.proto文件：

SET(PROTO_META_BASE_DIR ${CMAKE_CURRENT_BINARY_DIR})
LIST(APPEND PROTO_FLAGS -I${CMAKE_CURRENT_SOURCE_DIR})

設(shè)置好之后，通過(guò)FOREACH去循環(huán)之前的.proto文件，依次編譯每個(gè)文件，然后將生成的.pb.cc和.pb.h移動(dòng)回原始的目錄，至此就可以正常工作了。

FOREACH(FIL ${protobuf_files})

  GET_FILENAME_COMPONENT(FIL_WE ${FIL} NAME_WE)

  string(REGEX REPLACE ".+/(.+)\\..*" "\\1" FILE_NAME ${FIL})
  string(REGEX REPLACE "(.+)\\${FILE_NAME}.*" "\\1" FILE_PATH ${FIL})

  string(REGEX MATCH "(/mediapipe/framework.*|/mediapipe/util.*|/mediapipe/calculators/internal/)" OUT_PATH ${FILE_PATH})

  set(PROTO_SRCS "${CMAKE_CURRENT_BINARY_DIR}${OUT_PATH}${FIL_WE}.pb.cc")
  set(PROTO_HDRS "${CMAKE_CURRENT_BINARY_DIR}${OUT_PATH}${FIL_WE}.pb.h")

  EXECUTE_PROCESS(
      COMMAND ${PROTOBUF_PROTOC_EXECUTABLE} ${PROTO_FLAGS} --cpp_out=${PROTO_META_BASE_DIR} ${FIL}
  )
  message("Copying " ${PROTO_SRCS} " to " ${FILE_PATH})

  file(COPY ${PROTO_SRCS} DESTINATION ${FILE_PATH})
  file(COPY ${PROTO_HDRS} DESTINATION ${FILE_PATH})

ENDFOREACH()

參考鏈接

http://blog.argcv.com/articles/3884.c
https://www.v2ex.com/t/602363
https://stackoverflow.com/questions/29720410/no-member-found-when-use-cmake-construct-proto/29817843

到此這篇關(guān)于Protobuf在Cmake中的正確使用方法的文章就介紹到這了,更多相關(guān)Protobuf使用Cmake內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: