在已经使用 tensorflow 作为第三方的 c++ 库中使用新的 tensorflow op答案

【问题标题】：Using new tensorflow op in a c++ library that already uses tensorflow as third party在已经使用 tensorflow 作为第三方的 c++ 库中使用新的 tensorflow op
【发布时间】：2018-12-07 00:25:03
【问题描述】：

这是我第一次在 stackoverflow 中提问。我会尽力正确地提出我的问题。

我想在 c++ 库中使用自定义 tensorflow 操作，该库已经使用 tensorflow 作为第三方。但我根本不知道如何在 C++ 代码中使用我的自定义操作。我正在尝试通过 Tensroflow c++ 教程中的简单 ZeroOut 示例来学习这一点。我在https://github.com/MatteoRagni/tf.ZeroOut.gpu 中为cpu 注册了ZeroOut 操作：使用make 进行编译，我在usr-ops 文件夹中获得了一个.so 文件，其中还有cc 文件。然后我尝试将 ZeroOut.so 文件作为共享库添加到我的库中，但它没有编译。然而，在我添加我的自定义操作之前，按照 tensorflow 新操作教程中的描述向 bazel 注册，以同样的方式和我的库编译。可能是因为 .so 文件是在 ../bazel-bin/tensorflow/core/user_ops/ 中创建的。但在这种情况下，我无法按我应该的方式使用该操作。直到现在，在我的 c++ 文件中包含 ZeroOut.cpp 或我的 op 的 .cpp 文件并没有任何区别。

这是我的 CMakeList.txt，它还创建了我正在使用的整个库：

cmake_minimum_required(VERSION 2.8)
project(Project1)

set(CMAKE_BUILD_TYPE "Release") # Debug Release
set(CMAKE_CXX_FLAGS_RELEASE "$ENV{CXXFLAGS} -std=c++14 -O3 -Wall                 -fopenmp")
SET(CMAKE_MODULE_PATH ${PROJECT_SOURCE_DIR}/cmake)

#-------------path of 3rd party libraries-------------
# special libs.
find_package(Boost COMPONENTS filesystem iostreams regex)
find_package(FFTW)
find_package(NLopt)
find_package(HDF5 COMPONENTS CXX)

set(EXTERN_LIB_ROOT ${PROJECT_SOURCE_DIR}/3rd-party)

set(TENSORFLOW_ROOT /.../tensorflow)
set(TF_INCLUDE_DIRS "${TENSORFLOW_ROOT}" "${TENSORFLOW_ROOT}/bazel-  genfiles" "${TENSORFLOW_ROOT}/bazel-tensorflow/external/protobuf_archive/src")

# lib dirs.
set(LUA_LIBRARIES "${EXTERN_LIB_ROOT}/lua/liblua53.so") #5.3.4
set(LINENOISE_LIBRARIES "${EXTERN_LIB_ROOT}/linenoise-ng/build/liblinenoise.so")
set(YACAS_LIBRARIES "${EXTERN_LIB_ROOT}/yacas/cyacas/libyacas/build/libyacas.so")


set(TF_LIBRARIES ${TENSORFLOW_ROOT}/bazel-bin/tensorflow/libtensorflow_cc.so
    ${TENSORFLOW_ROOT}/tensorflow/core/user_ops/tf.ZeroOut.gpu-master/zero_out.so 
${TENSORFLOW_ROOT}/bazel-bin/tensorflow/core/user_ops/MyNewOp.so) 
#-------------ssl headers-------------
include_directories(${PROJECT_SOURCE_DIR}/src
    ${EXTERN_LIB_ROOT}/eigen
    ${EXTERN_LIB_ROOT}/gnuplot-iostream
    ${EXTERN_LIB_ROOT}/
    ${EXTERN_LIB_ROOT}/linenoise-ng/include
    ${EXTERN_LIB_ROOT}/yacas/cyacas/libyacas/include
    ${EXTERN_LIB_ROOT}/lua/src
    ${NLOPT_INCLUDE_DIRS}
    ${FFTW_INCLUDES}
    ${TF_INCLUDE_DIRS}
    ${Boost_INCLUDE_DIRS}
    ${HDF5_INCLUDE_DIRS}
    ${TENSORFLOW_ROOT}) 

option(BUILD_SHARED_LIBS "build shared library" ON)
set(LIBRARY_OUTPUT_PATH ${PROJECT_BINARY_DIR}/lib)

#-------------ssl kernel lib-------------
file(GLOB_RECURSE _src_list
    LIST_DIRECTORIES false
    RELATIVE "${CMAKE_CURRENT_SOURCE_DIR}" "${PROJECT_SOURCE_DIR}/src/*.h" "${PROJECT_SOURCE_DIR}/src/*.cpp" "")

add_library(ssl SHARED ${_src_list})

set(SSL_LIBRARIES ${TF_LIBRARIES} ${LUA_LIBRARIES} ${Boost_LIBRARIES}     ${NLOPT_LIBRARIES} ${FFTW_LIBRARIES} ${LINENOISE_LIBRARIES} ${YACAS_LIBRARIES} ${HDF5_CXX_LIBRARIES}) #${TF_LIBRARIES}

target_link_libraries(ssl ${SSL_LIBRARIES} dl)

add_executable(Project1 main.cpp)
target_link_libraries(Project1 ssl)

有一个相关的问题，但没有明确的答案。 How to run custom GPU tensorflow::op from C++ code?

我做错了什么？我在共享库方面没有经验，但也许还有其他更好的方法来做我想做的事情......？有人可以帮助我，也许举一个所需的 CMakeList.txt 的例子？

关于我在运行时遇到的错误：这是一个非常微不足道的函数，如果使用正确数量的参数调用，则无法找到我的 .so 文件中的函数，如果使用错误的参数调用它就无法运行。与此同时，我找到了更好的解决方法。由于我可以在 python 中使用我的自定义操作，我将在我的 c++ 库中嵌入 python，调用一个 python 函数来制作图形，这将调用我的自定义操作来构建图形。但我还没写完。

【问题讨论】：

这听起来是个好问题，但请尽量将您的问题简化为一个问题
好的！我应该重新问两个不同的问题吗？
请。这将使研究员更容易在这里回答你。谢谢！
提出一个新问题并更新这个问题（使用“编辑”）以将其最小化为一个问题
完成！谢谢你的解释

标签： c++ tensorflow cmake shared-libraries

【解决方案1】：

使用pkg_config就变得很简单了：

cmake_minimum_required(VERSION 3.10)
project(tf-inference)

find_package(PkgConfig)
pkg_check_modules(TensorFlow REQUIRED tensorflow)

link_directories(${TensorFlow_LIBRARY_DIRS})
include_directories(${TensorFlow_INCLUDE_DIRS})
add_compile_definitions(${TensorFlow_CFLAGS_OTHER})

add_executable(tf-inference inference.cpp)
target_link_libraries(tf-inference ${TensorFlow_LIBRARIES})

但是，这需要您的 TensorFlow 安装包含 tensorflow.pc 文件。在 MacOS 上：brew install libtensorflow 将包含此文件，并且上述内容会自动运行。

【讨论】：