【问题标题】:Dynamic loading library with different name at runtime在运行时具有不同名称的动态加载库
【发布时间】:2021-12-26 16:41:16
【问题描述】:

是否可以构建一个依赖于另一个共享库(在我的情况下为 RocksDB - librocksdb.so)但其运行时文件名不同的共享库(使用 g++)? (例如librocksdb1234.so)。如果是这样,如何做到这一点?

更多上下文

  1. 我正在为 RocksDB (C++) 实现一个自定义压缩过滤器,我打算通过 JNI 在我的 Java 应用程序中使用它。

  2. 在 Java 中使用 RocksDB 时,我需要首先调用 RocksDB.loadLibrary(),它将加载 RocksDB 库。 RocksDB JNI jar 带有多个 RocksDB 共享对象(.so 文件),每个架构一个。当我调用此方法时,它将在 jar 中选择正确的共享对象文件,将其复制到临时文件夹,然后使用 System.load(...) 加载它。复制的共享对象文件使用随机后缀创建

  3. 为了开发自定义压缩过滤器,我首先安装了 RocksDB 头文件(这只是调用 RocksDB 项目中的 Makefile 任务,将头文件复制到/usr/local/include/rocksdb),并将 RocksDB 构建为共享库并将其安装在/usr/local/lib 中(同样,这只是对项目中已存在的 Makefile 任务的调用)。

  4. 要使用自定义压缩过滤器构建共享库,我使用 g++ 如下(用于链接):g++ -shared -fPI -Wl,--no-undefined <list-of-object-files> -o libcustom.so -lrocksdb(已安装的 RocksDB 共享库名为 librocksdb.so)。

  5. 当我尝试在我的 Java 应用程序上使用自定义压缩过滤器加载共享库时,它会按预期成功加载(只要存在 librocksdb.so)。

  6. 但是由于 RocksDB JNI 已经附带了 RocksDB 共享对象文件,我想要的只是使用这些共享对象,而不是我为开发目的安装的 librocksdb.so。所以,我基本上只是删除了librocksdb.so 并在我的Java 应用程序中添加了对RocksDB.loadLibrary() 的调用。一旦我这样做了,由于librocksdb.so.6: cannot open shared object file: No such file or directory,我将无法加载我的共享库。

  7. 我验证了 RocksDB 共享对象(来自 jar)已使用 lsof -p <pid> 正确加载。

  8. 据我了解,发生这种情况是因为我使用自定义压缩过滤器的共享对象将在其标头中有一个条目,该条目定义了对名为 rocksdb 的库的依赖项(使用 objdump -x ... 确认)。但是因为RocksDB.loadLibrary()加载的RocksDB共享对象有一个随机的名字,所以不会匹配到需要的依赖。

Dynamic Section:
  NEEDED               librocksdb.so.6
...

附加问题 在第 8 点中。​​我假设动态加载将基于共享对象的文件名。这是一个正确的假设吗?或者动态加载是否基于 SONAME? (我注意到 RocksDB JNI jar 中的共享对象没有定义 SONAME)。

【问题讨论】:

  • 如果您只需要在 linux 上运行,您可能可以 LD_PRELOAD 挂钩 dlopen 并将 System.load 进行的底层调用重定向到 librocksdb 的系统安装。这是一种丑陋的做法。
  • 如果你使用glibc,可以调用dl_iterate_phdr,查看加载了哪些共享库。
  • 可能值得研究 dlopen()dlsym() (man7.org/linux/man-pages/man3/dlopen.3.html),它们是手动加载共享库并从中检索函数指针的函数。

标签: c++ g++ dynamic-linking rocksdb dynamic-loading


【解决方案1】:

要使用自定义压缩过滤器构建共享库,我使用 g++ 如下

请注意,如果你保证你的库需要的来自librocksdb.so.6的所有符号在你的库加载之前已经存在,那么你不必链接与librocksdb 共享库。只需从链接命令行中删除 -lrocksdb,它就会正常加载。

【讨论】:

  • 感谢您的回答。我试图删除-lrocksdb,但它现在无法使用undefined symbol: _ZNK7rocksdb12Customizable9GetOptionERKNS_13ConfigOptionsERKSsPSs 加载库。我用nm -gD从jar中搜索了共享对象中的符号,它存在。
  • 这是nm -gD ... | grep _ZNK7rocksdb12Customizable9GetOptionERKNS_13ConfigOptionsERKSsPSslibrocksdb(第一)和我的共享库的输出:00000000005577e0 T _ZNK7rocksdb12Customizable9GetOptionERKNS_13ConfigOptionsERKSsPSs U _ZNK7rocksdb12Customizable9GetOptionERKNS_13ConfigOptionsERKSsPSs
  • 另外,运行:LD_PRELOAD=/.../librocksdbjni-linux64.so ldd -r libcustom.so 没有显示未定义的符号。其中librocksdbjni-linux64.so基本上就是jar中的RocksDB共享库。
  • 看来问题和这里提到的类似:stackoverflow.com/questions/5425034/….
猜你喜欢
  • 1970-01-01
  • 2016-12-07
  • 1970-01-01
  • 2010-12-06
  • 2011-02-23
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多