无法通过 MWAA 上的提供程序连接到 Oracle 数据库

Question

我目前正在使用 MWAA（Airflow 版本：2.0.2）来构建数据管道。当我尝试使用提供程序连接到 Oracle 数据库 (Oracle 10g) 时，cx_Oracle 引发异常。

1. 安装 apache-airflow[oracle]==2.0.2 后执行

cx_Oracle.DatabaseError：DPI-1047：找不到 64 位 Oracle 客户端库：“libclntsh.so：无法打开共享对象文件：没有这样的文件或目录”

1. 上传plugins.zip，里面有instant_client_12_1目录，覆盖OracleHook的get_conn函数，执行init_oracle_client函数，指定instant client目录

cx_Oracle.DatabaseError：DPI-1047：找不到 64 位 Oracle 客户端库：“libmql1.so：无法打开共享对象文件：没有这样的文件或目录”

但该文件确实存在于文件夹下（如下）

-rw-rw-r-- 1 martin martin    29404 Jun 23 07:30 adrci
-rw-rw-r-- 1 martin martin      450 Jun 23 07:30 BASIC_LITE_README
-rw-rw-r-- 1 martin martin    43944 Jun 23 07:30 genezi
lrwxrwxrwx 1 martin martin       21 Jun 23 07:35 libclntshcore.so -> libclntshcore.so.12.1
-rw-rw-r-- 1 martin martin  6990875 Jun 23 07:30 libclntshcore.so.12.1
lrwxrwxrwx 1 martin martin       17 Jun 23 07:35 libclntsh.so -> libclntsh.so.12.1
-rw-rw-r-- 1 martin martin 58793741 Jun 23 07:30 libclntsh.so.12.1
-rw-rw-r-- 1 martin martin  1768370 Jun 23 07:30 libipc1.so
-rw-rw-r-- 1 martin martin   544150 Jun 23 07:30 libmql1.so
-rw-rw-r-- 1 martin martin  6213011 Jun 23 07:30 libnnz12.so
lrwxrwxrwx 1 martin martin       15 Jun 23 07:35 libocci.so -> libocci.so.12.1
-rw-rw-r-- 1 martin martin  2576030 Jun 23 07:30 libocci.so.12.1
-rw-rw-r-- 1 martin martin  6005681 Jun 23 07:30 libociicus.so
-rw-rw-r-- 1 martin martin   156353 Jun 23 07:30 libocijdbc12.so
-rw-rw-r-- 1 martin martin   337137 Jun 23 07:30 libons.so
-rw-rw-r-- 1 martin martin   118491 Jun 23 07:30 liboramysql12.so
-rw-rw-r-- 1 martin martin  3692096 Jun 23 07:30 ojdbc6.jar
-rw-rw-r-- 1 martin martin  3698857 Jun 23 07:30 ojdbc7.jar
-rw-rw-r-- 1 martin martin   227410 Jun 23 07:30 uidrvci
-rw-rw-r-- 1 martin martin    71202 Jun 23 07:30 xstreams.jar

我认为不可能在 MWAA 上更新 LD_LIBRARY_PATH 等环境变量，有什么想法吗？谢谢。

Answer 1

我已经通过关注this instruction解决了这个问题

1. 下载Oracle Instant Client 并将其放入plugins 文件夹中。
2. 执行以下 Docker 命令（我在 Windows 上使用的是 Docker Desktop）

docker pull amazonlinux
docker run -it amazonlinux:latest /bin/bash
yum -y install libaio
cd /lib64
rm libaio.so.1
ln -s ./libaio.so.1.0.1 libaio.so.1 # This is critical for me to change the symbol link to relative path

1. 从 Powershell 执行以下命令（因为我在 Windows 上使用 Docker Desktop）

docker container ls # copy the container ID that you created on step#2
docker cp {docker ID}:/lib64/libaio.so.1 C:\dir\of\oracle\instant\client\under\plugins
docker cp {docker ID}:/lib64/libaio.so.1.0.0 C:\dir\of\oracle\instant\client\under\plugins
docker cp {docker ID}:/lib64/libaio.so.1.0.1 C:\dir\of\oracle\instant\client\under\plugins

4. 在 plugins 文件夹下创建 __ init __.py，或者如果您已经有，请附加以下代码

from airflow.plugins_manager import AirflowPlugin
import os
# the [instantclient] below depends on your folder structure
os.environ["LD_LIBRARY_PATH"]='/usr/local/airflow/plugins/instantclient'
os.environ["DPI_DEBUG_LEVEL"]="64"

class EnvVarPlugin(AirflowPlugin):                
    name = 'env_var_plugin' 

5. 将插件压缩到 plugins.zip
6. 将 plugins.zip 上传到 S3
7. 更新 MWAA 以使用更新后的 plugins.zip

完成~

Answer 2

这个问题可以通过使用oracle客户端构建airflow docker来解决。请查看thread