如何在 AWS SageMaker（Jupyter Notebook）中使用 cx_Oracle

Question

我关注了官方installation guide，但到目前为止还没有运气。我想知道cx_Oracle 可以在 AWS SageMaker 的虚拟环境中工作。到目前为止我使用的步骤是：

1. 创建一个/opt/oracle 目录并在其中解压缩基本的instantclient。
2. sudo yum install libaio
3. sudo sh -c "echo /opt/oracle/instantclient_18_3 > /etc/ld.so.conf.d/oracle-instantclient.conf" 和 sudo ldconfig
4. 最后将LD_LIBRARY_PATH 导出为：export LD_LIBRARY_PATH=/opt/oracle/instantclient_18_3:$LD_LIBRARY_PATH

当尝试使用connection = cx_Oracle.connect(usr + '/' + pwd + '@' + url) 在笔记本内运行连接时，我收到DPI-1047 错误代码，指出libclntsh.so 无法打开，但是该库 在@987654333 @ 文件夹。作为另一种选择，当通过终端 Python 控制台运行相同的连接时，我收到 ORA-01804 错误代码，表示时区文件未正确读取，这也是我正在尝试修复的问题，但怀疑与cx_Oracle 找不到它的库文件夹。 （现在，向我解释一下：为什么亿万富翁公司要创建一个像样的库导入和安装这么困难？）

有没有我遗漏的步骤？是否有我应该考虑的有关 AWS SageMaker 的详细信息？另外，还有其他选择可以通过 Python 和 AWS 从 oracle 服务器中提取数据吗？

Answer 1

您好，感谢您使用 SageMaker！

经过一番努力，我终于能够找出允许我从 SageMaker 笔记本实例中查询 Oracle 12 数据库的一系列步骤。以下是我采取的步骤：

1. 出于测试目的，我使用Amazon RDS 创建了一个Oracle 12 数据库。 （如果您已经有可用的 Oracle 数据库，当然可以跳过此步骤。）
2. 我下载了 Oracle 12 Instant Client RPM，如 here 所述。请注意，您需要一个 Oracle 帐户才能下载此文件。
3. 我从 JupyterLab 中将 RPM 上传到了我的 SageMaker Notebook 实例。请注意，在继续下一步之前，这可能需要 2-3 分钟才能完全上传。 （我最初在运行安装时遇到了问题，因为上传仍在进行中。）
4. 我按照 Oracle 说明中的说明从 Jupyter 终端运行了以下所有命令：

cd SageMaker

sudo yum install oracle-instantclient12.2-basic-12.2.0.1.0-1.x86_64.rpm
sudo sh -c "echo /usr/lib/oracle/12.2/client64/lib > /etc/ld.so.conf.d/oracle-instantclient.conf"
sudo ldconfig
sudo mkdir -p /usr/lib/oracle/12.2/client64/lib/network/admin

# Restart Jupyter...
sudo restart jupyter-server

5. 然后我安装了cx_Oracle 库：

source activate python3
pip install cx_Oracle --upgrade

6. 最后，我使用 conda_python3 内核创建了一个新笔记本：

import cx_Oracle
db = cx_Oracle.connect("my_username/my_password@my-rds-instance.ccccccccccc.us-east-1.rds.amazonaws.com/ORCL")

# Example query
cursor = db.cursor()
for row in cursor.execute('select * from DBA_TABLES'):
  print(row)

...然后它起作用了！

请注意，我花了几次尝试找出确切的连接字符串，这可能会因您的数据库配置方式而异。不幸的是，错误消息很难理解 - 就我而言，我遇到了错误 ORA-12504: TNS:listener is not given the SERVICE_NAME in CONNECT_DATA 直到我在末尾指定了 /ORCL连接字符串。

如果您需要经常执行这些步骤，您可以在 SageMaker Lifecycle Configuration 脚本中添加 Oracle 客户端的安装和配置。我还没有测试过这种情况，但可能值得一试！

最后一件事，我在您的问题中注意到您使用的是 Oracle 18 客户端。我没有测试那个确切的场景，因为我只能访问 Oracle 12 数据库。但是，Oracle 12 客户端也应该能够连接到 Oracle 18 数据库。

最好， 凯文