Bluemix spark-submit -- 如何保护我的 Scala jar 所需的凭证

Question

我有一个 Spark 应用程序，我正在提交给 Bluemix Spark Cluster。它从 DASHDB 数据库中读取数据并将结果写入 Cloudant。该代码使用 Spark 和 JDBC 访问 DASHDB。

DASHDB 数据库的用户 ID 和密码作为参数传递给程序。我可以通过 spark-submit 传递这些参数，但我认为这不安全。在代码中，我需要知道 DASHDB 数据库的凭据，因为我使用 JDBC 连接到各种表。

我正在尝试找到以安全方式使用 spark-submit 传递凭据的“最佳实践”方式。

提前感谢 - 约翰

Answer 1

我认为 jdbc 驱动程序将始终需要用户名和密码才能连接到数据库，因此这是毫无疑问的，因为您在 bluemix 上处于多租户环境中。

现在关于 spark-submit.sh 安全读取参数，该选项尚不可用。

谢谢， 查尔斯。

Answer 2

根据here 的答案，我的偏好是传递具有凭据的属性文件。其他租户将无法读取属性文件，但您将能够从您的 spark 应用程序中读取，例如作为一个数据框，您可以从中访问参数。