【问题标题】:JDBC connection to Oracle server from Spark从 Spark 到 Oracle 服务器的 JDBC 连接
【发布时间】:2018-08-15 18:52:15
【问题描述】:

当从 Spark 集群建立到 Oracle 服务器的连接时,到 Oracle 服务器的 JDBC 连接是从正在执行代码的节点/盒子建立还是从数据节点执行?在后面的情况下,是否需要在所有数据节点上安装驱动程序才能连接到 Oracle 服务器。

【问题讨论】:

    标签: oracle apache-spark jdbc


    【解决方案1】:

    当从 Spark 集群建立到 Oracle 服务器的连接时,到 Oracle 服务器的 JDBC 连接是从正在执行代码的节点/盒子建立还是从数据节点执行?

    数据总是从执行器节点加载。然而,驱动节点也需要访问数据库,才能获取元数据。

    在以后的情况下,是否需要在所有数据节点上安装驱动程序才能连接到Oracle服务器。

    是的。驱动程序必须存在于 Spark 应用程序使用的每个节点上。这可以通过以下方式完成:

    • 在每个节点的类路径上都有所需的 jar。
    • 使用spark.jars在运行时分发jar
    • 使用spark.jars.packages 使用 Maven 坐标获取 jars。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2013-12-22
      • 2016-04-26
      • 1970-01-01
      • 2017-01-26
      • 2019-12-07
      • 2016-04-28
      • 2020-05-22
      相关资源
      最近更新 更多