【发布时间】:2018-08-15 18:52:15
【问题描述】:
当从 Spark 集群建立到 Oracle 服务器的连接时,到 Oracle 服务器的 JDBC 连接是从正在执行代码的节点/盒子建立还是从数据节点执行?在后面的情况下,是否需要在所有数据节点上安装驱动程序才能连接到 Oracle 服务器。
【问题讨论】:
标签: oracle apache-spark jdbc
当从 Spark 集群建立到 Oracle 服务器的连接时,到 Oracle 服务器的 JDBC 连接是从正在执行代码的节点/盒子建立还是从数据节点执行?在后面的情况下,是否需要在所有数据节点上安装驱动程序才能连接到 Oracle 服务器。
【问题讨论】:
标签: oracle apache-spark jdbc
当从 Spark 集群建立到 Oracle 服务器的连接时,到 Oracle 服务器的 JDBC 连接是从正在执行代码的节点/盒子建立还是从数据节点执行?
数据总是从执行器节点加载。然而,驱动节点也需要访问数据库,才能获取元数据。
在以后的情况下,是否需要在所有数据节点上安装驱动程序才能连接到Oracle服务器。
是的。驱动程序必须存在于 Spark 应用程序使用的每个节点上。这可以通过以下方式完成:
spark.jars在运行时分发jarspark.jars.packages 使用 Maven 坐标获取 jars。【讨论】: