有什么方法可以在 spark 中建立与 redshift 数据库的静态连接

Question

我正在使用 spark API spark.read.jdbc(String url,String table,java.util.Properties properties)。它使用从数据库表返回的架构创建一个数据框。

每当我调用上述 API 时，它都会创建一个到数据库集群的连接请求。有没有办法在上面的 API 中传递或创建单例的东西？

Answer 1

Spark 是惰性求值的，因此它只会在触发任何操作时触发，例如.load()。我认为在执行下一个操作之前，Spark 不可能保持与 Redshift 的连接打开。这是 Spark 的功能，它会延迟获取连接并在完成操作后立即释放。