Spark 从整个 Schema Scala 中读取

Question

我想创建一个 Spark 对象，该对象可以读取整个架构，而不仅仅是从该架构中读取一个表。这是因为我想执行一个连接多个表的特定查询（我不想单独从每个表中读取并使用 Spark 手动重新创建查询，因为查询又长又复杂）。我希望它会像这样工作：

val Schema_DF = spark.read
    .format("jdbc")
    .option("url", "jdbc://example.com")
    .option("schema", "SCHEMA_NAME")
    .option("user", "username")
    .option("password", "pass")
    .load()

我可以使用不同的方法将我想要的查询加载为 ResultSet，但这似乎很冗长，因为我需要将其转换为 Dataframe。任何帮助将不胜感激。

干杯

Answer 1

您无需将整个架构加载到 spark 中即可。

您可以使用query 属性查询您的数据库并以数据框的形式获取结果。

val jdbcDF = spark.read.format("jdbc")
.option("url", jdbcUrl)
.option("query", "select c1, c2 from t1")
.load()

参考：https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html

注意：Spark 会将此查询推送到您的数据库，即您的数据库将处理该查询，而 Spark 只会获取结果。如果它是您的实时产品数据库，请小心:)