Databricks 中从 csv 格式到 Redis 哈希格式的数据传输

Question

我有一个 Azure 系统，分为三个部分：

1. 我有一些 csv 文件的 Azure 数据湖存储。
2. Azure Databricks 我需要进行一些处理 - 正是将该 csv 文件转换为 Redis 哈希格式。
3. Azure Redis 缓存我应该将转换后的数据放在哪里。

在 databricks 文件系统中挂载存储后，需要处理一些数据。 如何将位于 databricks 文件系统中的 csv 数据转换为 redisHash 格式并正确地放入 Redis？ 具体来说，我不确定如何通过下面的代码进行正确的映射。或者也许有一些我找不到的额外转移到 SQL 表的方法。

这是我在 scala 上编写的代码示例：

import com.redislabs.provider.redis._

val redisServerDnsAddress = "HOST"
val redisPortNumber = 6379
val redisPassword = "Password"
val redisConfig = new RedisConfig(new RedisEndpoint(redisServerDnsAddress, redisPortNumber, redisPassword))


val data = spark.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("/mnt/staging/data/file.csv")

// What is the right way of mapping?
val ds = table("data").select("Prop1", "Prop2", "Prop3", "Prop4", "Prop5" ).distinct.na.drop().map{x =>
  (x.getString(0), x.getString(1), x.getString(2), x.getString(3), x.getString(4))
}

sc.toRedisHASH(ds, "data")

错误：

error: type mismatch;
 found   : org.apache.spark.sql.Dataset[(String, String)]
 required: org.apache.spark.rdd.RDD[(String, String)]
sc.toRedisHASH(ds, "data")

如果我这样写最后一串代码：

sc.toRedisHASH(ds.rdd, "data")

错误：

org.apache.spark.sql.AnalysisException: Table or view not found: data;

Answer 1

准备一些示例数据来模拟从 CSV 文件加载的数据。

    val rdd = spark.sparkContext.parallelize(Seq(Row("1", "2", "3", "4", "5", "6", "7")))
    val structType = StructType(
      Seq(
        StructField("Prop1", StringType),
        StructField("Prop2", StringType),
        StructField("Prop3", StringType),
        StructField("Prop4", StringType),
        StructField("Prop5", StringType),
        StructField("Prop6", StringType),
        StructField("Prop7", StringType)
      )
    )
    val data = spark.createDataFrame(rdd, structType)

转换：

val transformedData = data.select("Prop1", "Prop2", "Prop3", "Prop4", "Prop5").distinct.na.drop()

将数据框写入 Redis，使用Prop1 作为键，data 作为 Redis 表名。见docs

    transformedData
      .write
      .format("org.apache.spark.sql.redis")
      .option("key.column", "Prop1")
      .option("table", "data")
      .mode(SaveMode.Overwrite)
      .save()

查看 Redis 中的数据：

127.0.0.1:6379> keys data:*
1) "data:1"

127.0.0.1:6379> hgetall data:1
1) "Prop5"
2) "5"
3) "Prop2"
4) "2"
5) "Prop4"
6) "4"
7) "Prop3"
8) "3"