从Greenplum读取数据时，如何在火花中将十进制值转换为字符串？

Question

我正在尝试使用 spark 读取 Greenplum 数据库上的 RDBMS 表。我有以下列：

val allColumnsSeq: Seq[String] = Seq("usd_exchange_rate", "usd_exchange_rate::character varying as usd_exchange_rate_text")

我正在尝试将 spark 中的上述列读取为：

val yearDF = spark.read.format("io.pivotal.greenplum.spark.GreenplumRelationProvider").option("url", connectionUrl)
.option("dbtable", "x_lines")
.option("dbschema","copydb")
.option("user", devUserName).option("password", devPassword)
.option("partitionColumn","id")
.load()
.where("year=2017 and month=12")
.select(allColumnsSeq map col:_*)
.withColumn(flagCol, lit(0))

gp 中的某些列是数据类型：decimal，其中包含精度数字。 上表中为：

usd_exchange_rate

它包含近 45 位精度。在我们的项目中，我们保留原始列（usd_exchange_rate），并从字符数据类型的 usd_exchange_rate 创建一个新列，其列名附加_text。在这种情况下，

decimal datatype: usd_exchange_rate & char datatype: usd_exchange_rate_text 中的同一列

当我执行上述行时，我得到了异常：

org.apache.spark.sql.AnalysisException: cannot resolve '`usd_exchange_rate::character varying as usd_exchange_rate_text`'

我发现我将其转换为错误的格式，但我不明白如何一步读取十进制和文本格式的同一列。 谁能告诉我是否有办法在 spark 中实现它？

Answer 1

不确定错误，但要转换，您是否尝试定义自定义架构？假设您已经知道您的架构，请使用 StructType 定义您自己的自定义架构。

import org.apache.spark.sql.types._

val customSchema = StructType(Seq(
StructField("usd_exchange_rate",StringType,true),
StructField("aud_exchange_rate",StringType,true),
.
.
.
StructField("<some field>",<data type>,<Boolean for nullable>)
))

val yearDF = spark.read.format("io.pivotal.greenplum.spark.GreenplumRelationProvider").option("url", connectionUrl)
    .option("dbtable", "x_lines")
    .option("dbschema","copydb")
    .option("user", devUserName).option("password", devPassword)
    .option("partitionColumn","id")
    .schema(customSchema)
    .load()
    .where("year=2017 and month=12")
    .select(allColumnsSeq map col:_*)
    .withColumn(flagCol, lit(0))

我没有在 IDE 中对此进行测试，但它应该可以工作。