如何忽略我们从 CSV 读取输入数据的 Spark Dataframe 中的双引号？

Question

我想通过读取来自 csv 文件的输入来创建一个 Spark 数据框（不带双引号），如下所述。

这是我的代码，但目前没有用。

val empDF = spark.read.format("com.databricks.spark.csv")
  .option("header", "true")
  .option("inferSchema", "true")
  .option("quote", "\"")
  .option("escape", "\"")
  .load("EmpWithQuotes.csv")
  .toDF()

我的预期输出不是在输出中添加双引号，但我得到一个带有垃圾的输出。

+---+-----+----------+----+
|eno|ename|      eloc|esal|
+---+-----+----------+----+
| 11|�abx�| �chennai�|1000|
| 22|�abr�|     �hyd�|3000|

Answer 1

我在 Scala 上使用 Spark 进行了尝试，它从列中删除了引号：

df = df.withColumn("ename", regexp_replace(col("ename"), "“", ""))
    .withColumn("eloc", regexp_replace(col("eloc"), "“", ""))
    .withColumn("ename", regexp_replace(col("ename"), "”", ""))
    .withColumn("eloc", regexp_replace(col("eloc"), "”", ""))

Spark 的 Python API 中肯定也有类似的东西......

Answer 2

看起来它们不是正常的双引号。您可以尝试查找哪个字符并将其转义，或者，您可以获取子字符串（如果您确信每一行都有前导和尾随引号）：

empDF.withColumn("ename", substring(col("ename"), 1, length(col("ename"))-2))

Answer 3

如果您可以使用 Spark 的默认 csv 格式而不是 com.databricks.spark.csv，它应该可以正常工作

import org.apache.spark.sql.functions._

object EscapeQuotes {
  def main(args: Array[String]): Unit = {
    val spark = Constant.getSparkSess
    val pattern = "“|”"
    spark.read
      .option("header", "true")
      .option("inferSchema", "true")
      .option("quote", "\"")
      .option("escape", "\"")
      .csv("src/main/resources/sample.csv")
      .withColumn("eloc",regexp_replace(col("eloc"),pattern,""))
      .withColumn("ename",regexp_replace(col("ename"),pattern,""))
      .show()
  }

}