向数据框中的每一行添加序列号 - Spark Scala

Question

我需要在数据框中处理的每一行中添加序列号。但是每次添加时，我们都需要从现有行中获取最大序列并添加 + 1 并将其分配给新行。

知道如何使用 spark scala 中的数据框实现这一点。

示例。

下表是现有数据：

row_id,emp_id, sal
1,11,2000
2,22,3000

现在我需要在表格中添加如下新行：

3,33,5000

每次向表中插入新数据时，我们都需要通过从表中获取 max(row_id) 并为其添加 +1 来获取行 id。

请提出任何想法。

谢谢，

Answer 1

Spark DataFrame 是不可变的，因此无法追加/插入行。而是使用联合。这是您的问题的快速解决方案。这不是一个好的解决方案，因为每次添加新行时都需要执行联合。

val data = spark
  .read
  .option("inferSchema", "true")
  .option("header", "true")
  .csv("data.csv")

data.createOrReplaceTempView("dView")
val sqld = spark.sql("SELECT MAX(row_id)+1,SUM(emp_id),SUM(sal) FROM dView")
val finalD = data.union(sqld)
finalD.show()
spark.stop()

数据.csv

row_id,emp_id, sal
1,11,2000
2,22,3000

输出：

+------+------+----+
|row_id|emp_id| sal|
+------+------+----+
|     1|    11|2000|
|     2|    22|3000|
|     3|    33|5000|
+------+------+----+