【问题标题】:How to add a Spark Dataframe to the bottom of another dataframe?如何将 Spark Dataframe 添加到另一个 DataFrame 的底部?
【发布时间】:2016-02-06 16:00:21
【问题描述】:

我可以使用withcolumn向数据框添加新列。但是在 scala 中,如何向 DataFrame 添加新行?

我正在尝试将一个数据框添加到另一个数据框的底部。因此,如何在 scala 中添加行或如何将 DataFrame 添加到另一个的底部都会有所帮助。谢谢

【问题讨论】:

  • 你检查过unionAll()函数吗?
  • 谢谢! unionAll 工作!

标签: scala apache-spark dataframe


【解决方案1】:

如果它们具有相同的架构,只需将 union 用于 spark 2+:

val dfUnion = df1.union(df2)

unionAll 用于火花 1+:

val dfUnion = df1.unionAll(df2)

【讨论】:

  • 感谢您的帮助!这就是我需要的!
  • 由于 Spark 2.0 unionAll() 被标记为 deprecated (@deprecated("use union()", "2.0.0")) - 我相应地改变了你的答案。
  • 这个问题似乎是在谈论连接(“在另一个底部添加一个”),并且只针对未来的搜索者:union 与连接不同。它不对组合数据做出顺序保证。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2016-01-07
  • 2015-08-11
  • 2020-02-20
  • 1970-01-01
  • 1970-01-01
  • 2017-07-02
  • 1970-01-01
相关资源
最近更新 更多