【问题标题】:how to save output from cassandra table using spark如何使用 spark 保存 cassandra 表的输出
【发布时间】:2018-08-18 15:36:12
【问题描述】:

我想将从cassandra 表读取的输出/行保存到 csv 或 json 格式的文件中。使用 Spark 1.6.3:

scala>val results.sqlContext.sql("select * from myks.mytable")
scala>val.write.option("header","true").save("/tmp/xx.csv") -- writes to cfs:// filesystem

我找不到以csvjson 格式文件写入操作系统的选项。

感谢任何帮助!

【问题讨论】:

  • 您遇到问题的代码是什么?你的代码有什么问题?您收到错误消息吗?错误信息是什么?你得到的结果不是你期望的结果吗?你期望什么结果,为什么,你得到的结果是什么,两者有什么不同?您正在观察的行为不是期望的行为吗?期望的行为是什么,为什么,观察到的行为是什么,它们有何不同?请提供minimal reproducible example
  • 您能否提供一个精确说明您希望发生的事情,包括任何和所有规则、这些规则的例外情况、极端情况、特殊情况、边界情况和边缘情况?您能否提供示例输入和输出来展示您期望发生的情况,无论是在正常情况下,还是在所有异常情况、极端情况、特殊情况、边界情况和边缘情况下?请同时确保提供minimal reproducible example

标签: scala cassandra apache-spark-sql cassandra-3.0


【解决方案1】:

使用 spark Cassandra 连接器将 Cassandra 表中的数据读取到 spark 中

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/0_quick_start.md

【讨论】:

  • 谢谢,但我没有看到将输出保存为 text/json 格式文件的选项
  • yourDataFrame.write.json("your.json")
猜你喜欢
  • 2018-03-16
  • 2017-08-29
  • 1970-01-01
  • 2015-05-10
  • 2021-05-23
  • 2016-05-01
  • 2015-03-06
  • 2016-01-30
  • 2020-07-27
相关资源
最近更新 更多