【发布时间】:2017-08-30 05:27:52
【问题描述】:
我在 Spark Dataframe 中有一个嵌套的 json 对象,需要存储在 Cassandra 中。我是 Spark Streaming 和 Cassandra 的新手,想了解以下内容:
- 是否必须展平?我需要访问各个列进行处理 - 如何展平嵌套的 json?
- 我知道 Cassandra 的早期版本(在权威指南中)是无模式的,现在还是这样吗?这意味着如果第一行带有 10 个列,它会动态创建这些列,如果第二行只有 2 个列值(意味着其他列没有出现在传入的 json 中),那么该行将只保存 2 个列。或者我需要在存储之前处理空值吗?
【问题讨论】:
标签: cassandra spark-dataframe spark-streaming