使用 Spark 将数据保存到 Cassandra

Question

现在，在我当前的架构中，我有一个模块负责向 Cassandra 写入/读取数据，以及负责下载数据的模块。最近我开始使用 Datastax 和 Spark。我想对新获取的数据进行一些转换。对这个问题有什么正确的看法？我是使用我的模块存储数据并单独进行 Spark 计算，还是使用 Spark Streaming 将下载的数据直接发送到 Spark，并在作业中将原始数据和转换后的数据都保存到 Cassandra？我正在对股票报价进行操作，因此需要不断下载大量数据并进行大量转换。

Answer 1

在我看来，最好将其分开。

首先存储原始数据，然后对其进行处理。
以后更容易扩展和维护每个组件。

例如：如果您想更改下载模块中的某些内容，例如添加新的下载源或修复错误，则不会影响在 spark 中完成的数据处理，并且更改在 spark 上运行的代码中的某些内容不会有任何影响（或引入错误）您下载的原始数据。