【发布时间】：2016-07-12 12:06:48
【问题描述】：
我正在尝试通过 spark 将大约 200 万条记录加载到 cassandra。 Spark 有 4 个执行器，cassandra 在集群中有 4 个节点。但是将所有数据保存到 cassandra 大约需要 20 分钟。谁能帮我把这件事做得更快一点。
【问题讨论】：
-
这只是每秒 1.6k 写入，对于 4 个 C* 节点来说相当慢。如果有人能够帮助您，您需要指定更多信息。您如何阅读记录您使用什么代码编写节点什么样的硬件...
-
其实我是用Dataframe读取记录，所有节点都有7G内存
-
你能告诉我4节点集群的写入速度是多少。
-
如果没有节点详细信息，这类似于询问“车辆的一般速度是多少？”我希望如果我有 4 个现代规格的节点，我会看到大约 100k/s 的写入速度
-
是否可以在 sparkconf 中添加任何参数以使其更快？？
标签： apache-spark cassandra spark-cassandra-connector