Mongo Spark 连接器写入问题答案

【问题标题】：Mongo Spark connector write issuesMongo Spark 连接器写入问题
【发布时间】：2018-10-01 02:56:12
【问题描述】：

我们发现写入持续时间显着增加，最终导致超时。我们正在使用基于副本集的 MongoDB 集群。

由于交易量大，这只发生在一周的高峰期。我们已尝试部署其他节点，但没有帮助。

附上屏幕截图。我们在 databricks Apache Spark 2.2.1 上使用 Mongo-connector 2.2.1

我们将不胜感激任何优化写入速度的建议。

【问题讨论】：

【解决方案1】：

有多少工人？请检查 DAG，作业的执行者指标。如果所有写入都来自单个执行程序，请尝试根据否重新分区数据集。的执行者。

MongoSpark.save(dataset.repartition(50), writeConf);

【讨论】：