Databricks Spark 会议

Question

抱歉，这里提出了一个愚蠢的问题，但我正在尝试更改 spark 连接器的配置，特别是 Mongo Spark 连接器（需要将连接器从访问我们的 Prod 服务器更改为我们的辅助服务器）。如何访问 SparkConf 以进行这些更改？我正在使用 Databricks 和 Python，v2.1

我正在查看https://docs.mongodb.com/spark-connector/master/configuration/，但我很困惑我什至在哪里输入这个？本地？在笔记本上？进入命令行？我已经尝试过这些，但没有任何成功。如果有人有一个实际的逐步分解，那将是惊人的。

Answer 1

如果您想使用 Databricks 仪表板提供配置：

• 转到您的 Databricks 仪表板。

• 打开集群面板。

• 点击创建集群。

• 打开 Spark 选项卡并指定所需的选项：

• 您应该使用与配置文件相同的格式，包括前缀：

  spark.mongodb.input.uri  mongodb://host:port/ 
  

参考：

• https://docs.databricks.com/user-guide/clusters/spark-config.html