弹性搜索和 Spark答案

【问题标题】：Elastic Search and Spark弹性搜索和 Spark
【发布时间】：2016-07-08 13:27:20
【问题描述】：

我正在尝试使用带有 sbt 工件的 elasticsearch-spark 库设置 spark 和 Eleastic 搜索："org.elasticsearch" %% "elasticsearch-spark" % "2.3.2"。当我尝试使用此代码配置弹性搜索时：

val sparkConf = new SparkConf().setAppName("test").setMaster("local[2]")
.set("es.index.auto.create", "true")     
.set("es.resource", "test")
.set("es.nodes", "test.com:9200")

我不断收到错误消息：illegal character 对于上面所有用于弹性搜索的 set 语句。有人知道这个问题吗？

【问题讨论】：

标签： elasticsearch apache-spark sbt

【解决方案1】：

您必须从任何网站或任何其他博客复制代码。它包含实际上给您带来麻烦的不可读字符。

简单的解决方案：删除所有内容。手动一一输入，然后运行。如果您再次遇到任何问题，请告诉我，我会帮助您。

【讨论】：

是的，这就是问题所在。我从一个网站上复制了它，它输入了一些非法字符，我的 IntelliJ IDE 无法读取它。我刚刚删除了所有文本并重新输入它并且它起作用了。谢谢！
你认为你能帮我解决我在将数据从 spark 保存到弹性搜索时遇到的问题吗？
当然...请告诉我您的问题。我会尽力帮助您。

【解决方案2】：

您可能希望将 elasticsearch.yml 中的 http.publish_host 设置为 HOST_NAME。 es-hadoop 连接器从 _nodes/transport API 嗅探节点，因此它检查发布的 http 地址是什么。

【讨论】：