【问题标题】:Elastic search with hadoop使用 hadoop 进行弹性搜索
【发布时间】:2022-11-22 22:51:34
【问题描述】:

目前在我的组织中,我们在弹性搜索中保存半结构化数据,我们使用查询进行快速文本搜索和聚合,但我们还有其他产品位于其他数据库中,因此我们希望将所有数据放在像 HDFS 这样的数据湖中

那么,如果我使用 HDFS 作为数据湖来保存原始数据,将如何使用弹性搜索呢?我的意思是elasticsearch索引数据在使用之前,那么有没有可能把数据保存在数据湖中,然后elasticsearch直接从数据湖中查询数据,而不需要将数据存储在elastic中?或者我会把数据保存在数据湖中然后处理它并再次将它存储在弹性中以便它可以索引它吗?

总而言之,我想知道弹性和 hadoop 集成的概念

【问题讨论】:

    标签: elasticsearch hadoop


    【解决方案1】:

    Spark 和 Hive 都提供 Elasticsearch 连接器;除了可能的备份功能外,无需将文档导出到 HDFS。

    https://www.elastic.co/guide/en/elasticsearch/hadoop/current/reference.html

    【讨论】:

      猜你喜欢
      • 2014-06-18
      • 2011-12-17
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2018-01-10
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多