HDFS 作为深度存储：Druid 不在 hdfs 上存储历史数据

Question

我已经在本地机器上设置了一个 Druid 微服务器。我想使用 HDFS 作为 druid 的深度存储。我使用了以下Druid Docs、[druid-hdfs-storage] fully qualified deep storage path throws exceptions 和imply-druid docs 作为参考。

我在 /apache-druid-0.16.0-incubating/conf/druid/single-server/micro-quickstart/_common/common.runtime.properties 中进行了以下更改

druid.extensions.loadList=["druid-hdfs-storage", "druid-kafka-indexing-service", "druid-datasketches"]

#
# Deep storage
#

# For local disk (only viable in a cluster if this is a network mount):
#druid.storage.type=local
#druid.storage.storageDirectory=var/druid/segments

# For HDFS:
druid.storage.type=hdfs
druid.storage.storageDirectory=hdfs://mycluster:8020/druid/segments


#
# Indexing service logs
#

# For local disk (only viable in a cluster if this is a network mount):
#druid.indexer.logs.type=file
#druid.indexer.logs.directory=var/druid/indexing-logs

# For HDFS:
druid.indexer.logs.type=hdfs
druid.indexer.logs.directory=hdfs://mycluster:8020/druid/indexing-logs

我也试过 druid.storage.storageDirectory=hdfs://mycluster:9000/druid/

但问题是数据源似乎工作正常，日志中也没有错误/问题，但 我无法在 hdfs 上看到段。我已经等了几个小时（~appox 5 hrs）才能持久化数据。

此外，我已将 Hadoop 配置 XML（core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml）放在我的 Druid 节点的类路径中。我已将它们复制到/apache-druid-0.16.0-incubating/conf/druid/single-server/micro-quickstart/_common/

Hadoop 版本是 2.7.3，druid 版本是 0.16.0

Answer 1

我通过手动更改 mapred-site.xml 中的 hdp.version 解决了这个问题。我在 middleManager.log 中遇到了以下异常

java.lang.IllegalArgumentException: 无法将 '/hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework' 解析为 URI，请检查 mapreduce 的设置。 application.framework.path

但段元数据仍然显示请求失败，状态码为 404。

Answer 2

您是否在 Druid UI 的“Segments”标签中看到任何片段？如果是这样，您可以通过单击分段行中的放大镜图标来检查该分段在您的深度存储中的位置。

出现的窗口将在“loadSpec”->“path”字段中显示分段的元数据和该分段的路径。