Hadoop 与文档捕获软件的集成

Question

我们需要将文档从我们的图像捕获软件发送到 Hadoop (Hortonworks)：图像捕获软件版本 PDF 文档以及元数据。 我对HDP没有太多了解。是否有任何 REST 服务或任何工具可以通过向 Documents 提供元数据来将文档添加到 Hadoop。

请帮忙

Answer 1

Hadoop HDFS 同时具有 WebHDFS 和 NFSGateway

但是，如果您可以更好地控制数据的到达方式，通常建议不要将原始数据立即存储到 HDFS 上。这样，您可以更好地控制审计数据写入的位置和方式。

例如，您可以使用 Apache Nifi 处理器来启动 ListenHTTP 处理器、读取文档数据、解析、过滤和丰富，然后您可以选择写入 HDFS 或许多其他目的地。