如何使用 Solr 将文件发送到 HDFS答案

【问题标题】：How to send files to HDFS using Solr如何使用 Solr 将文件发送到 HDFS
【发布时间】：2015-07-07 06:56:50
【问题描述】：

我正在尝试索引文件并将这些文件保存在 HDFS 上。

我正在使用 Solr 4.10.4 和 Hadoop 2.6.0。

我用于集成 HDFS 和 Solr 的命令是；

java -Dsolr.directoryFactory=HdfsDirectoryFactory -Dsolr.lock.type=hdfs -Dsolr.data.dir=hdfs://<hostname>:<port>/Solr -Dsolr.updatelog=hdfs://<hostname>:<port>/Solr-logs -jar start.jar

当我尝试使用发送一些文件时

java -jar post.jar <file-path>

命令，Solr 给出警告并且不发送到 hdfs。它只接受带有特定字段的 xml 格式。

如何使用 Solr 将任何类型的文件发送到 HDFS 索引并使用 Solr 搜索这些文件。

注意：我是 Solr 和 Hadoop 的初学者。

【问题讨论】：

标签： hadoop indexing solr hdfs

【解决方案1】：

如果要索引其他文件格式，您可以指定文档类型，如下所示

java -Dtype=text/csv -jar post.jar *.csv

默认情况下，下面的命令会处理 Apache Tika 可以处理的所有可能的文件类型

java -Dauto -jar post.jar *.*

【讨论】：