我安装了 Apache Nutch 2.3.1 和 Solr 6.5.1 和 MongoDB 3.4.7。
在我抓取包含许多图像的 url 之后，在 Solr 和 mongoDB 中没有任何图像和视频。
我还更改了 apache nutch 中的 regex-urlfilter.txt 文件，并删除了与 image(.png,.jpeg,.gift,...) 相关的后缀。
之后我更改了 suffix-urlfilter.txt 文件并评论 jpeg,gif,png。
这样做之后，Apache Nutch 不会抓取图像。
现在我想知道如何抓取图像并在 Solr 中查看？
当我读到它时，我知道我应该创建插件。我的印象是否正确？
【问题讨论】：
标签： mongodb apache solr web-crawler nutch
Nutch supports several formats：纯文本、HTML/XHTML+XML、XML、MS Office 文件、Adobe PDF、RSS、RTF、MP3。不幸的是，不支持任何类型的图像文件。除此之外，我很好奇，你想在图像文件中索引什么？
【讨论】：
如果我理解您的问题，您想要完成的是从图像中提取所有元数据并仅在 Solr 中对其进行索引，对吗？
如果 Nutch 甚至没有获取您的图像，则更有可能是某些 URL 过滤器将 URL 排除在获取之外（检查日志）。您需要描述您对不同文件所做的更改，否则无法为您提供帮助。
现在，回到最初的问题，如果您只想索引图像 URL（连同元数据），那么您需要过滤索引到 Solr 中的内容。不幸的是，Nutch 2.3 不提供（开箱即用）此功能。在 Nutch 1.x 中，您可以使用 mimetype-filter，它允许您根据 URL 的 mime 类型指定要索引到 Solr/ES 中的内容。我的建议是使用 Nutch 1.x，除非你有充分的理由使用 Nutch 2.x。否则，您可以将 mimetype-filter 插件移植到 2.x 或编写您自己的支持您自己的逻辑的 IndexingFiler。
请记住，您将在 Solr 中获得的信息仅限于 tika 可以从图像文件（元数据）中提取的信息，而这些信息通常不会很好地整理。
【讨论】：
mimetype-plugin 不适用于此版本的 Nutch。因此，您可以开始使用 Nutch 1.x 或尝试将插件移植到 Nutch 2.x。