Nutch 2.2.1 & HBase - 我可以在 nutch-site.xml 中创建一个新属性吗

【问题标题】：Nutch 2.2.1 & HBase - Can I create a new property in nutch-site.xmlNutch 2.2.1 & HBase - 我可以在 nutch-site.xml 中创建一个新属性吗
【发布时间】：2015-04-22 02:35:50
【问题描述】：

我想使用 Nutch 2.2.1 开发一个主题网络机器人。我想用一些主题关键字创建一个新属性，如下所示：

<property>
    <name>html.metatitle.keys</name>
    <value>movie,actor,firm</value>
    <description>
    </description>
</property>

【问题讨论】：

你这样做的目的是什么？
我想在这个属性中使用关键字来简单过滤网页，并通过说明配置来模仿其他属性的用法。

标签： web web-crawler nutch

【解决方案1】：

有两种不同的解决方案可以解决您的问题：

实现一个自定义的HtmlParseFilter 插件来过滤页面根据您想要的关键字。有关 Nutch 的更多信息扩展点和为 Nutch 编写自定义插件看看在这些手册中：

http://wiki.apache.org/nutch/AboutPlugins

http://wiki.apache.org/nutch/WritingPluginExample
使用索引器根据所需的关键字过滤文档；但是，如果您有索引器，则可以使用此解决方案系统设计架构。在这种情况下，Apache Solr 可以帮助您用于在索引之前过滤文档。在这里你必须实施一个自定义的UpdateRequestProcessor。有关更多信息 Solr 及其扩展点看看这些页面：

https://wiki.apache.org/solr/FrontPage

https://wiki.apache.org/solr/UpdateRequestProcessor

【讨论】：