Apache nutch：在解析之前操作 DOM

Question

我想在页面响应传递给 nutch 之前从页面响应中删除特定元素。 具体来说，我想用 i.e. 标记我的部分页面

 <div class="noindex">I shall not be indexed</div>

并且希望在 nutch 解析之前删除它们，以便之后 NutchDocument 中不存在“我不会被索引”。我打算用这个来包围我的导航、页眉、页脚内容，因为现在，它们出现在索引中的每个文档中。

谢谢， 保罗

Answer 1

你有一些替代方法：

• 您可以为 nutch 编写一个插件来执行此操作。这个博客有一个用 nutch 做插件的好例子：http://sujitpal.blogspot.com/2009/07/nutch-custom-plugin-to-parse-and-add.html

• 使用提取器内容：这里http://tomazkovacic.com/blog/122/evaluating-text-extraction-algorithms/ 有一些算法。也许最好的方法也是在 nutch 中使用插件。