如何从 j2ee 中的 rss 提要获取新闻完整内容

Question

我正在开发一个网站，该网站应该获取其他网站的新闻内容，例如this。但不会重定向到主机阅读新闻内容。

现在的问题是我不知道什么是完全获取内容的最佳方式。我知道我可以为每个站点使用 RSS 提要，但它只有每个新闻的简短描述，而不是整个故事。我还阅读了 SO 中的相关问题，如下所示： How to get the full content from the rss feed in javascript How to extract the full content from a partial content rss 但他们都没有解决我的问题。

现在我想问如果有必要直接访问它们，从不同站点获取全部新闻内容的最佳方式是什么？ 对不起，因为英语不好，如果我的问题不够清楚，我可以解释得更清楚 提前致谢

Answer 1

您可以使用像boilerpipe 这样的网络抓取库从新闻站点中提取内容，但抓取很容易中断（例如，如果目标站点更改布局）并且可能有legal issues 从其他站点提取完整内容并显示在你的。

编辑：我试过boilerpipe api demo，图书馆似乎非常擅长从网页中提取文章。