使用 Java 以编程方式读取动态创建的 RSS 提要答案

【问题标题】：Programmatically reading a dynamically created RSS feed using Java使用 Java 以编程方式读取动态创建的 RSS 提要
【发布时间】：2013-11-19 09:14:40
【问题描述】：

我们的软件是使用 Play!框架（版本 1.2.5），我们需要阅读 RSS 提要。到目前为止，这还不是问题，但我们最近遇到了一个 RSS 提要，它是在 onload 事件中使用 javascript 动态创建的。

我们目前使用的代码如下：

URL url = new URL(this.url);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();

conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36");     
conn.setRequestProperty("Accept-Language", "en-US,en;q=0.8");   
conn.setRequestProperty("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");            
conn.setRequestMethod("GET");

InputStream inputStream = conn.getInputStream();
InputStreamReader inputStreamReader = new InputStreamReader(inputStream, "UTF-8");
BufferedReader rd = new BufferedReader(inputStreamReader);
String line;

while ((line = rd.readLine()) != null)
{
    result += line;
}

但是，对于动态创建的 RSS，这还不够，因为我们得到的只是一个 HTML 页面，说明必须打开 javascript。

我在想我们需要某种嵌入式网页，但这看起来就像用大锤敲碎了坚果。

有其他选择吗？

编辑：在浏览 RSS 提要时关闭 javascript 后，仍然以 XML 格式返回提要数据，这使我有些困惑。有人建议某些 RSS 提要使用 javascript 来使用 XSLT 翻译其提要，但我从请求中得到的响应是：

“此站点需要启用 JavaScript 和 Cookie。请更改您的浏览器设置或升级您的浏览器。”所以我不太确定为什么会发生这种情况

【问题讨论】：

标签： java rss playframework-1.x

【解决方案1】：

要抓取 Javascript 生成的内容，我认为您必须使用 Javascript 引擎来呈现 HTML 内容。

您可以使用 HTMLUnit 之类的东西，这是一个轻量级的纯 Java 无头浏览器。 HTMLUnit 的唯一问题是它使用了一个相对较旧的 JavaScript 引擎。

过去我曾使用 PhantomJS 和 Selenium WebDriver 来抓取 JavaScript 生成的网页。

【讨论】：