抓取返回生成 html 节点的 javascript 文件的 ajax 页面

Question

有些页面不会在 ajax 上返回原始数据（如 json 或 xml 或 html）。相反，他们使用像 dojo 这样的框架，其中 ajax 调用返回 js 文件，这些文件以某种方式填充 html 节点。

我想知道是否有非 Selenium 策略可以从这些页面中抓取数据。

Answer 1

除了基于selenium 或webkit 的方法之外，您还可以使用javascript 代码解析器解析javascript，例如slimit。它肯定会提高网络抓取的复杂性和可靠性，因为你可以使用它来使用裸机 - 将其视为一种“白盒”方法，而不是基于 selenium 的高级“黑盒”方法。

这是我针对您所询问的完全相同的主题/问题给出的答案：

• Having trouble accessing xpath attribute with scrapy

它涉及使用slimit从javascript代码中抓取一个对象，通过json模块将其加载到python数据结构中，并使用BeautifulSoup解析器解析其中的HTML。