如何使用 AbotX Javascriptrendering 在网页上覆盖和执行操作

Question

我正在尝试使用 AbotX crawler 来抓取需要呈现 javascript 并在其上按 span 标签的网站。

我经常使用 Abot 爬虫，并且预计必须覆盖一些类，就像我在以前的场合不得不扩展 CrawlDecisionMaker 一样。

但我似乎无法找到从哪里开始，我希望我必须写一些类似的东西：

var implemnts = new ImplementationOverride(config);
implemnts.JavascriptRenderer = new PhantomJsRendererTest(config);

并扩展 PhantomJsRenderer 以使其能够单击呈现页面上的按钮。

但是由于我看不到现有课程的作用或找不到任何关于从哪里开始的信息，所以我完全迷失了。

我想标记帖子 Abot 和 AbotX，但我没有所需的声誉。

Answer 1

AbotX（IsJavascriptRenderingEnabled = true）将检索页面源并执行所有 javascript 以获得最终页面呈现。最终呈现包括所有内容 (html/css)，甚至包括使用 javascript 添加/修改的内容。它不允许您进一步执行 javascript。

如果您需要进一步与页面交互，那么您可能不需要网络爬虫。你需要使用像PhantomJs 或Selenium 这样的浏览器自动化框架。这些是无头浏览器，可让您像在浏览器中一样与页面进行交互。