抓取需要触发 javascript 的外部网站

Question

由于phantomjs被废弃了，想知道有没有替代方法。例如chrome-webdriver 不是一个好的解决方案，因为它无法在 heroku 等远程主机上运行。

那么，是否有可能以某种方式抓取需要首先触发 javascript 的外部网站？请注意，应该可以从 nodejs 应用程序运行它。

Answer 1

我正准备为你整理一些东西，然后我想得更好，然后用谷歌搜索了它。查看此构建脚本；它似乎准确地回答了你的问题。

https://github.com/stomita/heroku-buildpack-phantomjs

设置一个 git 分支并在必要时将其拉到本地，但这应该可以。基本上，您需要下载二进制文件，然后远程运行并运行“heroku run 'phantomjs'”或“heroku run 'bin/phantomjs'”