有没有一种简单快捷的方式来生成 JavaScript？答案

【问题标题】：Is there an easy and fast way to generate JavaScript?有没有一种简单快捷的方式来生成 JavaScript？
【发布时间】：2015-05-04 13:27:51
【问题描述】：

当我尝试抓取应用商店时，我的问题就开始了，比如说 google play。每个应用程序都有很多 cmets，我想快速抓取它们。但是google中的评论部分是由java脚本生成的。这是一个链接，例如：https://play.google.com/store/apps/details?id=com.gameloft.android.ANMP.GloftAMHM 在该链接中，您可以看到为了生成更多 cmets，您需要多次单击按钮。（大约点击 5-6 次后）页面通过执行 javascript 生成更多 cmets。

起初我使用网络驱动程序（firefox）解决了这个问题，并模拟了一个真人点击按钮，它会生成cmets，他一直按住直到所有cmets都生成。

这样做的问题是：1、耗时太长。 2、有时在大量点击和JS生成后浏览器无法响应。

我需要一种以更好、更快的方式生成每个应用程序的所有 cmets 的方法。也许有某种技术，或者任何其他可以改进我的解决方案的技术，

我正在使用我在 scrapy 中创建的蜘蛛。

我们将不胜感激所有帮助

【问题讨论】：

标签： python ajax web-crawler scrapy

【解决方案1】：

他们生成/显示额外 cmets 的原因之一正是他们不希望有人抓取它们......另一个是初始页面在没有它们的情况下加载（更快），并且只有当有人开始阅读 cmets 时显示更多..

除非他们提供一个 API，您可以在其中一次拉出所有 cmets，否则我看不到另一种拉动它们的快速方法，除了模拟点击和滚动......（这样做很慢）

【讨论】：

【解决方案2】：

你尊重robots.txt吗？为什么或为什么不？

【讨论】：

如果您指的是 play.google.com/robots.txt -> Disallow: /apps，在那里的应用程序上测试此功能很容易。我现在尝试开发这个功能，不管 robots.txt （所以现在，我不解决这个问题）。