scrapy中的飞溅问题答案

【问题标题】：splash issue in scrapyscrapy中的飞溅问题
【发布时间】：2015-11-04 17:10:10
【问题描述】：

大家好，我看到很多关于此的问题。我知道javascript动态页面将使用scrapyjs或webdriver（如selenium或phantomjs）呈现。 webdriverkit 有点慢。我希望有人指导我link

查看交易按钮之前的价格信息。我不知道哪个js正在执行这个使用splash，scrapyjs有人可以帮我这个链接。

提前致谢。

编辑

根据 andres 的回复，我重新创建了 XHR 请求。当我们在浏览器窗口中输入 XHR 请求 url 时，因为它是一个 GET 方法，如果第一次点击我得到部分 json 输出。如果我们下次点击重新加载，它会加载更多看起来很奇怪的数据。任何人都可以帮助我。提前致谢

【问题讨论】：

【解决方案1】：

当您请求此网址时：

向以下人员发出 XHR 请求：

在哪里可以找到这些值（JSON 格式）：

这里展示了哪些：

所以我认为你不需要任何 ScrapyJS 或 PhantomJS 来抓取这些信息。只需了解它从哪里获取信息并直接抓取端点。

【讨论】：

非常感谢您的回复，它更有帮助。我将使用 scrapy 表单请求重新创建 xhr 请求。但在 chrome 开发人员工具中，我没有找到任何 XHR 请求。你能告诉我如何在执行时得到这个，以便我可以将请求与其他酒店进行比较。再次感谢您。
@Sabeena 很高兴知道我的回答对您有所帮助！如果此答案符合您的期望，请单击复选标记将其设置为您问题的答案。这是我的荣幸。
嗨安德烈斯，非常感谢您的帮助。昨天我真的陷入了困境。我错误地取消了网络选项卡开发工具中的保留登录，这就是我没有看到 XHR 请求的原因。一旦你确认我检查并发现了这个。非常感谢您的帮助和支持。
嗨，andres，很抱歉再次给您带来困扰。我在输入酒店名称后单击时注意到我们点击搜索以下 XHR 执行请求 URL：ar.trivago.com/search/…
上述 xhr 的开发者工具响应很大，似乎不错。但是通过scrapy我已经复制了上述请求。得到的响应少了一点，而且数据丢失了。