为什么不飞溅渲染此页面？

Question

我正在尝试使用 Scrapy 从使用 Javascript 的时尚网站上抓取数据 这是页面：https://www.thekooples.com/us_en/women/ready-to-wear/dresses.html

我有 docker，并按照 splash docs 上的说明在 localhost:8050 上设置 splash。

我能够正确渲染https://quotes.toscrape.com/js/。

据我了解，那是一个 js 页面，我禁用了 js，当我这样做时它看起来确实有所不同。

但是，我未能成功渲染时尚网页。这是我得到的：

其实没有js的页面是这样的，所以我知道是不成功的。会发生什么？

Answer 1

您可以尝试以下两件事：

1. 增加延迟。您还可以在启动服务器的主页中找到一个示例脚本，您可以在其中等待特定元素出现。
2. 您可以下载并打印 HAR 并查看是否有任何请求失败。如果失败，那么您可能需要在启动请求中添加一些用户代理。