【问题标题】:How would I figure out all the URL's generated by specific toggle boxes on a website?我如何找出网站上特定切换框生成的所有 URL?
【发布时间】:2018-10-29 23:35:45
【问题描述】:

我正在开展一个项目,该项目检查某个服装网站上的更新,您可以在其中按上衣、下装、鞋子等以及尺码等内容进行过滤。

我正计划解析页面的 html 以检查更新,但我想知道是否有任何方法可以检查特定过滤参数组合的 url。

这里是网站:https://www.grailed.com/

例如,如果我想检查过滤器的“all tops”和“size XL”的 url 是什么,我该怎么做?

更喜欢使用 java 或 python 实现或技术,因为这就是我所熟悉的。

【问题讨论】:

    标签: java python html web-crawler


    【解决方案1】:

    使用fiddler工具分析http/https数据,发现www.grailed.com使用搜索api获取用户搜索结果。

    从分析你需要模拟浏览器发送POST请求到搜索api URL,在请求中需要更改X-CSRF-TokenCookierequest content参数。您提到您要过滤sizeall tops 复选框,因此您需要更改“filters” 参数的内容,更多信息,请多试几次,发现不同。

    希望你完成它。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-03-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多