【问题标题】:how price comparison websites works? and how to get data?价格比较网站如何运作?以及如何获取数据?
【发布时间】:2023-03-03 19:54:01
【问题描述】:

所以我想到了这个项目,
价格比较器适用于我国的汽车租赁公司!
我现在面临的问题大多数企业没有在线租赁服务或我可以从中提取数据的 API,我想做一些类似 carrentals.com 的事情,搜索位置和租赁日期以及还车日期并搜索可供租用的汽车。

现在我的主要问题是我不知道如何获取数据,我需要去我所在城市的每个租赁服务机构获取他们的数据还是我可以做其他事情!?

【问题讨论】:

  • 搜索web scraping
  • 租车公司没有提供可用汽车和价格的网站来抓取他们的数据
  • 如果没有网站或社交媒体页面,则无法自动更新这些价格,您必须手动进行。
  • @Jerodev我想过我会给公司一个电子表格来填充数据,然后将它们上传到我的数据库吗?
  • 那么您将不得不像杂货店那样进行价格间谍活动。他们付给某人一大笔钱来参观商店并登记价格。你当然可以自己核对价格,但根据你的预算,这样的服务可能比浪费你自己的时间更值得^^

标签: php laravel comparator analysis price


【解决方案1】:

您可以考虑您所在城市的前 5 个网站,并为它们创建一个网络爬虫。它基本上是从他们的网站上抓取数据。这就是我会做的。

每个网站有时都会更改其设计,因此您必须根据其设计来满足您的网络爬虫的需求。我曾经有过类似的任务,必须为最常用的网站创建一个网络爬虫,以获取他们的产品、类似产品、品牌和价格。希望我有所帮助。

【讨论】:

  • 我已经想到了这个解决方案,但是在我的国家,汽车租赁公司没有提供可用汽车的网站!或 API
  • @Yoelji 他们很可能会有 facebook 或 twitter 页面,对吧?您可以轻松了解 facebook graph explorer api,可以轻松读取页面数据并从中得出平均价格。
  • Compare the Market 和 Money Supermarket 这样的网站是这样工作的,还是他们为每个客户请求调用外部 API? +1。