【问题标题】:A web page that aggregates the results of a search on different sites聚合不同站点上的搜索结果的网页
【发布时间】:2018-02-20 23:02:02
【问题描述】:

我的妻子经营一家小书店。每天她都被顾客要一本书,每次她都要检查书店里是否有书。如果没有,她会查看她的供应商的网站并检查哪些网站有这本书。她必须打开各种网页(每个供应商一个)并为每个站点执行一些步骤才能获得答案。

如果她有一个单独的页面,她可以在每个网站上启动搜索,那就太好了。

我想最简单的想法是写一个本地的html页面,可以在一些框架中切片,每个供应商网站一个,然后每个框架包含一个供应商的网页。

无论如何我可以玩得更开心,我可以为每个网站编写一个小爬虫(没有 API),然后在运行搜索时运行多个爬虫,一旦收到结果,它们以这种方式动态显示在表格中:

SUPPLIER#1 - ISBN - TITLE - AUTHOR - PRICE - AVAILABLE PCS
SUPPLIER#2 - ISBN - TITLE - AUTHOR - PRICE - AVAILABLE PCS
SUPPLIER#1 - ISBN - TITLE - AUTHOR - PRICE - AVAILABLE PCS

因此,她可以在几秒钟内对情况有一个清晰而简洁的表述,并且她能够做出正确的选择并让她的客户更快乐:-)

我也想找点乐子,尝试学习一些新东西。基于可用的网络技术,什么是最先进的结构可以实现我的目标?

【问题讨论】:

标签: javascript node.js search dynamic


【解决方案1】:

您可以托管一个服务器,该服务器将实时抓取已配置供应商的网站并将结果流式传输回您妻子的浏览器。 您可以在服务器端探索 NodeJs,在客户端探索 React/redux 或 VueJs。

在技术方面没有什么尖端的,但应该很有趣。 我建议你阅读这篇文章:Streaming Json Jsons

【讨论】:

  • 感谢您的回复。我无法实时抓取它们:我需要进行关键字搜索,然后得到结果。它可能是这样的: - 网页开始同时加载四个网页(每个供应商一个),带有特定关键字(如何?) - 接收到的页面由 python/beautifulsoup 抓取,并注入 json 格式的输出回到使用 VueJs 合并和显示它们的 javascript 程序。 (如何建立这种联系)对不起我的基本问题;也许他们也放错了方式。
猜你喜欢
  • 1970-01-01
  • 2017-08-23
  • 1970-01-01
  • 1970-01-01
  • 2020-02-03
  • 2021-03-08
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多