【问题标题】:How to make php pages load faster when fetching bulk of information?获取大量信息时如何使 php 页面加载更快?
【发布时间】:2012-08-10 13:32:46
【问题描述】:

基本上,我正在构建一个网站,该网站进行网络抓取并从大约 8 个不同的网站获取特定网页以提取价格。我广泛使用PHP Simple HTML DOM Parserfile_get_html() 函数将页面源提取到字符串变量中并从中提取价格信息。

现在的主要问题是显示来自所有不同网站的价格信息的页面需要很长时间才能加载。

所以我的问题是

  1. 如何使页面加载更快。 &
  2. 如何分步加载页面,以便加载已获取的信息以及随后加载其他信息,如谷歌图片搜索。

【问题讨论】:

  • 您确实应该将价格和所有信息存储在某个地方(我会使用数据库)以避免一直获取相同的网页。信息一天不会变 1000 次?

标签: php domparser


【解决方案1】:

不要在页面加载时获取数据,而是在后台作业(cronjob?)中进行并将其保存在数据库中。

因此您只需从数据库中检索数据。此外,您可以在检索到数据时添加带有时间戳的文本和/或让用户能够手动更新(获取)数据。

【讨论】:

    【解决方案2】:

    好吧,首先你们可以使用 cURL 代替 file_get_html(),它很容易且非常可配置 + 它比使用简单的 html dom 函数更快。显然,之后您必须使用简单的 html dom 函数 str_get_html() 将字符串转换为 dom 对象。

    【讨论】:

    • cURL 与 DOM 解析器有什么关系?
    • 他在使用 file_get_html 函数解析之前从网站获取数据,这使我们使用了 file_get_contents 并且该函数很慢。
    猜你喜欢
    • 2011-04-26
    • 2021-03-10
    • 1970-01-01
    • 2015-05-05
    • 1970-01-01
    • 2011-11-05
    • 2018-03-05
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多