【发布时间】:2014-03-12 09:51:59
【问题描述】:
我希望从各种网站上抓取一些元素,这些元素都会返回图像和描述。然后,扩展程序的用户将选择他们感兴趣的网站,并从这些网站中选择的图像和描述将以砖石格式显示在他们的新标签页上。
问题是这些数据经常更新,可能一天更新几次,元素出现又消失。
在我看来,我有两个选择:
每次用户通过 AJAX 请求打开新标签页时都会抓取数据,但我预计这会非常慢。
定期抓取数据,将其存储在 mySQL 数据库中并从那里获取。
这些是最好的选择,还是我应该考虑其他一些事情?也许有一种方法可以在后台执行此操作,以便用户打开新选项卡时不会延迟?
如果我不清楚,请告诉我。
【问题讨论】:
标签: javascript php mysql google-chrome-extension web-scraping