【发布时间】:2016-07-30 05:25:36
【问题描述】:
问题
由于磁盘空间不足,我有一个应用程序可以抓取数据并将其直接呈现给用户。
此数据非常不稳定,可能会在几分钟内发生变化。很像股市。
由于数据变化如此频繁,而且因用户而异,因此将其保存在数据库中是没有用的。
问题
我需要对呈现给用户的数据进行排序、比较、链接等。数据库提供了很多功能。但是由于上述问题,我无法将其保存在所述数据库中,我该怎么办?
到目前为止我的想法
我曾尝试仅使用 PHP 组织呈现给每个用户的数据,但似乎很麻烦、脆弱且效率低下。
我应该只在 MySQL 中创建某种虚拟表系统来处理数据吗?也许为此目的使用一个好的数据库引擎?
也许我可以保存每个用户的所有数据,但让一个 cron 作业以恒定的方式删除数据库中的旧数据?好像很麻烦。
答案
我想从遇到类似问题的人那里获得一些实施想法。我不关心“尝试以上所有方法,看看什么更快”类型的答案。
感谢大家的帮助。
【问题讨论】:
-
所有发布的都是程序描述。但是,我们需要您ask a question。我们无法确定您想从我们这里得到什么。请edit您的帖子包含一个我们可以回答的有效问题。提醒:请确保您知道what is on-topic here,因为要求我们为您编写程序并且建议是题外话。
-
当你抓取它时,你应该按照你希望它开始的方式格式化它......
标签: php mysql web-scraping