大量数据的第三方数据交付答案

【问题标题】：Third party data delivery of lots of data大量数据的第三方数据交付
【发布时间】：2010-09-15 08:12:39
【问题描述】：

有谁知道拥有大量数据实时馈送的网站是如何工作的？我指的是股票网站之类的东西，他们可以在其中实时告诉您（嗯，主要是20分钟的延迟，但仍然是实时的-据我所知是20分钟）。

他们每秒有数千个数据片段交付给他们，我想：MSFT 25.00 +.23 VOL 12000 ????对于在某个时间间隔内发生变化的每只股票。

那么，是否只是持续不断地进行小推送？还是您认为网站会从拥有真实数据的地方拉出并说“给我从 CST 12:23:45 到现在的所有更改”类型查询？

我之所以问这个问题是因为在工作中我们可能会遇到这样的情况，即我们需要在应用程序的指尖获取这样的实时信息，而每秒一遍又一遍地访问我们的第三方提供商是没有意义的...

【问题讨论】：

标签： real-time

【解决方案1】：

通常在两方之间定义一个服务器/客户端协议。在我为之工作的公司里，这种联系一直保持着。

这是与您的股票示例相关的实时数据馈送信息

数据提供者通常也拥有包含（延迟）批处理数据的 FTP 站点。想到的一个是NWS EMWIN

【讨论】：

【解决方案2】：

像Twitter 这样的网站通过XMPP (Wiki link) 将数据实时馈送到某些已批准的网站。

【讨论】：

【解决方案3】：

从广义上讲，推送模型将是实现“实时”传输的最佳方式，尤其是在涉及大量数据的情况下。

但是，在使用纯推送模型来从丢失的数据中恢复时，您总是会遇到问题。

取决于您的数据的性质，这可能不是问题（将视频传输视为模拟，其中数据量很大，但有足够的冗余可以从丢失的数据中恢复）。如果您对数据有任何控制权，则可以在其中构建一些冗余。例如，在每个更改事件上，您都可以提供绝对值而不是更改，或者之前的值和新的值。

【讨论】：

【解决方案4】：

我已经尝试从源中检索股票报价，并在主源失败或超时时回退到报价的带时间戳的磁盘缓存。

【讨论】：