我正在设计一种记录大量数据的设计。数据的典型大小约为 1Kb-10Kb。另外，我所说的高容量是指每秒最多 10000 个数据点。所以如果我认为每小时数据的最坏情况可以记录多达 10000*10*60*60B 或 360Mb。我可以使用日志轮换，这样它就不会超过阈值。但是还有什么其他方法可以使这个数字下降得更多。我可以尝试压缩，但我应该放弃日志可读性。或者我只能为每个数据维护一个元数据。我可以尝试哪些其他技术，优缺点是什么？
【问题讨论】：
标签： java logging scalability
几年前，我们在智能手表产品上遇到过类似的问题。由于设备上的 RAM 非常低（嵌入式系统的典型情况），我们采用了以下技术：-
保存到文件系统 - 只要大小超过阈值，就将数据写入持久文件系统 - 这甚至可以根据时间完成，因为您说您有可预测的关系日志大小随时间变化
上传到云端 - 如果设备上的存储成为问题 - 您不妨考虑将日志数据发布到云端服务器
优化日志数据 - 这可能很棘手 - 尝试尽可能少地记录每个周期 - 这意味着定义一种格式以仅捕获数据点而不是文本。这意味着日志的解释也必须有一个小解析器——这是你必须考虑的权衡
示例考虑基于位置的日志：-
Lat:100.23;朗：23.87；身高：233；时间戳：1875340
这可以简化为：-
[100.23,23.87,233,1875340]
如此大的数量，这些小点将提供大量节省
一切顺利！
【讨论】：