应用程序如何收集统计信息？

Question

我需要从我用 python 编写的服务器应用程序中收集统计信息。我正在寻找一些关于如何设置模型以及如何存储统计信息的一般指导。我正在考虑在数据库中存储和组织所有这些信息，但我的实现变得过于具体。

我需要随着时间的推移收集活跃用户、已处理请求等统计数据。

是否有任何指南或技术可以创建一些更通用的统计存储系统？

Answer 1

与大多数软件解决方案一样，我推荐的任何一种解决方案都无法解决您的问题。但是我已经创建了一些类似的程序，下面是一些我发现效果很好的东西。

• 创建异步日志记录服务，这样日志记录不会对您的代码性能产生不利影响。 （您需要注意存储数据的位置、处理数据的位置等，因为如果您不小心，仍然会显着降低性能。）我发现创建 Web 服务通常很方便。李>
• 尝试并尽可能多地保存有关请求的信息。将来，这将使添加新查询和报告变得更加容易。
  • Normalize你的数据
  • 始终包括执行操作的时间。如果您可以捕获它通常也有用的运行时间。

Answer 2

一种方法是分阶段执行此操作：将活动日志（包括请求和用户）存储为文本文件。稍后，将日志挖掘成数据点（python 应该能够轻松做到这一点）。您可能希望将logging library for python 用于日志记录阶段。一般来说，从高时间分辨率日志记录开始，您可以稍后将其汇总为每小时、每天、每周摘要等。