【问题标题】:Mean/Std calculation of data-set logging change of value only仅数据集记录值变化的平均值/标准计算
【发布时间】:2018-03-23 15:59:41
【问题描述】:

我希望计算仅在值发生变化时记录的时间序列数据集的平均值和标准差。

时间序列的间隔为 1 秒,如果在更改之间生成每个缺失值,则存在数据集膨胀的风险。

数据集类型示例:[Epoch, Value]

[[152345235, 3], [152345335, 12], [152345835, 8]]

我们正在使用 python 来清理和聚合数据。稀疏矩阵是不够的,因为它基于忽略不存在的 0 值。研究表明,没有任何东西可以轻易解决这个问题。

我的问题是,有没有人遇到过类似的问题,如果有,使用了什么技术来解决。

【问题讨论】:

  • mean 只是 sum() / n 你应该知道 n 是什么。 std 有点难,但同样的基本方法也可以。你只需要 (0-mean) * (n-x) 其中 x 是非零的数量。

标签: python pandas numpy dataset aggregate


【解决方案1】:

我将按epoch 对列表进行排序,然后将每个列表的value 乘以epochs 之间的差值。您不需要以这种方式存储额外的数据,但您可以很容易地求解均值。

【讨论】:

    猜你喜欢
    • 2021-04-08
    • 2023-02-08
    • 2014-03-21
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-08-20
    相关资源
    最近更新 更多