减少/简化时间序列数据答案

【问题标题】：Reducing/Simplifying time-series data减少/简化时间序列数据
【发布时间】：2012-05-24 22:21:46
【问题描述】：

我有想要简化的时间序列数据（减少点数，同时让图形保持相同的形状）。例如，如果我有这个数据集：

Time: 1, Value: 5
Time: 6, Value: 5
Time: 11, Value: 5.1
Time: 12, Value: 5
Time: 20, Value: 5.2
Time: 22, Value: 6
Time: 23, Value: 10

容差为 0.5 的简化版本类似于：

Time: 1, Value: 5
Time: 20, Value: 5.2
Time: 22, Value: 6
Time: 23, Value: 10

我知道用于 GIS 数据的 Douglas–Peucker 算法，但我不确定如何将其应用于时间序列数据，因为轴具有不同的单位。如果我能在数据库中完成这一切，那就太棒了。

【问题讨论】：

这不是同一个形状，是吗？例如，如果它是一个方波1,0 2,0 3,0 4,0 5,0 6,10，而您将其更改为1,0 6,10，您将制作一个斜率；您需要使两个端点保持恒定的斜率。
@Phrogz 是的，但如果你有 1,0 5,0 6,10 它会是相同的形状。理想情况下会有一点宽容，这就是我在上面的示例中过滤掉 3、5.1 的原因。

标签： ruby-on-rails ruby performance postgresql graph-theory

【解决方案1】：

我不知道有一个内置函数。这个查询可能会完成这项工作：

WITH x AS (
    SELECT t, val
          ,@(lead(val) OVER w - val) AS delta1
          ,@(lag(val)  OVER w - val) AS delta2
    FROM   tbl
    WINDOW w AS (ORDER BY t)
    ORDER  BY t
    )
SELECT t, val
FROM   x
WHERE  delta1 > 0.2
   OR  delta2 > 0.2
   OR  delta1 IS NULL
   OR  delta2 IS NULL;

我在 CTE 中使用 window functions lead() and lag() 和 absolute value operator @ 来计算增量（应该是最快的）。

仅保留至少一个增量大于0.2（与您的示例匹配的任意阈值）的行。

第一行和最后一行是delta1 或delta2 为NULL 的特殊情况（没有前导/滞后行）。我们希望在任何情况下都包含这些行，所以我在最后的 SELECT 中添加了 NULL 检查。

产生您要求的结果。

另一个专注于方向变化的变体：

WITH x AS (
    SELECT t, val
          ,@(lead(val) OVER w + lag(val) OVER w - 2*val) AS deviate
    FROM   tbl
    WINDOW w AS (ORDER BY t)
    ORDER  BY t
    )
SELECT t, val, deviate
FROM   x
WHERE  deviate > 0.2
   OR  deviate IS NULL;

这应该更紧密地保留形状。此示例保留行 Time: 12, Value: 5 并避免您在评论中描述的效果。（您在问题中的示例并未指向这个方向。）

【讨论】：

这与我需要的非常接近。唯一的问题是，如果我的公差为 0.5，它会返回 1,5 20,6 23,10，这会改变图形的形状......要保持形状，它应该返回 1,5 20,5.2 22， 6, 23,10。从视觉上看，如果您要绘制图表，则这些之间的区别是第一种方法将朝着第二个点呈稳定上升趋势，在第二种方法中，该线将相对平坦，然后突然向上跳到更接近原始数据的第三个点.
@Mike：您的示例似乎侧重于绝对值。我添加了一个变体，重点是方向的变化。

【解决方案2】：

Ramer Douglas Peucker 可以在这里工作 - 单位应该是个问题。

【讨论】：