使用 SQL 查询识别趋势答案

【问题标题】：Identifying trend with SQL query使用 SQL 查询识别趋势
【发布时间】：2021-03-23 07:36:47
【问题描述】：

我有一个表（我们称之为数据），其中包含一组对象 ID、数值和日期。我想确定在过去 X 分钟（例如一小时）内其值具有正趋势的对象。

示例数据：

entity_id | value | date

1234      | 15    | 2014-01-02 11:30:00

5689      | 21    | 2014-01-02 11:31:00

1234      | 16    | 2014-01-02 11:31:00

我尝试查看类似的问题，但不幸的是没有找到任何帮助...

【问题讨论】：

我假设你所说的积极趋势是指过去一小时谁的价值增加了？
是的，没错。这基本上是从各种传感器收集的温度数据，我正在尝试检测温度稳定上升的传感器......
另外，简单地查看第一个值和最后一个值之间的差异是否是一个合适的解决方案？或者你想随着时间的推移做某种回归？因为前者是可以实现的，后者可能不是......
你可以使用 LAG 功能

标签： sql trend

【解决方案1】：

您启发了我在 SQL Server 中实现线性回归。这可以针对 MySQL/Oracle/Whatever 进行修改，而不会有太多麻烦。这是确定每个 entity_id 一个小时内趋势的最佳数学方法，它只会选择具有积极趋势的那些。

它实现了此处列出的计算 B1hat 的公式：https://en.wikipedia.org/wiki/Regression_analysis#Linear_regression

create table #temp
(
    entity_id int,
    value int,
    [date] datetime
)

insert into #temp (entity_id, value, [date])
values
(1,10,'20140102 07:00:00 AM'),
(1,20,'20140102 07:15:00 AM'),
(1,30,'20140102 07:30:00 AM'),
(2,50,'20140102 07:00:00 AM'),
(2,20,'20140102 07:47:00 AM'),
(3,40,'20140102 07:00:00 AM'),
(3,40,'20140102 07:52:00 AM')

select entity_id, 1.0*sum((x-xbar)*(y-ybar))/sum((x-xbar)*(x-xbar)) as Beta
from
(
    select entity_id,
        avg(value) over(partition by entity_id) as ybar,
        value as y,
        avg(datediff(second,'20140102 07:00:00 AM',[date])) over(partition by entity_id) as xbar,
        datediff(second,'20140102 07:00:00 AM',[date]) as x
    from #temp
    where [date]>='20140102 07:00:00 AM' and [date]<'20140102 08:00:00 AM'
) as Calcs
group by entity_id
having 1.0*sum((x-xbar)*(y-ybar))/sum((x-xbar)*(x-xbar))>0

【讨论】：

您可能已经猜到了，这也允许您对结果集中的 Beta 列进行排序，以找到温度升高趋势最强的实体。如果你喜欢这种事情。
很好奇，Beta 实际上与这里相关的是什么（例如速度、加速度）？它可以映射到温度和时间之间的特定关系吗？
Beta 是与 1 个单位的时间变化（在本例中为 1 秒）相关的值变化的线性最佳估计...
所以我在mysql中重新实现了这个，我想知道这是否是实现视频播放“最后一小时的趋势内容”的好方法。我有完全相同的数据结构，其中 value 是视频在那一分钟的播放次数。

【解决方案2】：

如果有人在 Mysql 中需要这个，这是适合我的代码。

datapoint | plays | status_time 

1234      | 15    | 2014-01-02 11:30:00

5689      | 21    | 2014-01-02 11:31:00

1234      | 16    | 2014-01-02 11:31:00

select datapoint, 1.0*sum((x-xbar)*(y-ybar))/sum((x-xbar)*(x-xbar)) as Beta
from
(
     select datapoint,
        avg(plays) over(partition by datapoint) as ybar,
        plays as y,
        avg(TIME_TO_SEC(TIMEDIFF('2021-03-22 21:00:00', status_time))) over(partition by datapoint) as xbar,
        TIME_TO_SEC(TIMEDIFF('2021-03-22 21:00:00', status_time)) as x
    from aggregate_datapoints
    where status_time BETWEEN'2021-03-22 21:00:00' and '2021-03-22 22:00:00'
and type = 'topContent') as calcs
group by datapoint
having 1.0*sum((x-xbar)*(y-ybar))/sum((x-xbar)*(x-xbar))>0

【讨论】：