从时间序列数据实时异常检测

Question

从时间序列数据中检测异常时我遇到了一些问题。

我使用LSTM模型预测下一次的值为y_pred，下一次数据的真实值为y_real，所以我有er = |y_pred - y_t| ，我使用 er 与 threshold = alpha * std 进行比较，得到异常数据点。但有时，我们的数据会受到管理员或用户的影响，例如周日的游戏玩家人数会高于周一。

那么，我应该使用其他模型对异常数据点进行分类还是使用“If else”对其进行分类？

Answer 1

我认为您使用的是批处理模型（您没有使用任何实时处理框架和工具），因此在制作模型或分类时应该没有任何问题。在您制作模型后一段时间可能会出现问题，因此在此之后您的预测模型无效。 我建议一些方法可以解决这个问题： 使用实时或近实时处理（如 apache spark、flink、storm 等）。 如果发生任何更改，请使用某些条件定期检查您的数据是否有任何更改，再次运行您的模型。 删除您认为可能导致问题的实例（可能更改的数据本身称为异常），但在确保数据不那么重要之前。 改变你的算法并使用对变化不太敏感的算法。