自动截断曲线以丢弃matlab中的异常值

Question

我正在生成一些数据，其图如下所示

在所有的情节中，我在开头和结尾都有一些异常值。目前我正在截断第一个和最后 10 个值。有没有更好的方法来处理这个问题？

我基本上是在尝试自动识别下面显示的两点。

Answer 1

这是一个相当普遍的问题，有很多方法，通常你会使用一些底层系统的先验知识来使其易于处理。

因此，例如，如果您希望看到上面的模式 - 快速下降、线性部分（向上或向下）和快速上升 - 您可以尝试对曲线求导并寻找较大的值和/或符号逆转。或许先对数据进行分箱会有所帮助。

如果您的模式不是那么容易定义，但您期望线性趋势，您可以使用 fit 将数据拟合到适当的曲线类别，然后将异常值检测为拟合误差超过给定阈值的那些。

在任何一种情况下，您仍然必须选择阈值 - 均值、方差和高阶矩在这里会有所帮助，但您可能必须分析现有数据（您的训练集）以凭经验确定值。

也许，毕竟，正如 Shai 指出的那样，您可能会发现删除第一个和最后十个点可以为您花费的时间带来最好的结果（参见Pareto principle）。