标准差作为阈值背后的直觉以及原因答案

【问题标题】：Intuition behind standard deviation as a threshold and why标准差作为阈值背后的直觉以及原因
【发布时间】：2014-07-31 06:37:18
【问题描述】：

我有一组输入输出训练数据，样本很少

Input  output
[1 0 0 0 0]  [1 0 1 0 0]
[1 1 0 0 1]  [1 1 0 0 0]
[1 0 1 1 0]  [1 1 0 1 0]

等等。我需要在整个输出上应用标准偏差作为阈值。所以，我计算输出的平均标准偏差。应用是模型在呈现这些数据时应该能够学习和预测输出。我的目标函数设计中有一个条件是距离 = 模型输出与所需目标之间的欧几里德距离的 sqrt 之和，对应于输入应小于阈值。

我的问题是我应该如何证明使用阈值的合理性？有道理吗？我读了这篇文章article，它说通常以标准差作为阈值。

对于我来说，取训练数据输出的标准差是什么意思？

【问题讨论】：

【解决方案1】：

标准偏差（或方差）背后没有直觉/哲学，统计学家喜欢这些度量纯粹是因为它们在数学上很容易使用，因为它们具有各种良好的属性。见https://math.stackexchange.com/questions/875034/does-expected-absolute-deviation-or-expected-absolute-deviation-range-exist

还有很多其他方法可以执行各种形式的异常值检测、信念修正等，但使用它们在数学上可能更具挑战性。

【讨论】：

【解决方案2】：

我不确定这个想法是否适用。您正在查看单变量值的标准差定义，但您的输出是多变量的。有多元类似物，但不清楚为什么需要在这里应用它。

听起来您正在最小化输出和已知正确输出之间的平方误差或欧几里得距离。这很好，让我觉得你在预测这里显示的多元输出。那么阈值在做什么呢？输入小于从什么衡量什么？

【讨论】：

我只会得到整个数据集的一个标准差。每个输出向量包含 5 个元素，我将为整个输出向量的每个元素得到 5 个 Std。我会说他们。如果距离(TargetOutput, SystemOutput) $