【发布时间】:2016-11-04 22:29:34
【问题描述】:
对于我的论文,我正在尝试识别数据集中的异常值。该数据集由来自真实过程环境的一个变量的 160000 次构成。然而,在这种环境中,可能存在的测量结果不是来自流程本身的实际数据,而只是垃圾数据。我想在文学的帮助下过滤掉它们,而不仅仅是“专家意见”。
现在我已经阅读了 IQR 方法,该方法可以查看在处理像正态分布这样的对称分布时是否存在可能的异常值。但是,我的数据集是正确偏斜的,并且通过分布拟合、反伽马和对数正态进行最佳拟合。
因此,在我搜索非对称分布方法的过程中,我在 crossvalidated 上发现了这个主题,其中 user603 的回答特别有趣:Is there a boxplot variant for Poisson distributed data?
在 user603 的回答中,他指出调整后的箱线图有助于识别数据集中可能的异常值,并且 R 和 Matlab 对此具有功能
(有一个 ??????R 实现 (??????????????????????????????????????????::????????? ??????????????????()robustbase::adjbox()) 以及 一个 matlab (在一个名为 ?????????????????????libra 的库中)
我想知道 Python 中是否有这样的函数。或者有没有办法用python计算medcouple(参见user603的答案中的论文)?
我真的很想看看为我的数据调整后的箱线图会产生什么。
【问题讨论】:
-
我不知道。但是,正如两个答案所暗示的那样,识别异常值实际上是与显示箱线图不同的任务。您可能只想做一些自定义统计数据和/或绘图,以找出任何对您的特定数据而言算作异常值的数据。
-
@BernBarn,感谢您的评论。也许我没有正确阅读,但只有 whubers 的回答表明这是正确的?专家意见已经有很大帮助,但我认为稍微科学的方法会很好。
-
没人知道它是否在某个地方?