使用机器学习检测损坏的传感器答案

【问题标题】：Detecting broken sensors with machine learning使用机器学习检测损坏的传感器
【发布时间】：2018-08-25 17:31:52
【问题描述】：

我是机器学习的新手。

我有一个庞大的气象站传感器数据数据库。这些传感器可能损坏或具有奇数值。损坏的传感器会影响使用该数据进行的计算。

目标是使用机器学习来检测新传感器值是否为奇数，如果是则将其标记为损坏。如前所述，我是 ML 新手。有人可以将我推向正确的方向或对我的方法提供反馈吗？

数据有一个日期时间和一个值。传感器值每小时推送一次。

感谢任何形式的帮助！

【问题讨论】：

【解决方案1】：

由于这个问题本质上很笼统，我将提供一些基本的想法。也许你已经对它们稍微熟悉了。

这里有一些关于基础知识的有用见解：

祝你好运！

【讨论】：

感谢您的意见。关于哪种模型最适合这种情况的任何想法？
说实话，目前还没有办法说。但是由于拟合、实例化和预测对于几个模型都一样，所以切换起来很容易。我会尝试支持向量机、随机森林和逻辑回归。如果我的回答有帮助，请接受。谢谢！
非常感谢我的朋友！

【解决方案2】：

您可以使用隔离森林来检测异常读数。 Twitter 开发了一种称为 ESD（Extreme Studentized Deviate）的算法也很有用。 https://github.com/twitter/AnomalyDetection/

但是，需要良好的 EDA（探索性数据分析）来定义由于传感器故障而在读数中发现的异常类型。

1) 阶梯式趋势，数值突然增加，同时保持增加或减少

2) 与其他传感器相比，值逐渐增加，突然增加非常高

3) 数据中的间歇性峰值

【讨论】：