数据质量分析,是数据挖掘中数据准备过程中的重要一环,是数据预处理的前提,也是数据挖掘分析结论有效性和准确性的基础。
其主要任务是检测原始数据中是否存在脏数据,脏数据一般包括:缺失值、异常值、不一致值、重复数据及含有特殊符号的数据。
其中异常值分析时对样本中个别值的提取,也成为离群点分析。
可以采用(1)简单统计量分析(2)3б原则(正态分布)(3)箱型图分析
箱体模型数据分析
下图为对一组数据进行异常分析之前所做的数据分析-数据预处理阶段进行箱体分析,同时对于统计数据进行计算。
箱体模型数据分析
箱体模型数据分析
统计数据上分析,其他的可以作为异常数据进行分析,讨论并作进一步处理
学习参考与Python数据分析与挖掘实战.pdf

相关文章:

  • 2021-11-21
  • 2021-04-16
  • 2021-08-07
  • 2021-12-29
  • 2021-11-06
  • 2021-08-18
  • 2021-12-24
  • 2021-12-24
猜你喜欢
  • 2021-12-24
  • 2021-04-20
  • 2021-08-14
  • 2022-12-23
  • 2021-05-16
  • 2021-12-04
  • 2021-07-11
相关资源
相似解决方案