非结构化数据的数据挖掘如何实现？

Question

我有非结构化数据（应用程序截图）和半结构化数据（屏幕转储文件），我选择将其存储在 hbase 中。我的目标是在应用程序上找到缺陷或问题（有意义的数据）。现在，我想对这些应用数据挖掘，这是一种文本挖掘吗？我如何在这些数据上应用一些数据挖掘技术？

Answer 1

• 首先，您可以使用基于规则的方法来定义检测缺陷场景的规则集。
• 然后您可以准备包含许多缺陷、非缺陷场景实例的训练数据集。在此步骤中，对于您收集的每个屏幕截图或屏幕转储文件；您可以手动将其标记为缺陷或非缺陷。
• 然后您可以使用此训练数据训练分类器。分类器会尝试泛化训练样本以预测过去未见过的样本的输出标签。
• 由于您的输入是非标准的，您可能需要进行一些预处理才能将您的输入转换为标准格式。例如，要处理屏幕截图，您可能需要一些图像处理、OCR、计算机视觉库。