有哪些方法或常用方法可以判断无监督学习算法是否正确[关闭]

Question

我知道，无监督学习的美妙之处、神秘之处和复杂性在于，它可以从人类可以理解的大量数据中提取信息。但是，有没有办法知道算法是否正确。例如，假设它正在查看股票趋势，并且对某只股票进行了一些扣除。没有真正看到它是如何发挥作用的，有没有办法知道它是正确的？它训练出来的数据可能是错误的，或者更重要的是，你的算法可能只是得出了错误的结论。显然有诸如损失之类的数学度量，但目前我们是否只能忍受算法可能错误的事实？我们可以通过哪些方法来衡量无监督学习算法的正确程度（或者“正确”只是一个雄心勃勃的术语）？

Answer 1

简而言之：

如果没有真正看到它是如何发挥作用的，有没有办法知道它是正确的？

没有。如果有，那么你甚至不需要你原来的算法。只需进行随机预测并使用您的预言机来判断它们是否正确。

它训练出来的数据可能是错误的

ML 算法基于数据进行学习。如果错了，他们就会学错。如果你只被告知 1+1=3，你有理由质疑它吗？

更重要的是，您的算法可能得出了错误的结论

如果有数据支持，没有结论是错误的。它可能不是您所追求的（请参阅https://www.jefftk.com/p/detecting-tanks），在这种情况下，您应该获得更能描述您所追求的数据。

但目前我们是否只能接受算法可能错误的事实？

是的，我们可能永远都会这样做。人类对某事总是正确的吗？在适当的情况下，您可能对非常基本的事情是错误的。而且我们比当前的 AI 聪明得多。

我们可以通过哪些方法来衡量无监督学习算法的正确程度（或者“正确”只是一个雄心勃勃的术语）？

这是非常雄心勃勃的。如果您对要解决的问题足够好，您可以手动检查结果。如果您想将图像分类为狗和猫，这对于您作为人类来判断可能已经足够简单了。应用该算法并手动检查一些预测，以了解它的表现如何。

如果你想拥有真正能下围棋的东西，那就挑战世界冠军吧。

这取决于问题。