什么是机器学习的“预测”元素答案

【问题标题】：What is the 'predictive' element of machine learning什么是机器学习的“预测”元素
【发布时间】：2016-07-26 12:27:20
【问题描述】：

我希望有更多机器学习知识的人可以在这里帮助我。我一直在阅读回归和分类的示例，我似乎总是回到这个问题“这个算法所做的与标准统计分析所做的真正区别是什么”。

具体来说，我阅读的所有示例似乎都没有讨论预测元素。例如，在查看线性回归时，文章通常会解释尝试创建“最佳拟合”的概念——线性方程的组合，然后迭代成本函数直到达到最小值。当然，自始至终都强调“训练数据集”。没问题......但这通常是它结束的地方。在这一点上，我看不出上述方法与对假定具有线性关系的数据集进行统计分析的标准方法之间的区别。据推测，这里的未来值是从成本函数收敛到最小值时产生的方程“预测”的——同样，这里似乎没有太多“学习”，因为这正是通常情况下要做的事情.

经过冗长的介绍......我想问的是算法是如何从原始训练数据中学习的？这个训练集对未来的数据集有什么帮助？（再次，这是我有点迷失的地方 - 对我来说，你似乎会给它一个新的数据集并执行最小化成本函数的相同任务 - 但是，这次你有一个更好的“起点”但是你所有的知识真的来自你已经“知道”的数据集，即假设一个线性关系）。

我希望这是有道理的——这显然是缺乏理解，但我希望有人能把我推向正确的方向。

谢谢！

【问题讨论】：

基本点是大多数算法不只是近似线性函数，而是一些一般函数。有些方法甚至不需要可参数化的函数（例如回归树）。毕竟，机器学习是统计分析。但是，由于函数空间的高维，基本的方法通常行不通。
当然——但对我来说，这听起来仍然像是一个数值解。我不太确定“学习”方面的来源。未来的预测如何依赖于它所接触的训练数据——即如果我使用 15 个不同的训练集而不是 1 个，这是否提高了我算法的可预测性，如果是，那么它是如何实现的？我能想象它变得更好的唯一方法是假设所有数据集都具有良好的标准，那么每次使用训练集时，您都可以从一组更好的初始条件开始下一组（更接近全局最小值）- 优化。
机器学习中的“学习”就是统计学家所说的推理。学科之间的主要区别更多是哲学上的：机器学习从业者更关心预测准确性（参见例如深度神经网络），统计学家更关心可解释性、模型检查等。很多技术是相同的
以下博文为这个想法增添了更多色彩：brenocon.com/blog/2008/12/statistics-vs-machine-learning-fight
谢谢本 - 非常感谢。

标签： algorithm machine-learning statistics analysis

【解决方案1】：

你是对的，没有区别。线性回归纯粹是一种统计方法，在这种情况下，“拟合”可能比“学习”更准确。但同样，这通常只是该主题的第一堂课。有许多方法的差异更加明显，例如 SVM。还有一些“学习”方面更清晰的方法，例如在游戏中使用强化学习，您可以实际看到您的系统通过经验提高其性能。

无论如何，机器学习的主要主题是从示例中学习。您会收到一份包含 100 名患者的名单，以及血压、年龄、胆固醇水平等，并会告知您每个人是否患有心脏病。然后，给你一个你以前没见过的病人。他有心脏病吗？？大多数人称之为预测。您可能更喜欢称它为“合身”或其他任何东西。但事实是，它通常效果很好。

尽管如此，该主题仍然与统计密切相关，实际上，您需要对底层函数做出一些假设（或多或少，取决于算法）。它并不完美，但在很多情况下，它是我们拥有的最好的东西，所以我会说它值得研究。如果你现在开始，有一个很棒的在线课程，斯坦福大学的“统计学习”，它从你的角度来处理这个主题。

【讨论】：

感谢您清除其中的一些内容-因此，如果我没记错的话，“预测”元素来自您拥有历史数据这一事实，并且您已经能够确定关于哪一组数据的相关性指标使某人患有心脏病。在你的例子中，如果患者有一定的血压、年龄和胆固醇，这通常与心脏病有关（认为这是真的）。因此，当您提供一组新数据（来自患者）时，如果这些指标达到阈值，那么也可以确定他们患有心脏病——这就是我所说的预测？
如你所说——我想我需要体验一些更清晰的例子。因为我只体验过有监督的方法 - 在我看来，这与更“标准”的统计分析并没有那么大的区别。
它不完全是一个“阈值”，它是可能形成任何功能的输入组合。此外，不要将示例视为“历史”和“新”，而应将其视为“已知”和“未知”。预测并不一定意味着“未来”，而是“有根据的猜测”。无论如何，在分类中事情会变得更加清晰，这是比机器学习中的回归更重要的主题。我真的建议看看课程。 PS：一般来说，如果您觉得您的问题已经得到解答，请接受/点赞答案，以便其他用户更容易找到。
感谢您的回复 - 我确实会开始研究该课程。很好的说明，关于“历史”和“新”的声明，这可能有点误导。另外，我确实对您的回复投了赞成票。