迁移学习和元学习的区别

Question

meta learning 和transfer learning 有什么区别？

我已经阅读了关于 Quora 和 TowardDataScience 的 2 篇文章。

元学习是机器学习理论的一部分，其中一些 算法应用于有关案例的元数据以改进 机器学习过程。元数据包括关于 使用的算法，学习任务本身等。使用元数据，可以 对选择的学习算法做出更好的决策来解决 更有效地解决问题。

和

迁移学习旨在改进学习新任务的过程 使用通过解决先前问题获得的经验，这些问题是 有点类似。在实践中，大多数时候，机器学习 模型旨在完成一项任务。然而，作为人类， 我们利用我们过去的经验，不仅重复同样的事情 未来的任务，但也学习全新的任务。也就是说，如果 我们试图解决的新问题与我们过去的一些问题相似 经验，对我们来说变得更容易。因此，出于使用目的 机器学习中的相同学习方法，迁移学习 包括转移一个或多个来源的过去经验的方法 任务并利用它来促进相关目标任务的学习。

这些比较仍然让我感到困惑，因为两者在可重用性方面似乎有很多相似之处。 Meta learning 被称为“模型无关”，但它使用来自先前学习任务的元数据（超参数或权重）。它与transfer learning 相同，因为它可以部分重用经过训练的网络来解决相关任务。我知道还有很多要讨论的内容，但从广义上讲，我认为两者之间没有太大区别。

人们还使用meta-transfer learning 之类的术语，这让我认为这两种类型的学习彼此之间有着密切的联系。

Answer 1

我认为主要区别在于迁移学习期望任务之间大多相似，而元学习则不然。

在迁移学习中，任何参数都可以传递给下一个任务，但元学习更具选择性，因为传递的参数应该编码如何学习，而不是如何解决之前的任务。

Answer 2

在迁移学习中，我们使用大型数据集预训练模型参数，然后使用这些参数作为初始参数来微调其他具有较小数据集的任务。这种经典的预训练方法不能保证学习初始化 有利于微调。 在元学习中，我们学习了一组初始参数，这些参数可以在另一个类似任务上轻松微调，只需几个梯度步骤。它通过微调过程直接优化这种初始化差异化的性能。