【发布时间】：2022-12-03 18:02:23
【问题描述】：
迁移学习和应用基础模型的想法有什么区别？
据我了解，这两种方法都使用从大量数据训练中获得的“知识”来解决看不见的任务。例如，一个模型可以学习理解英文文本，然后进行调整以编写摘要。
【问题讨论】：
标签： machine-learning nlp artificial-intelligence transfer-learning
【发布时间】：2022-12-03 18:02:23
【问题描述】：
迁移学习和应用基础模型的相似之处在于它们都涉及使用从在大型数据集上训练模型获得的知识来解决新的相关任务。但是，这两个概念之间存在一些关键差异。
迁移学习涉及采用已经在大型数据集上训练过的预训练模型，并将其作为起点在不同但相关的数据集上训练新模型。例如，经过训练可以识别图像中的对象的模型可以用作训练新模型以对医学图像进行分类的起点。通过从预训练模型开始，迁移学习可以节省时间和资源，因为新模型不必从头开始训练。
另一方面，应用基础模型涉及使用预先存在的模型作为更大系统的组件来解决新任务。在这种情况下，预先存在的模型不一定是在大型数据集上训练的，也不一定是训练新模型的起点。相反，预先存在的模型被用作构建块来构建可以解决新任务的更复杂的系统。例如，经过训练可以识别语音的基础模型可以用作更大系统的一部分来转录录音。
总之，迁移学习涉及使用预训练模型作为起点在不同的数据集上训练新模型，而应用基础模型涉及使用预先存在的模型作为更大系统的组件来解决新任务。这两种方法都可以通过利用现有知识来帮助节省时间和资源，但它们的使用方式略有不同。
【讨论】：
正在申请基础模型*只是迁移学习的一个例子。
迁移学习是指将知识从源域“迁移”到目标域的机器学习方法。这里，领域可以用多种方式来解释：类型、语言、任务等。因此迁移学习非常广泛，因为它没有指定例如源领域知识的形式，在训练时是否可以访问源域和目标域等。此外，在基础模型时代之前很久就已经研究了迁移学习。应用基础模型只是迁移学习的一个实例，其中
- 源领域知识以预训练模型的形式表示；
- 域被解释为任务，并且；
- 如果对目标域进行微调：源域数据可能无法访问，目标域有标签数据。
该列表可能不完整，因为我们可以根据许多方面对迁移学习进行分类。一些不使用基础模型的迁移学习示例包括多任务学习、跨语言学习（例如，跨语言嵌入、领域对抗训练等）。我建议阅读 the thesis by Sebastian Ruder 的第 3 章以了解 NLP 中的迁移学习概述。
*) 围绕这个词存在争议地基模型在自然语言处理中。目前，它几乎完全由斯坦福大学的研究人员使用； NLP 社区中的其他人并没有那么多地使用它。虽然大多数人都熟悉这个术语，但我建议使用预训练模型目前。
【讨论】：