在文本分类任务上微调 SentenceTransformer

Question

希望使用多类标记数据集微调 SentenceTransformer 模型以进行文本分类。 到目前为止看到的教程需要特定格式作为训练数据，例如正三元组的列表，例如 (senetnce1, sentence2, 1) 和负三元组的列表例如 (senetnce1, senetence3, 0)。 典型的分类数据集并非如此。它是 (senetence1, class1)、(senetence2, class2)、(senetence3, class1)、(senetence4, class3) 等的列表。

是否有任何现成的逻辑/代码/教程可以演示，给定一个典型的分类数据集，通过排列和组合生成必要的三元组列表？然后成功地训练 SentenceTransformer，并希望具有更高的准确性？

Answer 1

如果您的样本数量很少，即。对于少镜头训练，可以使用SetFit

如果您有大量样本进行微调，则有一种称为TSDAE 的无监督方式。