【问题标题】:Starspace: What is the interpretation of the labelDoc fileFormat?Starspace:labelDoc 文件格式的解释是什么?
【发布时间】:2020-03-05 01:55:10
【问题描述】:

starspace 文档不清楚参数“fileFormat”的值是“labelDoc”还是“fastText”。 我想直观地了解设置此参数会有什么实质性差异。

目前,我最好的猜测是,如果您将 fileFormat 设置为“fastText”,那么训练文件中没有前缀“__label__”的所有标记都将被分解为字符级 n-gram,就像在 fastText 中一样。 或者,如果您将 fileFormat 设置为 'labelDoc',那么 starspace 将假定所有标记实际上都是标签,并且您不需要在标记前添加 '__label__',因为它们无论如何都会被识别为标签。

我的想法对吗?

【问题讨论】:

    标签: facebook nlp word-embedding


    【解决方案1】:

    StarSpace 使用标签的方式很大程度上取决于您使用的 trainMode。 labelDoc 格式在您选择仅依赖于标签(trainMode 1 到 4)的 trainMode 时很有用,其中使用 fastText 格式指定__label__ 前缀,但某些 trainModes 受益于 labelDoc 格式(即 trainMode 1 或 3)以使用整个句子作为该 trainMode 的标签元素。

    所以要澄清一下,如果您正在执行文本分类任务(如this example labelDoc 中所述,则不会识别任何输入,但另一方面,正如您所说,使用 fastText 格式会将所有未标记的文本分解为输入,并学习预测__label__ 标签。

    labelDoc 格式的一个示例是开发基于内容的推荐系统(如 this example 中所述),每个制表符分隔的句子在训练期间在 LHS 或 RHS 中使用。但是,如果您采用协作方法(不考虑文章的内容或句子的来源),则可以使用 fastText (指定 __label__ 前缀)或 labelDoc 文件格式作为标签是在 LHS 或 RHS 的训练期间随机挑选的。 (第二个例子解释为here)。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2013-07-14
      • 1970-01-01
      • 2011-03-22
      • 2014-01-20
      • 2015-02-13
      • 2011-03-01
      • 2011-06-07
      相关资源
      最近更新 更多