spaCy 配置文件中参数的解释/解释

Question

关于我们在config.cfg 文件中定义的参数，我有几个问题。虽然 spaCy 的文档确实试图解释它们，但我觉得解释的描述性不够，而且很多东西都散落在文档周围，很难找到你需要的东西，尤其是 spaCy v3，（除非我'我查看了网站的错误部分）这是最近的，因此论坛中的问题/答案确实更少。 我基本上是在构建一个命名实体识别 (NER) 模型以及一个转换器组件。我的问题如下：

1. 在下面的部分（corpora.train 也有同样的问题），max_length 和limit 有什么区别？

   对于max_length，文档说“训练文档长度的限制”
   对于limit，文档说“限制训练示例的数量”

   他们不是差不多吗？我的意思是我可以通过限制文档本身的长度来限制训练示例的数量，对吧？

[corpora.dev]
@readers = "spacy.Corpus.v1"
path = ${paths.dev}
max_length = 0
gold_preproc = false
limit = 0
augmenter = null

1. 在下面的sn-p中，一个'step'是什么意思？我了解max_steps=0 表示无限步数。但是我怎么知道有多少这样的“步骤”构成一个纪元？ 1个这样的步骤涵盖了多少例句？

[training]
train_corpus = "corpora.train"
dev_corpus = "corpora.dev"
seed = ${system.seed}
gpu_allocator = ${system.gpu_allocator}
dropout = 0.1
accumulate_gradient = 1
patience = 1600
max_epochs = 10
max_steps = 0
eval_frequency = 200
frozen_components = []
before_to_disk = null

1. 在训练过程中，learn_rate 在下面的 sn-p 代码中究竟是如何修改的？更具体地说，total_steps 和 warmup_steps 是什么意思？

[training.optimizer.learn_rate]
@schedules = "warmup_linear.v1"
warmup_steps = 250
total_steps = 200
initial_rate = 0.00005

4. 最后，在训练过程的CLI输出中，这个'#'到底是什么？ GitHub discussions 之一中提到 “# 列是优化步骤的数量（= 处理的批次）”，但是这 1 个批次或“优化步骤”到底是什么？如果训练过程向我显示了 200 个这样的“批次”之后的分数，我该如何解释它（例如在此之前已经处理了多少个例句）？

Answer 1

在下面的部分（对于 corpora.train 也有同样的问题），max_length 和 limit 有什么区别？ 对于 max_length，文档说“培训文档长度的限制” 对于限制，文档说“限制训练示例的数量” 他们不是或多或少相同的东西吗？我的意思是我可以通过限制文档本身的长度来限制训练示例的数量，对吧？

这些是不同的东西，您似乎对什么是“文档”感到困惑。您可以将“文档”视为 spaCy 中的单个对象。不同的文档对彼此一无所知。文档基于单个字符串。以普通 Python 字符串为例：

["cat", "dog", "fish"] # this is three strings
["cat dog fish"] # this is one string

您可以看到“从列表中获取三个字符串”和“获取长度不超过三个字符的字符串”是非常不同的事情。 spaCy中的值就是这样的。

在下面的sn-p中，一个'step'是什么意思？我理解 max_steps=0 意味着无限步。但是我怎么知道有多少这样的“步骤”构成一个纪元？ 1个这样的步骤涵盖了多少例句？

一个“步骤”是一个“批次”。 “批次”正在对一些示例进行训练并更新一次模型权重。您可以控制批次的大小，因此它可以是任意数量的示例。 “epoch”是指训练看到每个示例一次需要多长时间，因此如果您每批有 5 个文档和 30 个训练文档，那么 6 个步骤将是一个 epoch。

spaCy 不一定对训练中的“句子”一无所知，文档是批处理的基本单位。您的训练示例可能都是单句，但这不是必需的。

这些术语不是特定于 spaCy 的，它们广泛用于机器学习。

在训练过程中，在下面的 sn-p 代码中，learn_rate 究竟是如何修改的？更具体地说，total_steps 和 warmup_steps 是什么意思？

这是来自 Thinc，see the docs there。

引用：

生成一个系列，从初始速率开始，然后是预热期，然后是线性下降。用于学习率。

在total_steps 结束时，学习率停止变化。

最后，在训练过程的 CLI 输出中，这个“#”到底是什么？在 GitHub 讨论之一中提到“# 列是优化步骤的数量（= 处理的批次）”，但是这 1 个批次或“优化步骤”到底是什么？如果训练过程向我显示了 200 个这样的“批次”之后的分数，我该如何解释它（比如到那时为止已经处理了多少个例句）？

一个步骤与 #2 中的相同，它是一批。批量大小以文档而非句子表示。