为什么 Spacy 3 NER 对 GPU 和 CPU 使用不同的管道？答案

【问题标题】：Why does Spacy 3 NER use different pipeline for GPU vs CPU?为什么 Spacy 3 NER 对 GPU 和 CPU 使用不同的管道？
【发布时间】：2021-07-26 05:35:54
【问题描述】：

Spacy 'train' 命令使用命令行选项 --gpu 0，允许在使用 GPU 训练和不使用 GPU 训练之间进行“最后一分钟”选择 - 仅使用 CPU。

但是，使用https://spacy.io/usage/training#quickstart 在 GPU 和 CPU 之间进行选择会导致（基本）配置存在重大差异。就我而言（处理 NER），我得到了两个不同的管道：

对于 CPU：管道 = ["tok2vec","ner"]
对于 GPU：管道 = ["transformer","ner"]

（具有非常不同的以下组件设置）。

由于我的 GPU 只有 6GB 内存，所以我很快就会耗尽 GPU 内存 - 无法使用它。但是当我切换到只使用 CPU 时，两个管道之间的训练行为就大不相同了：

["tok2vec","ner"] 管道几乎在单核上运行，在几个小时内训练我的模型（8,000 个训练，2000 个开发/验证文档）。明显比 Spacy 2 快（即使使用 GPU），但有时会使用大量内存（高达 30G）。

["transformer","ner"] 管道爆炸性地使用多达 20 个内核（在 40 个逻辑内核机器上），所以我希望它运行得很快。但它似乎永远运行。在一个小时内，我只完成了第一个“时代”，然后（在下一个时代）它崩溃了（见下文）。由于我的数据（每个批处理 100 个“文档”的 DocBin 文件）是相同的，因此下面的崩溃（乱序 B/I 标记）很难解释。

我的主要问题是为什么针对 GPU 和 CPU 时的管道不同？以 GPU 为目标的向量在哪里？

崩溃： ...

 File "C:\Work\ML\Spacy3\lib\site-packages\spacy\training\loop.py", line 98, in train
    for batch, info, is_best_checkpoint in training_step_iterator:
  File "C:\Work\ML\Spacy3\lib\site-packages\spacy\training\loop.py", line 194, in train_while_improving
    nlp.update(
  File "C:\Work\ML\Spacy3\lib\site-packages\spacy\language.py", line 1107, in update
    proc.update(examples, sgd=None, losses=losses, **component_cfg[name])
  File "spacy\pipeline\transition_parser.pyx", line 350, in spacy.pipeline.transition_parser.Parser.update
  File "spacy\pipeline\transition_parser.pyx", line 604, in spacy.pipeline.transition_parser.Parser._init_gold_batch
  File "spacy\pipeline\_parser_internals\ner.pyx", line 273, in spacy.pipeline._parser_internals.ner.BiluoPushDown.init_gold
  File "spacy\pipeline\_parser_internals\ner.pyx", line 53, in spacy.pipeline._parser_internals.ner.BiluoGold.__init__
  File "spacy\pipeline\_parser_internals\ner.pyx", line 69, in spacy.pipeline._parser_internals.ner.create_gold_state
  File "spacy\training\example.pyx", line 240, in spacy.training.example.Example.get_aligned_ner
  File "spacy\tokens\doc.pyx", line 698, in spacy.tokens.doc.Doc.ents.__get__
ValueError: [E093] token.ent_iob values make invalid sequence: I without B

【问题讨论】：

标签： gpu transformer spacy-3

【解决方案1】：

基本上，如果您在快速入门 spaCy 中选择“GPU”，则会使用 Transformers 管道，这在架构上与 CPU 管道有很大不同。快速入门中的设置是推荐的基本设置，而 spaCy 能够实际使用的设置要广泛得多（训练中的 -gpu 标志就是其中之一）。

Transformer 使用注意力来生成上下文嵌入，因此对于单词的单个嵌入没有真正的概念。这些上下文嵌入通常比词嵌入更好。由于这个原因，spaCy Transformers 模型不包括词嵌入。 Transformers 的缺点是它们需要非常强大的硬件（包括 GPU）才能运行。如果您确实拥有强大的 GPU，那么使用 Transformer 通常是有意义的。

CPU 管道使用的模型不需要专门的硬件，通常运行速度更快，同时仍为许多应用程序提供足够的精度。如果您没有 GPU，它们基本上也是您唯一的选择。如果你有 GPU，你可以用它来训练非 Transformer 管道，它可能会提供加速，但好处通常并不显着。所以 spaCy 支持在 GPU 上训练非 Transformer 模型，但如果你有 GPU，通常最好使用 Transformers。

【讨论】：

谢谢。这是一个非常清晰的描述——我应该从 Spacy 文档中弄清楚这一点。再玩一下“快速入门”，使用 CPU 时，“效率”和“准确度”之间的区别是 include_static_vectors=false/true 和编码宽度和深度。
我在 CPU 模式下尝试了转换器，以显示我可以从我的域上的 GPU 获得什么（如果有）精度改进 - 但无论数据样本如何，它都在 update() 中失败 - 显然是 Spacy3 问题/错误（我尝试了几个 torch[CPU] 版本，并且错误仍然存在）。我的问题是，对于我的 NER 项目，Spacy 3 的准确度比 Spacy 2.4 下降了 10%。
在 GPU 和 CPU 上使用相同的模型应该不会对准确性产生任何显着影响。也没有 spaCy v2.4，也许你的意思是 2.3？无论如何，如果您有错误，请随时在 Github 存储库上打开一个问题。
对，它是 Spacy 2.3（不是 2.4 - 抱歉打错了）。我的印象是，当不使用 GPU 时，Spacy3 中用于 NER 的“模型”spacy.TransitionBasedParser.v2（带有静态向量）与 Spacy 2.3 中用于 NER 的“模型”不同（从 _lg 模型加载向量）。我希望 2.3 模型仍然可用。