多语言的 spaCy 流程文档

Question

给定一个特定长度的文档字符串 s 和一个相同长度的语言掩码 l，我想使用相应的 spacy 语言模型处理文档的每个部分 (span?)。

举个例子

s = 'As one would say in German: Wie man auf englisch zu sagen pflegt'
l = ['en'] * 27 + ['de'] * 37

我想构建一个文档

import spacy
nlp_de = spacy.load('de')
nlp_en = spacy.load('en')

d_de = nlp_de(u"".join([c for i,c in enumerate(s) if l[i] == "de"]))
d_en = nlp_en(u"".join([c for i,c in enumerate(s) if l[i] == "en"]))

现在我必须以某种方式将这两个部分粘合在一起。但不幸的是，spacy 中的文档包含有关词汇的信息。因此，这将是模棱两可的。

我应该如何使用 spacy 为我的多语言文档建模？

Answer 1

对此有2个想法：

1. code switch: 将一种以上的语言组合成（主要但不限于）口语文本。这不完全是你的例子。
2. 像你这样的句子，是可分离的。

如果您的大部分文本更像您的示例，我会尝试按语言分隔文本（对于您的示例，我会生成 2 个句子并单独处理）。

如果是另一种情况，我不确定 spacy 是否内置了对 code-switch 的支持，如果没有，您需要构建自己的模型（或者只是尝试结合 spacy 的模型）取决于你的实际任务