纠正历史拼写

Question

大家好，我是第一次发布这个问题。我正在编写一个 python 脚本来制作一个返回标准单词形式的程序。我基于规则来转换历史文本（拼写规范化）。在这里，代码无法正常工作。它只显示修改后的单词，而不是整个文件。请教一下如何解决。

import re, string, unicodedata
from nltk.corpus import stopwords
import spacy
import codecs

nlp = spacy.load('fr')
with codecs.open(r'/home/m16/fatkab/RD_project/corpus.txt', encoding='utf8')as f:
    word =f.read()
    tokens = re.split(r'\W+', word)
    print (tokens)

for word in tokens:
    rule1 = word.replace('y', 'i')

    # to avoid modifying y as a word itself:
    if word.endswith ('y')and len(word) >= 2:
        print(rule1)

我的样本输入：Or puis que Dieu est ainsi descendu à nous,qu'il luy a pleu de nous 公报 ainsi sa bonté : n'est ce pas raison que nous soyons du tout siens？ Et d'autant qu'il nous a tendu la main pour nous racheter, ne faut-il pas que nous soyons 儿子的遗产，quand il nous a acquis 平等吗？ Le peuple donc s'il eust eu vn grain de prudence , deuoit bien se ranger en toute humilité 归还教义 qui luy estoit preschee par Moyse。 Et mesme quelle 权威 功绩拉洛伊, qui estoit ainsi approuuee par tant de Miracles? Car Dieu ne commande pas simplement à Moyse de parler, apres l'auoir choisi 倒儿子先知：mais il le Tire en la montagne， il le separe de la compagnie des hommes, afin que quand il viendra mettre en auant la Loy,qu'on le tienne comme vn Ange,& non point comme vne bio mortelle。

这是输出

lui
lui
lui
ai
oui
Loi
lui
foi
Loi
hui
soi
lui
lui
lui
ci
Loi
soi
lui
ai
lui
lui
doi
quoi
soi
ai
lui
lui
soi
# the language is French

Answer 1

对整个文本使用 re.sub。

正则表达式的一个主要好处是您可以在大量文本中运行规则 - 无需手动标记和重建输出。

import re
text = "ouy you are the best luy guy in the try"
sub_pattern = re.compile(r"y(\W+|$)")
print(re.sub(sub_pattern, r"i\1", text))
# oui you are the best lui gui in the tri

在这里，我们使用re.sub 功能在整个文件中用我们的替换替换模式的每个匹配项。

为了保持行之间的空格 - 我们在替换模式中使用反向引用 \1。这会将匹配中捕获组 (1) 中的文本添加回输出中。

正则表达式模式解释：

re.compile - 如果您一遍又一遍地使用相同的正则表达式，编译一次可以节省机器必须不断重新计算它的时间。在这种情况下，为了清楚起见，它只是用来将该正则表达式分隔到它自己的行中。

r"y(\W+|$)" - r 告诉 python 将字符串视为原始字符串，即反斜杠不会错误地转义字符。要匹配字符串末尾的“y”，规则是“a 'y' 后跟非单词字符，或字符串结尾 ($)”。这是我们用来匹配输入中所有“不正确”的“y”结尾的模式。请注意，空格是在组 () 中捕获的，因此我们可以稍后在反向引用中使用它。

r"i\1"1 - 首先我们要根据您的规则将匹配的 y+空格替换为“i”。然后，我们需要确保将空格放回原处 - 我们使用反向引用 \1 执行此操作，它将 group1 捕获的任何内容添加到我们的模式 (\W+|$) 中。

---

或者

不是捕获空白，而是替换它并重新添加它。我们还可以在原始模式中使用非捕获组 - 所以我们只捕获“y”并替换它。

为此，您可以使用以下模式：

sub_pattern = re.compile(r"y(?=\W+|$)")
print(re.sub(sub_pattern, r"i", text))
# oui you are the best lui gui in the tri

请注意，空白匹配模式现在以?= 开头，表示它是非捕获前瞻。这意味着它将检查这些字符是否存在于“y”之后，但在替换期间不会将它们从字符串中删除。因此，替换只需要用“i”替换，因为空格不会被修改。