对 unicode 字母进行 Pyparsing

Question

我需要对 unicode 字符使用 pyparsing。所以我从他们的 github 存储库中尝试了带有法语字符 cédille 的简单示例并给出了错误。

我的代码

from pyparsing import Word, alphas
greet = Word(alphas) + "," + Word(alphas) + "!"
hello = "Hello, cédille!"
greet.parseString(hello)

它给出了错误

pyparsing.ParseException: Expected "!" (at char 8), (line:1, col:9)

有没有办法解决这个问题？

Answer 1

Pyparsing 具有 pyparsing_unicode 模块，该模块定义了许多 unicode 字符范围，每个范围内都有 alphas、nums 等的定义。范围包括CJK、Cyrillic、Devanagari、Hebrew、Arabic 等。示例目录中的 greetingInGreek.py 和 greetingInKorean.py 示例展示了其中的几个。

您的示例使用 Latin1 集，如下所示：

from pyparsing import Word, pyparsing_unicode as ppu
intl_alphas = ppu.Latin1.alphas
greet = Word(intl_alphas) + "," + Word(intl_alphas) + "!"
hello = "Hello, cédille!"
print(greet.parseString(hello))

打印：

['Hello', ',', 'cédille', '!']

alphas8bit 可能会保留用于旧版支持，但新应用程序应使用pyparsing_unicode.Latin1.alphas。

Answer 2

alphas 显然只是英文/纯 ASCII。以下似乎有效：

from pyparsing import Word, alphas, alphas8bit
greet = Word(alphas+alphas8bit) + "," + Word(alphas+alphas8bit) + "!"
hello = "Hello, cédille!"
greet.parseString(hello)

这是 Unicode，因此字符 é 没有什么特别“8 位”的；但是，如果文档至少大致正确，我想它仍然会被略带异国情调的重音字符打破（Latin-1 中不可用的任何内容，如捷克或波兰重音字符，或者走极端并尝试越南语）。

也许探索unicodedata 模块以获取“字母”字符的正确枚举，或找到正确公开此Unicode 功能的第三方模块。