如何为带有变音符号的单词编写 lua 模式

Question

诸如“Annähren”、“Überbringen”、“Malmö”之类的词不会被理解

for w in string.gmatch(str, "%w+") do
     print(w) 
end

有什么解决办法吗？谢谢！

Answer 1

Lua 字符串库本质上不支持除 ASCII 以外的任何字符编码，并假定所有字符都是 1 个字节。虽然 lua 字符串是 8 位干净的，这意味着像 string.sub 这样的函数即使在多字节字符编码中也需要以字节为单位的偏移量，而像 string.match 这样的函数在非 ASCII 编码中的行为将不会像预期的那样。 wiki page on Unicode in Lua 值得一读，其中大部分内容也适用于其他非 ASCII 字符编码。

特别是对于您的问题，“ö”（例如，在 UTF-8 中）编码为两个字节 C3 B6，这意味着 '%w' 将无法识别它（它在a-z 范围，并且没有跨越多个字节的字符的概念）。 '[\xc3\xb6]+' 会匹配它，但也会匹配很多其他的东西，并不是所有的东西都是有效的 UTF-8 - 并且使用 '[ö]' 有同样的问题，因为 lua 会将它解释为同样的东西（一个序列两个字节而不是单个字符）。如果不使用 UTF-8，具体情况不同，但基本问题是一样的。

wiki 页面链接了许多 utf-8 感知的 lua 字符串库实现，例如 slnunicode。其他编码似乎并未被社区广泛使用，因此如果您使用的是 UTF-8 以外的编码，最好的办法可能是转换为 UTF-8，然后使用该库或其他类似的库。

Answer 2

您可以尝试以下方法：

local str = "Annähren, Überbringen, Malmö"
for w in string.gmatch(str, "[%w\128-\244]+") do
  print(w) 
end

这并不完全正确，因为它忽略了一些 UTF-8 组合，但它可能对您有用。 This SO answer 这个post on validating UTF-8 可能有用。