在 Elixir 中计算字符串中的代码点

Question

String.length/1 函数返回 UTF-8 二进制文件中 graphemes 的数量。

如果我想知道字符串中有多少个 Unicode codepoints，我知道我可以做到：

string |> String.codepoints |> length

但这会产生一个不必要的所有代码点的中间列表，并重复字符两次。有没有一种方法可以直接计算代码点，而无需生成中间列表？

Answer 1

您可以将comprehension 与位串生成器和reduce 选项一起使用来计算代码点，而无需建立中间列表。

for <<_::utf8 <- string>>, reduce: 0, do: (count -> count + 1)

例子：

iex> string = "??‍♂️"
iex> for <<_::utf8 <- string>>, reduce: 0, do: (count -> count + 1)
5
iex> string |> String.codepoints |> length
5
iex> String.length(string)
1

如果您将 utf8 替换为 utf16 或 utf32，它还有一个额外的好处，即它也适用于 UTF-16 和 UTF-32 字符串：

iex> utf8_string = "I'm going to be UTF-16!"
"I'm going to be UTF-16!"
iex> utf16_string = :unicode.characters_to_binary(utf8_string, :utf8, :utf16)
<<0, 73, 0, 39, 0, 109, 0, 32, 0, 103, 0, 111, 0, 105, 0, 110, 0, 103, 0, 32, 0,
  116, 0, 111, 0, 32, 0, 98, 0, 101, 0, 32, 0, 85, 0, 84, 0, 70, 0, 45, 0, 49,
  0, 54, 0, 33>>
iex> for <<_::utf8 <- utf8_string>>, reduce: 0, do: (count -> count + 1)
23
iex> for <<_::utf16 <- utf16_string>>, reduce: 0, do: (count -> count + 1)
23