如何在文本中找到私有字符 utf8？

Question

在 UTF-8 编码表和 Unicode 字符中，我使用补充私人使用区域，因为我确信它们不会用于任何文本中的单个字符。 事实是现在我需要在文本中找到它们。这是一个基本示例：

\u{f0001} hahrehr \u{f0002} eryteryte \u{f0003}\n yfukguk\u{f0004}\nggikggk

你可以看到 \u{f...} 是我的特殊字符。 如果我们 console.log 这个文本：

console.log("\u{f0001} hahrehr \u{f0002} eryteryte \u{f0003}\n yfukguk\u{f0004}\nggikggk</");

现在我需要一些东西来找到所有这些特殊字符。我想到了一个正则表达式，但我不知道如何处理 \u{f...} 的解释不同这一事实。

我知道我的问题不是很清楚，但我有任何可以帮助我的想法。

Answer 1

有three private use areas:

• 基本多语言平面中的一个，\uE000-\uF8FF，
• Plane 15、\u{F0000}-\u{FFFFD} 和
• Plane 16, \u{100000}-\u{10FFFD}.

你可以使用

/[\uE000-\uF8FF\u{F0000}-\u{FFFFD}\u{100000}-\u{10FFFD}]/gu

用符合 ES6 的正则表达式匹配所有出现的这些字符。

请参阅 Regex modifier /u in JavaScript? 以了解有关 u 修饰符的更多信息。这里需要支持\u{XXXXX}符号。

符合 ES5 的模式是

/(?:[\uE000-\uF8FF]|[\uDB80-\uDBBE\uDBC0-\uDBFE][\uDC00-\uDFFF]|[\uDBBF\uDBFF][\uDC00-\uDFFD])/g

要获得匹配的代码点的十六进制代码数组，请使用一些额外的 JavaScript 代码：

const str = "\u{f0001} hahrehr \u{f0002} eryteryte \u{f0003}\n yfukguk\u{f0004}\nggikggk</";
const regex = /[\uE000-\uF8FF\u{F0000}-\u{FFFFD}\u{100000}-\u{10FFFD}]/gu;
console.log(
  str.match(regex).map(x => Array.from(x)
    .map((v) => v.codePointAt(0).toString(16))
    .map((hex) => "0000".substring(0, 4 - hex.length) + hex))
);