确定字节数组是否包含 ANSI 或 Unicode 字符串？

Question

假设我有一个接收字节数组的函数：

void fcn(byte* data)
{
...
}

有人知道 fcn() 确定 data 是 ANSI 字符串还是 Unicode 字符串的可靠方法吗？

请注意，我故意不传递长度参数，我收到的只是指向数组的指针。长度 arg 会很有帮助，但我没有收到它，所以我必须不用它。

这篇文章提到了一个显然可以做到的 OLE API，但他们当然不会告诉你哪个 api 函数：http://support.microsoft.com/kb/138142

Answer 1

首先，关于术语。没有像 ANSI 字符串这样的东西。有 ASCII 字符串，代表一种字符编码。 ASCII 由 ANSI 开发，但它们不可互换。

此外，没有 Unicode 字符串这样的东西。有Unicode encodings，但这些只是Unicode本身的一部分。

我假设“Unicode 字符串”是指“UTF-8 编码的代码点序列”。对于 ANSI 字符串，我假设您的意思是 ASCII。

如果是这样，那么根据 UTF-8 编码的定义，每个 ASCII 字符串也是一个 UTF-8 字符串。 ASCII 只定义了 0x7F 以内的字符，所有 0x7F 以内的 UTF-8 代码单元（字节）的含义与它们在 ASCII 下的含义相同。

因此，您关心的是其他 128 个可能的值。那是……很复杂。

您会问这个问题的唯一原因是您是否无法控制字符串输入的编码。因此，问题在于 ASCII 和 UTF-8 不是唯一可能的选择。

例如，Latin-1。有许多用 Latin-1 编码的字符串，它占用 ASCII 不使用的其他 128 个字节并为它们定义字符。这很糟糕，因为其他 128 个字节会与 UTF-8 的编码冲突。

还有code pages。许多字符串是针对特定代码页进行编码的；在 Windows 上尤其如此。解码它们需要知道您正在处理的代码页。

如果您处于确定字符串是 ASCII（7 位，高位始终为 0）或 UTF-8 的情况，那么您可以轻松做出判断.字符串是 ASCII（因此也是 UTF-8），或者一个或多个字节的高位设置为 1。在这种情况下，您必须使用 UTF-8 decoding logic。

除非您真的确定这些是唯一的可能性，否则您将需要做更多的事情。您可以通过尝试通过 UTF-8 解码器运行数据来验证数据。如果它遇到无效的代码单元序列，那么您就知道它不是 UTF-8。问题是理论上可以创建一个在技术上是有效的 UTF-8 的 Latin-1 字符串。那个时候你有点搞砸了。基于代码页的字符串也是如此。

最终，如果您不知道字符串的编码是什么，则无法保证您可以正确显示它。这就是为什么重要的是要知道你的字符串来自哪里以及它们的含义。