C 程序中的数据类型规范 ASCII、ISO-8859、UTF-8 Unicode

Question

我正在尝试创建一个 c 程序，该程序将文件作为命令行输入并确定文件类型。 我的选择是

1. 空
2. ASCII 文本
3. ISO-8859 文本
4. UTF-8 Unicode

当我必须创建我为 ASCII 编写的 if 语句时：

if(c != EOF && c <= 127)

对于 ISO-8859，我写过：

if((c != EOF && c <= 127) || (c >= 160 && c<= 255))

当我用他们应该能够指定的输入向他们提供文件时，这两个工作。然而，当我使用 UTF-8 Unicode 时，我的 if 语句看起来像这样：

if(c != EOF && c <= 255)

那是行不通的。我一直得到错误的结果。

谁能帮助我进一步指定 UTF-8 Unicode 文本？

谢谢

Answer 1

UTF-8 不允许 192-193 和 245-255 范围；但是，它们并不是在 ISO-8859-1 文本中经常出现 ，而且我个人不会真正依赖“120-160 差距”，因为 Windows-1252 通常可以互换使用ISO-8859-1¹，没有。

检测文件是否为 UTF-8 的一种更可靠的方法是检查其多字节序列是否符合 to the UTF-8 "syntax"，而不仅仅是检查字节范围。

FILE *fp = ...;
int ch;
bool good_utf8 = true;
bool good_ascii = true;
bool empty = true;
bool good_iso8859_1 = true;
while((ch=fgetc(fp))!=EOF) {
    empty = false;
    int extra = 0;
    if(ch>>7 == 0) {
        // ok, if the high bit is not set it's a "regular" character
    } else {
        // ASCII never has the high bit set
        good_ascii = false;
        // ISO8859-1 gap
        if(ch>=120 && ch<= 160) good_iso8859_1 = false;
        // check if it's a valid UTF-8 multibyte sequence
        if((ch>>5) == 6) {
            // 110xxxxx => one continuation byte
            extra = 1;
        } else if((ch>>4) == 14) {
            // 1110xxxx => two continuation bytes
            extra = 2;
        } else if((ch>>3) == 30) {
            // 11110xxx => three continuation bytes
            extra = 3;
        } else {
            // there's no other valid UTF-8 sequence prefix
            good_utf8 = false;
        }
    }
    for(; good_utf8 && extra > 0; --extra) {
        ch = fgetc(fp);
        if(ch>=120 && ch<= 160) good_iso8859_1 = false;
        // all the stated continuation bytes must be present,
        // and they have to follow the 10xxxxxx pattern
        if(ch==EOF || ((ch>>6) != 2)) {
            good_utf8 = false;
        }
    }
}
fclose(fp);

---

1. ISO-8859 不是一个单一的字符集，它是多个相关的；我假设您在谈论 ISO-8859-1（又名“Latin1”），因为您在谈论 120-160 差距；如果您必须检测哪个 ISO-8859 变体，则必须检查不同的差距。