编码检测方法不起作用

Question

我需要检查文件的编码类型。如果它是可读的，则返回 true。
根据SO answer，我将此逻辑转换为 Java 代码。但它不起作用。正是，这部分代码：

if ((buffer[0] & 0xF8) == 0xF0) {
        if (((buffer[1] & 0xC0) == 0x80)
            && ((buffer[2] == 0x80) && ((buffer[3] == 0x80))))
            return true;
    } else if ((buffer[0] & 0xF0) == 0xE0) {
        if (((buffer[1] & 0xC0) == 0x80) && ((buffer[2] & 0xC0) == 0x80))
            return true;
    } else if ((buffer[0] & 0xE0) == 0xC0) {
        if (((buffer[1] & 0xC0) == 0x80))
            return true;
    } return false;

这不正确检查，此时正在检查 100% UTF-8 代码！ => 结果return false。

所有代码：

class EncodindsCheck implements Checker {
    private static final int UTF8_HEADER_SIZE = 8;

    @Override
    public boolean check(File currentFile) {
        return isUTF8(currentFile);
    }

    public static boolean isUTF8(File file) {
        // validate input
        if (null == file) {
            throw new IllegalArgumentException("input file can't be null");
        }
        if (file.isDirectory()) {
            throw new IllegalArgumentException(
                    "input file refers to a directory");
        }

        // read input file
        byte[] buffer;
        try {
            buffer = readUTFHeaderBytes(file);
        } catch (IOException e) {
            throw new IllegalArgumentException(
                    "Can't read input file, error = " + e.getLocalizedMessage());
        }

        if ((buffer[0] & 0xF8) == 0xF0) {
            if (((buffer[1] & 0xC0) == 0x80)
                && ((buffer[2] == 0x80) && ((buffer[3] == 0x80))))
                return true;
        } else if ((buffer[0] & 0xF0) == 0xE0) {
            if (((buffer[1] & 0xC0) == 0x80) && ((buffer[2] & 0xC0) == 0x80))
                return true;
        } else if ((buffer[0] & 0xE0) == 0xC0) {
            if (((buffer[1] & 0xC0) == 0x80))
                return true;
        }

        return false;
    }

    private static byte[] readUTFHeaderBytes(File input) throws IOException {
        byte[] buffer = new byte[UTF8_HEADER_SIZE];
        // read data
        FileInputStream fis = new FileInputStream(input);
        fis.read(buffer);
        fis.close();
        return buffer;
    }
}

问题：

• 为什么这个检查不起作用？
• 如何以这种方式解决此检查检测（作为 UTF-8 字符序列）？
• 如何检查其他字符集（UTF-16 等）？

Answer 1

UTF-8 中的代码点长度可以是 1、2、3 或 4 个字节。

如果所有代码点都在 U+0000 到 U+007F 范围内，那么 isUTF8 将返回 false。在这种情况下，该文件将适用于大量编码（UTF-8、ASCII、ANSI 编码等）

您的 UTF-8 检查相信运气好，第一个代码点高于 U+007F。

我建议你看看a more comprehensive encoding detection API，至少作为一个例子。

---

请注意，fis.read(buffer); 不能保证填充数组；类型协定要求您检查读取的字节数的返回值。