Java - 使用单个表情符号读取 UTF-8 文件

Question

我有一个带有单个 unicode 符号的文件。
该文件以 UTF-8 编码。
它包含一个以 4 个字节表示的符号。
https://www.fileformat.info/info/unicode/char/1f60a/index.htm

F0 9F 98 8A

当我读取文件时，我得到两个符号/字符。

下面的程序打印

?
2
?
?
55357
56842
======================================
��
16
&
======================================
?
2
?
======================================

这是正常的……还是错误？还是我误用了什么？
如何在我的代码中获取单个表情符号？

编辑：还有...我如何为 XML 转义它？

import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.InputStreamReader;

public class Test008 {

    public static void main(String[] args) throws Exception{
        BufferedReader in = new BufferedReader(
                   new InputStreamReader(
                              new FileInputStream("D:\\DATA\\test1.txt"), "UTF8"));
        
        String s = "";
        while ((s = in.readLine()) != null) {
            System.out.println(s);
            System.out.println(s.length());
            System.out.println(s.charAt(0));
            System.out.println(s.charAt(1));
            
            System.out.println((int)(s.charAt(0)));
            System.out.println((int)(s.charAt(1)));
            
            String z = org.apache.commons.lang.StringEscapeUtils.escapeXml(s);
            String z3 = org.apache.commons.lang3.StringEscapeUtils.escapeXml(s);
            
            System.out.println("======================================");
            System.out.println(z);
            System.out.println(z.length());
            System.out.println(z.charAt(0));
            
            System.out.println("======================================");
            System.out.println(z3);
            System.out.println(z3.length());
            System.out.println(z3.charAt(0));
            
            System.out.println("======================================");

        }

        in.close();
    }

}

Answer 1

是的，正常，Unicode 符号是 2 个 UTF-16 字符（1 个字符是 2 个字节）。

int codePoint = s.codePointAt(0); // Your code point.
System.out.printf("U+%04X, chars: $d%n", codePoint, Character.charCount(cp));

U+F09F988A, chars: 2

---

cmets 之后

Java，使用流：

public static String escapeToAsciiHTML(String s) {
    StringBuilder sb = new StringBuilder();
    s.codePoints().forEach(cp -> {
        if (cp < 128) {
            sb.append((char) cp);
        } else{
            sb.append("&#").append(cp).append(";");
        }
    });
    return sb.toString();
}

Answer 2

StringEscapeUtils 已损坏。不要使用它。试试NumericEntityEscaper。

或者，更好的是，因为 apache 公共库往往是糟糕的 API** 并且无论如何都损坏了***，guava* 的 XmlEscapers

java 是 unicode，是的，但 'char' 是个谎言。 'char' 不代表字符；它代表一个单一的、无符号的 16 位数字。从j.l.String 对象中获取字符的实际方法不是charAt，这是用词不当；我是codepointAt，还有朋友们。

这（char 是假冒的）通常无关紧要；大多数实际字符适合 16 位 char 类型。但是当他们不这样做时，这很重要，并且那个表情符号不适合。在 java 使用的 unicode 模型和 char 类型中，您将获得 2 个 char 值（表示单个 unicode 字符）。这对称为“代理对”。

请注意，正确的方法往往适用于 int（毕竟，您需要 32 位来表示一个 unicode 符号）。

*) guava 有它自己的问题，因为它不积极地与自身向后兼容，它往往会导致依赖地狱。不幸的是，这是一种选择你的毒药的交易。

**) Utils-anything 通常是糟糕的 API 设计的标志； 'util' 作为一个术语几乎毫无意义，通常意味着您已经破坏了面向对象的模型。正确的模型当然是有一个对象来表示将数据以一种形式（例如，原始字符串）转换为另一种形式（例如，可以直接转储到 XML 文件中的字符串，转义并且很好）的过程 - 等等因此，事物将被称为“逃逸者”，并且可能存在于名为“逃逸者”或“文本”的包中。幸运的是，后来版本的 apache 库以及 guava 都“修复”了这个问题。

***) 正如这个示例所示，这些 API 通常不会按照您的意愿行事。注意 apache 是开源的；如果您希望这些 API 更好，它们会接受拉取请求 :)