在java中将国际字符串转换为\u代码

Question

如何将国际（例如俄语）字符串转换为 \u 数字（unicode 数字）
例如\u041e\u041a 为 OK ？

Answer 1

有一个JDK tools通过命令行执行如下：

native2ascii -encoding utf8 src.txt output.txt

例子：

src.txt

بسم الله الرحمن الرحيم

output.txt

\u0628\u0633\u0645 \u0627\u0644\u0644\u0647 \u0627\u0644\u0631\u062d\u0645\u0646 \u0627\u0644\u0631\u062d\u064a\u0645

如果你想在你的 Java 应用程序中使用它，你可以把这个命令行包装成这样：

String pathSrc = "./tmp/src.txt";
String pathOut = "./tmp/output.txt";
String cmdLine = "native2ascii -encoding utf8 " + new File(pathSrc).getAbsolutePath() + " " + new File(pathOut).getAbsolutePath();
Runtime.getRuntime().exec(cmdLine);
System.out.println("THE END");

然后读取新文件的内容。

Answer 2

您可以使用org.apache.commons.lang.StringEscapeUtils 中的escapeJavaStyleString。

Answer 3

我也有这个问题。我有一些带有特殊字符的葡萄牙语文本，但这些字符已经是 unicode 格式（例如：\u00e3）。

所以我想将S\u00e3o 转换为São。

我是使用 apache commons StringEscapeUtils 完成的。正如@sorin-sbarnea 所说。可以下载here。

使用方法unescapeJava，像这样：

String text = "S\u00e3o"
text = StringEscapeUtils.unescapeJava(text);
System.out.println("text " + text);

（也有escapeJava的方法，不过这个是把unicode字符放在字符串里的。）

如果有人知道纯 Java 的解决方案，请告诉我们。

Answer 4

这是ArtB's answer的改进版：

    StringBuilder b = new StringBuilder();

    for (char c : input.toCharArray()) {
        if (c >= 128)
            b.append("\\u").append(String.format("%04X", (int) c));
        else
            b.append(c);
    }

    return b.toString();

此版本会转义所有非 ASCII 字符，并且可以正确处理低 Unicode 代码点，例如 Ä。

Answer 5

答案分三部分

1. 获取每个字符的 Unicode
2. 确定它是否在西里尔文页面中
3. 转换为十六进制。

要获取每个字符，您可以使用 charAt() 或 toCharArray() 方法遍历字符串。

for( char c : s.toCharArray() )

char 的值是 Unicode 值。

Cyrillic Unicode 字符是以下范围内的任何字符：

Cyrillic:            U+0400–U+04FF ( 1024 -  1279)
Cyrillic Supplement: U+0500–U+052F ( 1280 -  1327)
Cyrillic Extended-A: U+2DE0–U+2DFF (11744 - 11775)
Cyrillic Extended-B: U+A640–U+A69F (42560 - 42655)

如果在此范围内，则为西里尔文。只需执行 if 检查。如果它在范围内，请使用Integer.toHexString() 并在前面加上"\\u"。放在一起应该是这样的：

final int[][] ranges = new int[][]{ 
        {  1024,  1279 }, 
        {  1280,  1327 }, 
        { 11744, 11775 }, 
        { 42560, 42655 },
    };
StringBuilder b = new StringBuilder();

for( char c : s.toCharArray() ){
    int[] insideRange = null;
    for( int[] range : ranges ){
        if( range[0] <= c && c <= range[1] ){
            insideRange = range;
            break;
        }
    }

    if( insideRange != null ){
        b.append( "\\u" ).append( Integer.toHexString(c) );
    }else{
        b.append( c );
    }
}

return b.toString();

---

编辑： 可能应该检查c < 128 并反转if 和else 主体；你可能应该转义所有不是 ASCII 的东西。我在阅读您的问题时可能过于直白了。

Answer 6

Java 附带一个名为native2ascii 的命令行工具。这会将 unicode 文件转换为 ASCII 转义文件。我发现这是为本地化生成 .properties 文件的必要步骤。

Answer 7

如果您需要它来编写.properties 文件，您只需将字符串添加到属性对象中，然后将其保存到文件中。它将负责转换。

Answer 8

Apache commons StringEscapeUtils.escapeEcmaScript(String) 返回一个使用 \u 表示法转义的 unicode 字符的字符串。

"Art of Beer ? ?" -> "Art of Beer \u1F3A8 \u1F37A"

Answer 9

有一个开源 java 库 MgntUtils 有一个实用程序，可以将字符串转换为 unicode 序列，反之亦然：

result = "Hello World";
result = StringUnicodeEncoderDecoder.encodeStringToUnicodeSequence(result);
System.out.println(result);
result = StringUnicodeEncoderDecoder.decodeUnicodeSequenceToString(result);
System.out.println(result);

这段代码的输出是：

\u0048\u0065\u006c\u006c\u006f\u0020\u0057\u006f\u0072\u006c\u0064
Hello World

该库可以在Maven Central 或Github 找到它作为 maven 工件并带有源代码和 javadoc

这是StringUnicodeEncoderDecoder类的javadoc

Answer 10

只是一些基本的方法（灵感来自 native2ascii 工具）：

/**
 * Encode a String like äöü to \u00e4\u00f6\u00fc
 * 
 * @param text
 * @return
 */
public String native2ascii(String text) {
    if (text == null)
        return text;
    StringBuilder sb = new StringBuilder();
    for (char ch : text.toCharArray()) {
        sb.append(native2ascii(ch));
    }
    return sb.toString();
}

/**
 * Encode a Character like ä to \u00e4
 * 
 * @param ch
 * @return
 */
public String native2ascii(char ch) {
    if (ch > '\u007f') {
        StringBuilder sb = new StringBuilder();
        // write \udddd
        sb.append("\\u");
        StringBuffer hex = new StringBuffer(Integer.toHexString(ch));
        hex.reverse();
        int length = 4 - hex.length();
        for (int j = 0; j < length; j++) {
            hex.append('0');
        }
        for (int j = 0; j < 4; j++) {
            sb.append(hex.charAt(3 - j));
        }
        return sb.toString();
    } else {
        return Character.toString(ch);
    }
}

Answer 11

如果使用此 JavaScript 代码，您可能会破解：

/* convert ? to \uD83D\uDE4C */
function text_to_unicode(string) {
  'use strict';

  function is_whitespace(c) { return 9 === c || 10 === c || 13 === c || 32 === c;  }
  function left_pad(string) { return Array(4).concat(string).join('0').slice(-1 * Math.max(4, string.length)); }

  string = string.split('').map(function(c){ return "\\u" + left_pad(c.charCodeAt(0).toString(16).toUpperCase()); }).join('');

  return string;
}


/* convert \uD83D\uDE4C to ? */
function unicode_to_text(string) {
  var  prefix = "\\\\u"
     , regex  = new RegExp(prefix + "([\da-f]{4})","ig")
     ; 

  string = string.replace(regex, function(match, backtrace1){
    return String.fromCharCode( parseInt(backtrace1, 16) )
  });

  return string;
}

来源：iCompile - Yet Another JavaScript Unicode Encode/Decode

Answer 12

此类型名称为解码/非转义 Unicode。 这个site link在线转换器。