使用java进行泰米尔语字符分割

Question

在下面的编码中，我尝试读取具有特定长度的行并写在另一个记事本上。这种编码适用于英文字符。但是对于泰米尔语字母，如果我尝试数数...它算作：

（例如）தமிழ்

它计为 5..（即）“த”、“ம”、“ி”、“ழ”和“்”。 但我想把它算作3（即）“த”，“மி”和“ழ்”

我想将此逻辑应用于文本文件中的多个单词......

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileReader;
import java.io.FileWriter;

public class ii {

public static void main(String[] args) {
FileReader fr = null;
BufferedReader br =null;
FileWriter fw=null;
BufferedWriter bw=null;

String [] stringArray;
int counLine = 0;
int arrayLength ;
String s="";
String stringLine="";

try{
    fr = new FileReader("F:\\New folder (2)\\N.txt");
    fw=new FileWriter("F:\\New folder (2)\\o.txt");
    br = new BufferedReader(fr);
    bw=new BufferedWriter(fw);
  while((s = br.readLine()) != null){
        stringLine = stringLine + s;
        stringLine = stringLine + " ";
        counLine ++;
    }
    stringArray = stringLine.split(" ");
    arrayLength = stringArray.length;
for (int i = 0; i < arrayLength; i++) {
        int c = 1 ;
        for (int j = i+1; j < arrayLength; j++) {
            if(stringArray[i].equalsIgnoreCase(stringArray[j])){
               c++;
               for (int j2 = j; j2 < arrayLength; j2++)
                  {
                   }}
         int k;
          for(k=2;k==stringArray[i].length();i++)
          {
          bw.write(stringArray[i]);
           bw.newLine();

          }}} fr.close();
        br.close();
        bw.flush();
        bw.close();
        }catch (Exception e) {
        e.printStackTrace();
        }}}

Answer 1

这是因为字符串计算了 unicode 标记和 unicode 字母。要忽略 unicode 标记，您可以使用如下正则表达式

import java.util.regex.*;
 ......
String word = "தமிழ்";
String regex = "[^\u0bbe-\u0bcd.]";
  Pattern r = Pattern.compile(regex);
  Matcher m = r.matcher(word);
    int count=0;
while (m.find())count++;
System.out.print(count);

Answer 2

一种方法是使用 BreakIterator 遍历字符，然后自己计算它们。 （未经测试的代码）

int characterCount = 0;
BreakIterator iterator = BreakIterator.getCharacterInstance();
iterator.setText("தமிழ்");
int boundary = iterator.first();

while (boundary != BreakIterator.DONE) {
    characterCount++;
    boundary = iterator.next();
}

另见http://docs.oracle.com/javase/tutorial/i18n/text/char.html

Answer 3

记事本默认不支持 UTF 字符。相反，它支持 ANSI。但是，您的问题不是因为这个。

您的程序应该知道它在读取或写入时将使用什么编码。没有魔法。您需要设置编码（例如 - UTF8）。 FileReader 的结构采用默认的平台编码，这显然不适合你。

我猜你需要 -

Reader reader = new InputStreamReader(new FileInputStream("c:/foo.txt"), "UTF-8");

Read file and write file which has characters in UTF - 8 (different language)

Answer 4

这基本上是由于编码问题而发生的，首先按照以下步骤更改您的java项目的文本文件编码

右键单击您的项目名称=>选择属性=>选择资源=>文本文件编码=>选择其他并选择UTF-8作为编码，

这将解决您的问题。