如何将不使用空格的泰语句子拆分成单词？答案

【问题标题】：How to split a Thai sentence, which does not use spaces, into words?如何将不使用空格的泰语句子拆分成单词？
【发布时间】：2012-11-29 08:44:56
【问题描述】：

如何从泰语句子中拆分单词？英文我们可以用空格分割单词。

示例：I go to school, split = ['I', 'go', 'to' ,'school'] 仅查看空格进行拆分。

但是泰语没有空间，所以我不知道该怎么做。示例将 ฉันจะไปโรงเรียน 吐出 txt 文件到 ['ฉัน' 'จะ' 'ไป' 'โรง' 'เรียน'] = 输出另一个 txt 文件。

是否有任何程序或库可以识别泰语单词边界和拆分？

【问题讨论】：

这是一个人的解决方案：issues.apache.org/jira/browse/LUCENE-503
如果没有token，就不能这样拆分字符串。
这不会是一个内置于 C 或 Python 之类的语言中的简单工具 - 需要一个包含泰语详细知识的库（我想这是存在的）。
@Mike - IMO 应作为答案发布（图书馆链接）。
@djechlin 好的，你扭伤了我的胳膊。 ;-)

标签： string parsing split nlp

【解决方案1】：

2006 年，有人为 Apache Lucene 项目贡献了代码来完成这项工作。

他们的方法（用 Java 编写）是使用 BreakIterator 类，调用 getWordInstance() 来获取泰语的基于字典的单词迭代器。另请注意，对ICU4J 项目有一个声明的依赖关系。我在下面粘贴了他们代码的相关部分：

  private BreakIterator breaker = null;
  private Token thaiToken = null;

  public ThaiWordFilter(TokenStream input) {
    super(input);
    breaker = BreakIterator.getWordInstance(new Locale("th"));
  }

  public Token next() throws IOException {
    if (thaiToken != null) {
      String text = thaiToken.termText();
      int start = breaker.current();
      int end = breaker.next();
      if (end != BreakIterator.DONE) {
        return new Token(text.substring(start, end), 
            thaiToken.startOffset()+start,
            thaiToken.startOffset()+end, thaiToken.type());
      }
      thaiToken = null;
    }
    Token tk = input.next();
    if (tk == null) {
      return null;
    }
    String text = tk.termText();
    if (UnicodeBlock.of(text.charAt(0)) != UnicodeBlock.THAI) {
      return new Token(text.toLowerCase(), 
                       tk.startOffset(), 
                       tk.endOffset(), 
                       tk.type());
    }
    thaiToken = tk;
    breaker.setText(text);
    int end = breaker.next();
    if (end != BreakIterator.DONE) {
      return new Token(text.substring(0, end), 
          thaiToken.startOffset(), 
          thaiToken.startOffset()+end,
          thaiToken.type());
    }
    return null;
  }

【讨论】：

仅供参考，如果您阅读 Lucene 跟踪器的历史记录，您会发现对 ICU4J 的依赖已从最终代码中删除。它只使用标准的 Java 库。但是，如果您要在非 Java 平台上执行此操作，则可以使用 ICU 项目。

【解决方案2】：

中文和日文最简单的分割器是使用基于贪心字典的方案。这对泰语应该也适用——获取泰语单词字典，并在当前字符处匹配字典中存在的该字符的最长字符串。这会让你成为一个相当不错的分割器，至少在中文和日文中是这样。

【讨论】：

在中文和日文中，音节中断的位置非常清楚。泰语在这方面要复杂一些。

【解决方案3】：

有多种方法可以进行“泰语单词标记化”。一种方法是使用基于字典或基于模式的。在这种情况下，算法会遍历字符，如果它出现在字典中，我们就会算作一个单词。

此外，最近还有一些库可以标记泰语文本，它训练深度学习在 BEST corpus 上标记泰语单词，包括 rkcosmos/deepcut、pucktada/cutkum 等。

deepcut的用法示例：

import deepcut
deepcut.tokenize('ฉันจะไปโรงเรียน')
# output as ['ฉัน', 'จะ', 'ไป', 'โรง', 'เรียน']

【讨论】：

【解决方案4】：

以下是使用 Kotlin 和 ICU4J 将泰语文本拆分为单词的方法。 ICU4J 是比 Lucene 的版本（最后更新 6/2011）更好的选择，因为 ICU4J 不断更新并且有额外的相关工具。在mvnrepository.com 搜索icu4j 以查看所有内容。

 fun splitIntoWords(s: String): List<String> {
    val wordBreaker = BreakIterator.getWordInstance(Locale("th"));
    wordBreaker.setText(s)
    var startPos = wordBreaker.first()
    var endPos = wordBreaker.next()

    val words = mutableListOf<String>()

    while(endPos != BreakIterator.DONE) {
        words.add(s.substring(startPos,endPos))
        startPos = endPos
        endPos = wordBreaker.next()
    }

    return words.toMutableList()
}

【讨论】：