lucene中文分词-SmartChineseAnalyzer

SmartChineseAnalyzer：

　　应用概率的知识，对中英文混合的文本进行分词操作，先将文本进行分句，再分别对每句话进行分词。

　　这个分词器是基于隐马尔科夫模型而设计的，并使用了大量的语料进行中文词频的统计，同时包含了来自 ICTCLAS1.0的统计数据作为词典。