使用 SRILM 为僧伽罗语创建语言模型的问题

Question

我正在尝试使用 pocketsphinx 创建一个僧伽罗语语音识别系统。我使用 SRILM 工具来创建语言模型。我创建语言模型的源文件是 Here 。我在 Windows 8.1 上使用 cygwin 来运行 SRILM 1.7.1。但是一旦我运行命令

ngram-count -vocab sinhalalexicon.txt -text sinhalacorpus.Train -order 3     -write sinhala.count -unk

我来了

iconv: Invalid or incomplete multibyte or wide character
iconv: Invalid or incomplete multibyte or wide character

我在这里做错了什么？ sinhalacorpus.Train 文件是使用 Notepad++ 手动创建的

Answer 1

我找到了解决问题的方法。一旦我将语料库和词典文件转换为 Unix 格式 并将编码更改为 UTF-8 without BOM 就可以了。我使用 Notepad++ 进行更改。