Centos中安装kenlm

注意：下面缺少任何一个依赖包都不能安装成功，建议在线安装，让系统自动配置。CentOS和Ubuntu安装的包有所不同

1、安装boost

yum install boost-devel boost-test boost
# 如果boost的依赖包没有安装完整，安装过程中可能会出现以下错误
# /usr/share/cmake/Modules/FindBoost.cmake:1138 (message): Unable to find the requested Boost libraries

2、安装 zlib、bzip2和xz

yum install zlib bzip2 xz

3、安装cmak和make

yum install cmake make

4、安装kenlm

# kenlm介绍
http://kheafield.com/code/kenlm/

# 下载kenlm
https://github.com/kpu/kenlm/

# 将kenlm-master.zip下载到/usr/local目录下
# 解压zip
unzip kenlm-master.zip
# 重新命名为kenlm
mv kenlm-master kenlm
# 进入kenlm
cd kenlm
# 建立目录
mkdir bulid
# 进入bulid，使用cmake编译，生成程序库
cmake ..
# 接着进行make编译
make

5、安装kenlm的python安装包

# 进入kenlm
pip setup.py install

6、简单使用

6.1 数据

# test数据，注意词必须要用空格隔开

# test
河南大学真棒
中国人民我爱你
北京欢迎您

6.2 训练模型

# 训练模型，输出的模型为test.arpa
# 注意：lmplz是在bulid的bin目录下，不是在kenlm下，“<”表示将文件作为命令的参数输入，“>”表示输出到指定文件
bin/lmplz -o 3 <test >test.arpa
# 也可以使用如下命令
bin/lmplz -o 3 --verbose_header --text test --arpa test.arpa

# 如果出现下面问题，添加--discount_fallback参数，即 bin/lmplz -o 3 --discount_fallback <test >test.arpa
Could not calculate Kneser-Ney discounts for 3-grams with adjusted count 4 because we didn't observe any 3-grams with adjusted count 3; Is this small or artificial data?
Try deduplicating the input. To override this error for e.g. a class-based model, rerun with --discount_fallback

Centos中安装kenlm

6.3 使用python

# test.py
import kenlm
model = kenlm.Model('test.arpa')
print(model.score('中国', bos=False, eos=False))

Centos中安装kenlm

参考网站： https://kexue.fm/archives/3956