fasttext 模型将挪威文本检测为丹麦语 [关闭]

Question

我正在使用 fasttext (v=0.9.1) 来检测文本的语言（请参阅 this）。

使用此模型时，挪威语文本被检测为丹麦语。

!curl "https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin" > lid.bin

import fastText
language_detector=fastText.load_model('lid.bin')
language_detector.predict('Hei Jeg viser til hyggelig sam', k=3)

输出：

(('__label__da', '__label__no', '__label__hu'),
array([9.16624188e-01, 8.25065151e-02, 2.37607688e-04]))

有什么帮助吗？

Answer 1

看来区分挪威语和丹麦语很困难（见this）。

fastText 不是特别适合这个任务。

你可以尝试使用polyglot，一个专门用于多语言NLP的python库。

from polyglot.detect import Detector

detector = Detector('Hei Jeg viser til hyggelig sam')
print(detector)

输出：

Prediction is reliable: True
Language 1: name: Norwegian   code: no       confidence:  96.0 read bytes:  1189
Language 2: name: un          code: un       confidence:   0.0 read bytes:     0
Language 3: name: un          code: un       confidence:   0.0 read bytes:     0

一点注意：如果你安装了 polyglot，请注意依赖关系（阅读 this 和 this）。