NLP 的 MITIE 库

Question

我正在尝试了解 MITIE 如何与 Rasa 集成。我想知道 MITIE 文件 total_word_feature_extractor.dat 到底包含什么？我没有找到任何关于此的好的文档。

谢谢！

Answer 1

如果您在 Github 上的 MITIE repo 中深入了解，您可以找到答案。例如，这里有一个bit of information，关于该文件中的内容。

至于里面是什么，是的，它是 word2vec 的变体，基于本文中的两步 CCA 方法：http://icml.cc/2012/papers/763.pdf。我还升级了它以包含类似于 CCA 方法的东西，但通过分析它们的形态来产生一个词向量来处理样本外的词。这显着改善了包含大量不在原始字典中的单词的数据集的结果。

至于 MITIE 如何与 Rasa 集成，它是 Rasa 的 few backend choices 之一。它提供了一个few pipeline components，可以同时进行意图分类和NER。两者都使用 SVM 并使用 total_word_feature_extractor.dat 来提供单个词向量。