如何制作文本文件（或其他文件）解析器？ [关闭]

Question

我有以下任务要做：填写拼写检查字典（简单的 txt 文件）我需要解析器 应该： - 在文本文件（或其他类型的文档）中解析，提取 每个单词，然后使用简单的单词列表创建文本文件，如下所示： 阿法夫 阿法斯达法 adfasfdasdf 广告 ... ETC 你会建议什么脚本语言和库？如果可能，请给出代码示例（特别是用于提取每个单词）。谢谢！

Answer 1

您想要的不是解析器，而是分词器。这可以用任何语言用一堆正则表达式来完成，但我推荐 Python 和NLTK：

>>> from nltk.tokenize import word_tokenize
>>> word_tokenize('Hello, world!')
['Hello', ',', 'world', '!']

一般来说，几乎所有NLP 工具包都将包含一个标记器，因此无需重新发明轮子；标记化并不难，但它涉及编写大量启发式方法来处理所有异常，例如缩写词、首字母缩略词等。