NLTK / Python：将文本标记为固定标记长度

Question

我正在尝试编写一个简单的 python 脚本来导入 *.txt 文件并使用 NLTK 模块对其进行标记。

我面临的挑战是必须对完整的语料库进行标记，但每个标记的长度必须小于或等于 200 个字符 - NLTK 工具箱中是否有可以实现此目的的本机函数？

一个例子： 将前几段标记为“战争与和平”会产生以下 303 个字符长的标记

token = ["But I warn you, if you don't tell me that this means war, if you still try to defend the infamies and horrors perpetrated by that Antichrist--I really believe he is Antichrist--I will have nothing more to do with you and you are no longer my friend, no longer my 'faithful slave,' as you call yourself"]

它仍然包含标点符号（逗号、连字符），我可以编写一个函数来使用这些类型的断点分解句子，我的问题是 NLTK（或其他语言解析器？）中是否已经存在本机功能会这样做并有效地处理极端情况吗？

Answer 1

我不确定您要做什么，但如果您只想标记少于 200 个字符的单词：

import nltk
with open('somefile.txt','r') as fp:
    tokenized_text = [word for word in nltk.tokenize.word_tokenize(fp.read()) if len(word) <= 200]

它将仅保留少于或等于 200 个字符的标记并丢弃其余标记。如果您需要更多的控制粒度，您可能需要查看正则表达式。
附言抱歉，如果我误解了您的问题。