【发布时间】:2019-01-06 02:16:07
【问题描述】:
我正在使用下面的函数来计算逆项频率。
all_tokens_set = set([item for sublist in tokenized_documents for item in sublist])
def inverse_document_frequencies(tokenized_documents):
idf_values = {}
global dfInv
dfInv = pd.DataFrame()
tokenized_documents = [tokenize(d) for d in words]
all_tokens_set = set([item for sublist in tokenized_documents for item in sublist])
for tkn in all_tokens_set:
contains_token = map(lambda doc: tkn in doc, tokenized_documents)
idf_values[tkn] = 1 + math.log(len(tokenized_documents)/(sum(contains_token)))
dfInv=pd.DataFrame(data ={'tkn':contains_token,'idf_values':idf_values[tkn]})
return dfInv
inverse_document_frequencies(total_all)
total_all 是一个列表。
我收到以下错误消息:
TypeError: 'map' 类型的对象没有 len()
【问题讨论】:
标签: python python-3.x