Keras Tokenizer num_words 指定了什么？

Question

鉴于这段代码：

from tensorflow.keras.preprocessing.text import Tokenizer

sentences = [
    'i love my dog',
    'I, love my cat',
    'You love my dog!'
]

tokenizer = Tokenizer(num_words = 1)
tokenizer.fit_on_texts(sentences)
word_index = tokenizer.word_index
print(word_index)

无论是num_words=1 还是num_words=100，当我在我的jupyter notebook 上运行这个单元格时，我得到相同的输出，我似乎无法理解它在标记化方面有什么不同。

{“爱”：1，“我”：2，“我”：3，“狗”：4，“猫”：5，“你”：6}

Answer 1

word_index 它只是一个单词到 ids 的映射，用于传递的整个文本语料库，无论 num_words 是什么

区别在用法上很明显。例如，如果我们调用 texts_to_sequences

sentences = [
    'i love my dog',
    'I, love my cat',
    'You love my dog!'
]

tokenizer = Tokenizer(num_words = 1+1)
tokenizer.fit_on_texts(sentences)
tokenizer.texts_to_sequences(sentences) # [[1], [1], [1]]

只返回love id，因为出现频率最高的词

改为

sentences = [
    'i love my dog',
    'I, love my cat',
    'You love my dog!'
]

tokenizer = Tokenizer(num_words = 100+1)
tokenizer.fit_on_texts(sentences)
tokenizer.texts_to_sequences(sentences) # [[3, 1, 2, 4], [3, 1, 2, 5], [6, 1, 2, 4]]

返回频率最高的100个词的id