python的函数是什么意思，基本上就是找出函数需要什么时候以及如何使用

Question

def tokenize_corpus(corpus, num_words=-1):
    # Fit a Tokenizer on the corpus
    if num_words > -1:
        tokenizer = Tokenizer(num_words=num_words)
    else:
        tokenizer = Tokenizer()
    tokenizer.fit_on_texts(corpus)
    return tokenizer

函数试图做什么？我理解“else”之后的部分，但在此之前我无法理解，请有人解释一下。

Answer 1

Tokenizer 是一个文本标记化实用程序类。

这个类允许通过将每个文本转换为整数序列或向量来对文本语料库进行向量化

参数 num_words：要保留的最大单词数，基于词频。只会保留最常见的 num_words-1 个单词。

UPD : 这里使用 num_words tokenize_corpus 参数作为标志，-1 表示不使用 num words Tokenize 参数，否则使用 [它只是糟糕的实现]

更多：https://keras.io/api/preprocessing/text/

Coursera 教程【推荐】：https://www.coursera.org/lecture/natural-language-processing-tensorflow/working-with-the-tokenizer-VEUJX