Keras 标记器如何处理看不见的数据？

【问题标题】：How does Keras tokenizer handle unseen data?Keras 标记器如何处理看不见的数据？
【发布时间】：2019-09-13 06:08:12
【问题描述】：

假设我已经用一些词汇训练了一个分词器，现在 keras tokenizer() 在遇到词汇表（训练数据）中不存在的词时究竟会做什么，它会忽略它吗？

【问题讨论】：

【解决方案1】：

根据文档，如果您设置了 oov_token，您应该能够处理看不见的单词。

oov_token`: if given, it will be added to word_index and used
            to replace out-of-vocabulary words during text_to_sequence calls

【讨论】：