Tensorflow 2.0 将 nlp 的预处理 tonkezier 保存到 tensorflow 服务器中答案

【问题标题】：Tensorflow 2.0 save preprocessing tonkezier for nlp into tensorflow serverTensorflow 2.0 将 nlp 的预处理 tonkezier 保存到 tensorflow 服务器中
【发布时间】：2019-12-31 17:47:36
【问题描述】：

我已经训练了一个 tensforflow 2.0 keras 模型来进行一些自然语言处理。

我所做的基本上是获取不同新闻的标题并预测它们属于哪个类别。为此，我必须对句子进行标记，然后添加 0 以填充数组以具有我定义的相同长度：

 from tensorflow.keras.preprocessing.text import Tokenizer
 from tensorflow.keras.preprocessing.sequence import pad_sequences

 max_words = 1500
 tokenizer = Tokenizer(num_words=max_words )
 tokenizer.fit_on_texts(x.values)
 X = tokenizer.texts_to_sequences(x.values)
 X = pad_sequences(X, maxlen = 32)

  from tensorflow.keras import Sequential
  from tensorflow.keras.layers import Dense, Embedding, LSTM, GRU,InputLayer

  numero_clases = 5

  modelo_sentimiento = Sequential()
  modelo_sentimiento.add(InputLayer(input_tensor=tokenizer.texts_to_sequences, input_shape=(None, 32)))
  modelo_sentimiento.add(Embedding(max_palabras, 128, input_length=X.shape[1]))
  modelo_sentimiento.add(LSTM(256, dropout=0.2, recurrent_dropout=0.2, return_sequences=True))
  modelo_sentimiento.add(LSTM(256, dropout=0.2, recurrent_dropout=0.2))

  modelo_sentimiento.add(Dense(numero_clases, activation='softmax'))
  modelo_sentimiento.compile(loss = 'categorical_crossentropy', optimizer='adam',
                            metrics=['acc',f1_m,precision_m, recall_m])
  print(modelo_sentimiento.summary())

现在一旦受过训练，我想将它部署在 tensorflow 服务中，但我不知道如何将这个预处理（标记器）保存到服务器中，比如制作一个 scikit-learn 管道，可以在这里做?还是我必须保存分词器并自己进行预处理，然后调用经过训练的模型进行预测？

【问题讨论】：

标签： tensorflow machine-learning deep-learning tensorflow-serving

【解决方案1】：

不幸的是，您将无法轻松地使用 Keras 模型（至少我不知道）做像 sklearn 管道这样优雅的事情。当然，您可以创建自己的 Transformer 来实现您需要的预处理。但鉴于我尝试将自定义对象合并到 sklearn 管道中的经验，我认为这不值得。

您可以做的是将标记器与元数据一起保存，

with open('tokenizer_data.pkl', 'wb') as handle:
    pickle.dump(
        {'tokenizer': tokenizer, 'num_words':num_words, 'maxlen':pad_len}, handle)

然后在你想用的时候加载它，

with open("tokenizer_data.pkl", 'rb') as f:
    data = pickle.load(f)
    tokenizer = data['tokenizer']
    num_words = data['num_words']
    maxlen = data['maxlen']

【讨论】：