Keras 中的 Lambda 层与 keras.backend.one_hot 给出 TypeError

Question

我正在尝试使用 Keras 训练字符级 CNN。我将一个单词作为输入。我已经将单词转换为索引列表，但是当我尝试将其输入one_hot 时，我得到了TypeError。

>>> X_train[0]
array([31, 14, 23, 29, 27, 18, 12, 30, 21, 10, 27,  0,  0,  0,  0,  0,  0,
        0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
        0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
        0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
        0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,
        0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0,  0], dtype=uint8)
>>> X_train.shape
(2226641, 98)

但是当我尝试像这样创建我的模型时：

k_model = Sequential()
k_model.add(Lambda(K.one_hot, arguments={'num_classes': 100}, input_shape=(98,), output_shape=(98,100)))
k_model.add(Conv1D(filters=16, kernel_size=5, strides=1, padding='valid'))

我收到TypeError: Value passed to parameter 'indices' has DataType float32 not in list of allowed values: uint8, int32, int64。

它显然没有达到甚至读取 X_train 的程度，那么它在哪里获得浮点值？

我想要(98, 100) 的实例形状，其中 100 是类的数量。

我无法将整个数据集放入内存中。

Answer 1

我会建议一个更清洁的解决方案，可以达到相同的结果，怎么样：

k_model.add(Embedding(num_classes, num_classes,
                      embeddings_initializer='identity',
                      trainable=False,
                      name='onehot'))

您实际上是在嵌入东西，使用具有固定权重的东西会更有意义。它还为您提供了让嵌入在未来可训练的灵活性。