使用 CNN Conv1D 了解 TimeseriesGenerator

Question

我是 Keras 和 CNN 的新手，我不明白如何正确构建 CNN 网络。

上下文： 我使用 39 个特征的时间序列，我想使用 3 个滞后数据。另外，我的问题是多步输出，所以我想预测 48 个输出。 我使用 TimeseriesGenerator 创建模型输入（使用 this article for reference）。

这是我的代码：

generator = TimeseriesGenerator(
        inputs,
        outputs,
        length=6,
        batch_size=1,
)

这是我的模型构建：

model = Sequential()
model.add(
    Conv1D(
        filters=64,
        kernel_size=5,
        strides=1,
        activation="relu",
        padding="valid",
        input_shape=(6, 39),
        use_bias=True,
    )
)
model.add(MaxPooling1D(pool_size=2))
model.add(
    Conv1D(
        filters=64,
        kernel_size=5,
        strides=1,
        activation="relu",
        padding="valid",
        use_bias=True,
    )
)
model.add(MaxPooling1D(pool_size=2))
model.add(Flatten())
model.add(Dense(units=100, activation="relu",))
model.add(Dense(units=self.__n_steps_out, activation="softmax",))


model.compile(
    optimizer="adam", loss="categorical_crossentropy", metrics=["accuracy"]
)


model.fit_generator(
    generator, steps_per_epoch=1, epochs=100,
)

问题： 我知道内核大小（具有有效填充）不能高于 ts 生成器中指定的滞后数。 但是在设置内核大小=5 时出现尺寸错误

ValueError: Negative dimension size caused by subtracting 5 from 1 for '{{node conv1d_1/conv1d}} = Conv2D[T=DT_FLOAT, data_format="NHWC", dilations=[1, 1, 1, 1], explicit_paddings=[], padding="VALID", strides=[1, 1, 1, 1], use_cudnn_on_gpu=true](conv1d_1/conv1d/ExpandDims, conv1d_1/conv1d/ExpandDims_1)' with input shapes: [?,1,1,64], [1,5,64,64].

我发现我的 CNN 结构只有在 kernel_size 设置为 2 时才是正确的，不明白为什么它在工作，但当我增加值时却不是......

谁能解释一下 TimeseriesGenerator 和 Conv1D 层的输入和输出？

Answer 1

这是因为您过于激进地缩减尺寸。由于您的输入维度是(6, 39)，那么在第一个Conv1D 之后它的维度为(2, 64)，然后在第一个MaxPooling1D 之后它减少到(1, 64)。因此，在第二个 Conv1D 与 kernel_size=5 和 padding='valid' 之后，您将得到 (1-5, 64) 维度，错误实际上试图对您说什么。

您可以分别使用Conv2D 和Maxpooling2D 而不是Conv1D 和Maxpooling1D，并将时间维度设置为1。以下是如何执行此操作的示例：

from tensorflow.keras import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Dense, Flatten
from tensorflow.keras.preprocessing.sequence import TimeseriesGenerator
import numpy as np

if __name__ == '__main__':

    inputs = np.random.rand(1000, 39, 1)
    outputs = np.random.rand(1000, 1, 1)

    generator = TimeseriesGenerator(
        inputs,
        outputs,
        length=6,
        batch_size=10,
    )

    model = Sequential()
    model.add(
        Conv2D(
            filters=64,
            kernel_size=(1, 5),
            strides=1,
            activation="relu",
            padding="valid",
            input_shape=(6, 39, 1),
            use_bias=True,
        )
    )
    model.add(MaxPooling2D(pool_size=(1, 2)))
    model.add(
        Conv2D(
            filters=64,
            kernel_size=(1, 5),
            strides=1,
            activation="relu",
            padding="valid",
            use_bias=True,
        )
    )
    model.add(MaxPooling2D(pool_size=(1, 2)))
    model.add(Flatten())
    model.add(Dense(units=100, activation="relu", ))
    model.add(Dense(units=1, activation="softmax", ))

    model.summary()

    model.compile(
        optimizer="adam", loss="categorical_crossentropy", metrics=["accuracy"]
    )

    model.fit_generator(
        generator, steps_per_epoch=1, epochs=100,
    )