在python中为3d-CNN创建5维输入形状[重复]

Question

我有一个包含 460 张图像的 15 类数据集。我想将每 8 个图像序列同时输入到相同的 CNN 结构中。我使用 conv3d 来做到这一点，但我对输入形状感到困惑，它返回错误。 这是我的模型：

IMAGE_DIMS = (8, 460, 60, 60, 3)
data = []
labels = []

# loading images...
imagePaths = "dataset\\path"
listing = os.listdir(imagePaths)

for imagePath in listing:

    image_fold = os.listdir(imagePaths + "\\" + imagePath)
    for file in image_fold:
        im = (imagePaths + "\\" + imagePath + "\\" + file)
        image = cv2.imread(im)
        image = cv2.resize(image, (IMAGE_DIMS[2], IMAGE_DIMS[3]))
        image = img_to_array(image)
        data.append(image)

        label= imagePath.split(os.path.sep)[-1]
        labels.append(label)
# scale the raw pixel intensities to the range [0, 1]
data = np.array(data, dtype="float") / 255.0
labels = np.array(labels)

# binarize the labels
lb = LabelBinarizer()
labels = lb.fit_transform(labels)
(trainX, testX, trainY, testY) =     train_test_split(data, labels, test_size=0.2, random_state=42)


model = Sequential()
sample= IMAGE_DIMS[0]
frame=IMAGE_DIMS[1]
height = IMAGE_DIMS[2]
width=IMAGE_DIMS[3]
channels=IMAGE_DIMS[4]
classes=len(lb.classes_)

inputShape = (sample, frame, height, width, channels)
chanDim = -1

if K.image_data_format() == "channels_first":
    inputShape = (sample, frame, channels, height, width)
    chanDim = 1

model.add(Conv3D(32, (3, 3, 3),    padding="same", batch_input_shape=inputShape))
model.add(Activation("relu"))
model.add(BatchNormalization(axis=chanDim))
model.add(MaxPooling3D(pool_size=(2, 2, 2),    padding="same", data_format="channels_last"))
model.add(Dropout(0.25))

model.add(Conv3D(64, (3, 3, 3), padding="same"))
model.add(Activation("relu"))
model.add(BatchNormalization(axis=chanDim))
model.add(MaxPooling3D(pool_size=(2, 2, 2),    padding="same", data_format="channels_last"))
model.add(Dropout(0.25))

model.add(Flatten())
model.add(Dense(128))
model.add(Activation("relu"))
model.add(BatchNormalization())
model.add(Dropout(0.5))

# softmax classifier
model.add(Dense(classes))
model.add(Activation("softmax"))
model.summary()

opt = Adam(lr=INIT_LR, decay=INIT_LR / EPOCHS)
  model.compile(loss="categorical_crossentropy",   optimizer= opt, metrics=["accuracy"])

H = model.fit(trainX, trainY, batch_size=BS, epochs=EPOCHS, verbose=1,validation_data (testX,testY))

这是我的模型摘要：

但我收到以下错误：

ValueError: Error when checking input: expected conv3d_1_input to have 5 dimensions, but got array with shape (368, 60, 60, 3)

我该如何解决这个错误，任何人都可以帮助我，我将感谢任何帮助。我知道输入形状的问题，编译器参考model.fit 步骤。我认为 trainX、testX、trainY、testY 必须是 5-dim，但我做不到。

Answer 1

如果我理解正确，您希望使用 8 张图像来拟合您的模型，这实际上称为 batch。所以当你调用model.fit()方法时设置batch_size = 8。我认为您感到困惑的另一点是输入形状。如果您想让图像适合网络，您的输入形状是图像的height x width 和通道数，在您的情况下为 RGB。所以，集合input_shape = (3, 60, 60)。请注意，网络结构不包括其中的图像总数。因为NN结构不需要知道训练数是多少。当您将训练图像拟合到网络时，它只需要 batch 并完成训练工作。最后，您需要使用 2D，而不是使用 3D 卷积层。将其视为在训练图像上移动的 2D 帧，并为每个通道进行移动。因此，帧大小需要有一个 2D 形状，设置为(x, x)。这个框架在documents中被称为内核。

以下代码只是一个示例，未经测试。我希望它有助于理解结构：

model = Sequential()
model.add(Conv2D(32, (3, 3), input_shape=(3, 60, 60)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(number_of_classes))
model.add(Activation('softmax'))