向 keras 中的图像分类器添加比图像更多的信息

Question

我正在尝试使用 keras 制作一个图像分类器来预测乳腺癌病例，直到这里我遇到了一些麻烦，因为它不是一个“简单”的分类器，我无法使用 keras 的传统方法来做到这一点。所以我试图添加更多的信息，而不仅仅是一个图像，比如一个数组 [图像、年龄、密度]。我是新手，所以我不知道是否有可能或如何寻找正确的方法来做到这一点，我正在尝试这样做：

X = np.array(X) \\ the image

y = np.array(y) \\ an array with 1 or 0 (cancer or not)

z = np.array(z) \\ the density of the breast

\所有数组对应于相同的情况，例如X[0]是图像y[0]，如果这种情况是癌症，z[0]是这种情况下的密度

model = Sequential()

model.add(Conv2D(64,(3,3), activation = 'relu'))
model.add(MaxPooling2D((2,2)))

model.add(Conv2D(64,(3,3), activation = 'relu'))
model.add(MaxPooling2D((2,2)))

model.add(Flatten())

model.add(Dense(128, input_shape = X.shape[1:],activation = 'relu'))
model.add(Dense(2,activation = 'softmax')) 
model.compile(optimizer = 'adam', loss = 'sparse_categorical_crossentropy', metrics = ['accuracy'])


model.fit(X,z,y, epochs = 20) // i actually don't know how to give the information to the model

这是错误：

具有多个元素的数组的真值是不明确的。使用a.any() 或a.all()

Answer 1

Fit 不采用这样的参数。如果你看function definition第一个参数是输入，第二个是目标预测，第三个是batch size。

您应该做的是连接 X 和 z（以及任何其他信息），因为它们都是输入数据。例如

Xz = np.concatenate((X, z[..., np.newaxis]), axis=-1)

注意：z[..., np.newaxis] 采用大小为[H, W] 的数组并将其设为[H, W, 1]，以便您可以将它与X 连接，我假设它是一个形状为[H,W,3] 的RGB 图像。如果是灰度，就忽略这个，简单使用z。

您最终想要的是具有维度 [H,W,C] 的输入，其中 C 是所有数据的维度，例如[红色、绿色、蓝色、年龄、密度等]。在网络设计的最后一层注入非图像信息（例如年龄）可能更有意义（例如，注入 Dense(128)）