【发布时间】：2020-08-26 11:38:56
【问题描述】：
我正在处理一个问题陈述，我必须匹配（文本、图像）对。给定家具描述和家具图片，我不得不说它们是否相同。这是一个二元分类问题，但我必须结合文本和图像数据。 我正在尝试的一种可能的解决方案如下 在上图中，我将来自预训练的文本和图像模型的特征结合起来，并端到端地训练线性层。
有没有其他方法可以处理此类问题。任何线索都是最受欢迎的。非常感谢您的帮助。
【问题讨论】：
-
据我所知，一个带有 Convnet 的 RNN 通常是这样做的，所以看起来你走在正确的轨道上。
标签： machine-learning image-processing deep-learning nlp conv-neural-network