LSTM/GRU 自动编码器收敛
目标 尝试在多变量时间序列的数据集上运行 LSTM 自动编码器: X_train (200, 23, 178) - X_val (100, 23, 178) - X_test (100, 23, 178) 现状 普通的自动编码器比 LSTM AE 的简单架构可以获得更好的结果。 我对如何使用 Repeat Vector 包装层有一些疑问,据我了解,该包装层应该简单地重复次数等于序列长度的最后一个状... »
目标 尝试在多变量时间序列的数据集上运行 LSTM 自动编码器: X_train (200, 23, 178) - X_val (100, 23, 178) - X_test (100, 23, 178) 现状 普通的自动编码器比 LSTM AE 的简单架构可以获得更好的结果。 我对如何使用 Repeat Vector 包装层有一些疑问,据我了解,该包装层应该简单地重复次数等于序列长度的最后一个状... »
我正在尝试在 Keras 中创建一个自定义的 Dense 层,以在自动编码器中绑定权重。我已经尝试在卷积层here 中执行此操作的示例,但似乎某些步骤不适用于 Dense 层(另外,代码来自两年多前)。 通过绑定权重,我希望解码层使用编码层的转置权重矩阵。 this article(第 5 页)也采用了这种方法。以下是文章的相关引述: 这里,我们选择编码和解码激活函数都是 sigmoid... »
我已经在 Encog 中创建并学习了自动编码器,并尝试将其拆分为几部分:编码器和解码器部分。不幸的是,我无法得到它,并且我不断收到奇怪的不正确数据(比较将一次网络应用于数据和两次数据的结果 -> enc -> dec)。 我尝试使用简单的 GetWeight 和 SetWeight 来实现,但结果不正确。在 encog 文档中找到的解决方案 - 初始化平面网络对我来说不清楚(我无法让它工作)。... »
我正在尝试构建入侵检测 LSTM 和自动编码器。但是我无法理解为什么 repeat_vector_58 需要 ndim=3。我无法弄清楚这一点。以下是我的代码: x_train.shape: (8000, 1, 82) x_test.shape: (2000, 1, 82) x_train = np.reshape(trainX, (trainX.shape[0], 1, trainX.sh... »
我知道 CNN 自动编码器的工作原理,但突然觉得很奇怪。 数字数据有 10 个类别,这意味着自动编码器不仅可以学习二进制,还可以学习多个类别。 但是,我认为自动编码器只能学习一类...... 有没有人来解释这个? :) cnn 自动编码器示例(数字数据):https://blog.keras.io/building-autoencoders-in-keras.html ... »
我正在尝试解决一个问题,我最初需要获取 2 个输入,将它们中的每一个传递通过自动编码器层,然后将所有内容连接到将连接到两个自动编码器输出的层。 This is how the model should look at the end 我已经创建了自动编码器层并保存了它们。我无法找出如何将编码数据的两个输出连接到一层。非常感谢您的建议。 编辑: 我一直在研究连接层,它似乎应该可以完成这项工作。但是,... »
我在 Keras 中实现了一个绑定权重自动编码器,并成功训练了它。 我的目标是仅使用自动编码器的解码器部分作为另一个网络的最后一层,对网络和解码器进行微调。 问题是,正如您从下面的摘要中看到的那样,解码器在我的绑定权重实现中没有参数,所以没有什么需要微调的。 (decoder.get_weights() 返回[]) 我的问题是:我是否应该改变绑定权重的实现,使绑定层仍然可以保持权重,即编码... »
Q1,我正在尝试实现自动编码器,我有这样的数据: 800 300 1 100000 -0.1 789 400 1.6 100500 -0.4 804 360 1.2 100420 -0.2 .... 我应该如何规范化这些数据以便能够进行训练? Q2,因为我不知道怎么做归一化,所以我跳过它,只是将原始数据应用到自动编码器进行训练,但是经过几次迭代后梯度变成了Nan,这里是代码。 BATCH... »
我一直在 caltech silhouettes 数据集上实现 VAE 和 IWAE 模型,但我遇到了一个问题,即 VAE 的性能略微优于 IWAE(测试 LL ~120 的 VAE,~133 的 IWAE!)。根据here产生的理论和实验,我不认为应该是这种情况。 我希望有人能在我的实施方式中找到一些导致这种情况的问题。 我用来近似q 和p 的网络与上述论文附录中详述的网络相同。模型的计算部... »
我正在 Tensorflow 上制作一个自动编码器,它将输入作为一个 3D 矩阵,其值在 [-1,1] 的范围内。这种场景的最佳激活函数是什么? 另外,根据输入范围选择激活函数的经验法则是什么?... »
我想提取一些选定层的权重并将它们保存为一个名为 encoding_weight.h5 的 Hdf5 文件,然后预测模型以获得输出。 原始模型包含所有我不需要的权重。 model = Autoencoder(input_shape=x_train.shape[1:]) #this is the original model model.summary() layer_name_list = ['... »
我尝试按照 mathworks 提供的示例来训练深度稀疏自动编码器(4 层),因此我分别预训练了自动编码器,然后堆叠到深度网络中。当我尝试微调这个网络时,通过 火车(深度网络,输入数据集) 指令,培训立即停止,我收到“达到绩效目标”的消息。 有没有办法在 Matlab 中以无监督的方式训练和微调深度自动编码器网络(没有提供标签)?... »
我尝试将特定的标量值(0 到 1;每个图像都有)输入到一层潜在变量中。 如何在基于 CNN 的自动编码器序列模型中插入值? def encoder(): model = tf.keras.Sequential() model.add(Conv2D(12, (2,2), activation='relu', padding='same', input_shape=(32, 32, 1... »
我正在关注this tutorial 创建一个基于 Keras 的自动编码器,但使用的是我自己的数据。该数据集包括大约 20k 个训练图像和大约 4k 个验证图像。它们都非常相似,都显示了相同的对象。我没有修改教程中的 Keras 模型布局,只更改了输入大小,因为我使用的是 300x300 图像。所以我的模型看起来像这样: Model: "autoencoder" ________________... »
我的自动编码器模型学习像素值为 -1、0 或 1 的图像中最常见的模式。虽然我的模型运行良好,但解码陷入了浮点值介于 -1 和 1 之间的局部最小值。 在 Pytorch 中我是否可以将内核过滤器限制为具有条目 -1、0 或 1 以观察更好的学习能力?... »
我无法解决以下错误,如果听起来很幼稚,请接受我的歉意,我对 Keras 很陌生。 编码器的输出实际上是一个复数值,所以每个输出都是实部和虚部,input_h1也是一个复数值,实部和虚部表示为一个向量。我想把它们都相乘。 # Input bits input_bits1 = Input(shape=(2,)) input_bits2 = Input(shape=(2,)) # Input ... »
我一直试图让这个 VAE 整个晚上都正常工作,但一遍又一遍地遇到同样的问题。我不确定问题是什么。我尝试删除回调、验证、更改损失函数、更改采样方法。错误(虽然在下面显示为提前停止)一直是添加到 fit 函数的最后一个参数。我不知道如何让它发挥作用。 下面是可重现的代码,然后是我一直遇到的错误。注意,改变batch size确实会改变误差,但是不匹配的数量也会随着batch size而减小。 impo... »
我正在尝试使用 tensorflow 编写 CLDNN 的实现,例如 this scheme 中的那个。我的降维层有问题。 据我了解,它是由多个堆叠的受限玻尔兹曼机 (RBM) 制成的,并且像自动编码器一样工作。该层的解码器部分只是在这里训练编码器以减少井尺寸。这意味着您想将编码器的输出“插入”到下一层的输入中。 我可以定义一个训练自动编码器的损失函数(通过比较来自解码输出的输入),以及另一个... »
我正在使用 tf.slim 来实现自动编码器。我与以下架构完全卷积: [conv, outputs = 1] => [conv, outputs = 15] => [conv, outputs = 25] => => [conv_transpose, outputs = 25] => [conv_transpose, outputs = 15] => [co... »
我在 Jupyter Notebook 中多次运行 Tensorflow (v1.1) 代码时遇到了困难。 例如,我执行这个简单的代码 sn-p 为 seq2seq 模型创建一个编码层: # Construct encoder layer (LSTM) encoder_cell = tf.contrib.rnn.LSTMCell(encoder_hidden_units) encoder_ou... »