为什么我的 LSTM 自动编码器模型无法检测到异常值？答案

【问题标题】：Why does my LSTM autoencoder model couldn't detect outliers?为什么我的 LSTM 自动编码器模型无法检测到异常值？
【发布时间】：2020-03-19 01:33:51
【问题描述】：

我正在尝试构建一个用于异常检测的 LSTM Autoendoer。

但该模型似乎不适用于我的数据。

这是我用于训练的正常数据。

这是我用来验证的异常数据。

如果模型有效，它的损失应该很高，在#200000~#500000。

不幸的是，这是我将有效数据放入模型的结果：

在异常区间，损失仍然很低。

这是我的训练模型代码。

如果您能给我任何建议，我将不胜感激。

scaler = MinMaxScaler(feature_range=(0, 1))
scaler.fit(healthy_data)
data_scaled = scaler.transform(healthy_data)
data_broken_scaled = scaler.transform(broken_data)

timesteps=32
data = data_scaled 
dim = 1
data.shape = (-1,timesteps,dim)   

lr = 0.0001
Nadam = optimizers.Nadam(lr=lr)

model = Sequential()
model.add(LSTM(50,input_shape=(timesteps,dim),return_sequences=True))
model.add(Dense(dim))

model.compile(loss='mae', optimizer=Nadam ,metrics=['mse'])

EStop = EarlyStopping(monitor='val_loss', min_delta=0.001,patience=150, verbose=2, mode='auto',restore_best_weights=True)

history = model.fit(data,data,validation_data=(data,data),epochs=3000,batch_size=72,verbose=2,shuffle=False,callbacks=[EStop]).history

pred_broken = model.predict(data_broken_scaled)
loss_broken = np.mean(np.abs(pred_broken-data_broken_scaled),axis=1)
fig, ax = plt.subplots(figsize=(20, 6), dpi=80, facecolor='w', edgecolor='k')
ax.plot(range(0,len(loss_broken)), loss_broken, '-', color='red', animated = True, linewidth=1)

【问题讨论】：

标签： deep-learning lstm autoencoder anomaly-detection

【解决方案1】：

我认为，最好使用傅里叶变换来检测频率视图中的异常。我的意思是，训练和测试数据将通过傅里叶变换转换到频域。我还建议使用时间窗口。如果有足够好的训练数据，大多数 AI 会表现得更好。您的异常点应标记为 1（通过数据的预处理步骤），并且它应该在您的时间步长（时间窗口）具有高频率。

简而言之，我认为您的火车数据现在可能不足以代表异常。

【讨论】：