对cleverhans FastGradientMethod (FGM)、对抗性图像生成的怀疑

Question

我有一个 keras 模型（带有最终 softmax 的 CNN），它是一个 RGB 图像分类器。模型的输出是输入图像的 5 个可能类别（单热编码）。 我正在尝试使用 Cleverhans (tensorflow library) 为我的 keras 模型生成对抗性图像。

生成一个对抗性图像的代码的简化版本如下：

# model is the CNN keras model
wrap = KerasModelWrapper(model)
fgsm = FastGradientMethod(wrap, sess=session)
fgsm_params = {'eps': 16. / 256,
               'clip_min': 0.,
               'clip_max': 1.
               }
x = tf.placeholder(tf.float32, shape=(None, img_rows, img_cols,
                                      nchannels))
adv_x = fgsm.generate(x, **fgsm_params)
# original image is a tensor containing only one RGB image, shape=(1,48,48,3) 
adv_image = adv_x.eval(session=session, feed_dict={x: original_image})

第 1 章，每股收益

据我了解，'eps' FGM 参数是输入变化步骤（一个图像值/像素的最小变化）。

我观察到最终结果受 eps 的影响很大，有时我需要较高的 eps 才能获得有效的对抗性图像，该图像可以有效地改变相对于原始图像的类别标签。

eps 有时 FGM 无法获得有效的对抗性图像，即具有图像 O，标签为 l_O FGM 无法生成对抗性图像 O'，带有 l _O'!= l_O，例如，对于 l_O = [0,0,1,0,0] 我们仍然得到 lO' = [0,0,1,0,0]，无法生成具有不同标签的对抗性图像。

问题（很抱歉这个问题需要一组问题）：

• FGM 是否总能找到有效的对抗性图像？即，女性生殖器切割失败是否正常？
• 有没有办法获得生成的对抗性图像的估计质量（不使用模型进行预测）？
• 为什么 eps step 的值如此重要？
• 最重要的是：有没有办法告诉 FGM 更加努力地搜索对抗性图像（例如，更多步骤）？

第 2 章，y,y_target

我还试验了 y 和 y_target 参数。 你能解释一下'y'、'y_target'的参数是什么吗？

我认为'y_target' 告诉我们要生成针对特定类别的对抗性图像。 例如，我认为feed_dict 中的y_target = [[0,1,0,0,0]] 应该强制生成一个对抗性图像，该图像被分类为模型中的第二类。

• 我说的对吗？ ..或
• 我错过了什么吗？

P.s：我的问题是设置 y_target 无法生成对抗图像。

请给我一些提示.. ;-) 问候

Answer 1

我在github 上从 Cleverhans 开发人员那里得到了答案，我在这里引用他们的答案：

第 1 章：

FGSM（与任何攻击一样）不能保证找到被模型错误分类的对抗性图像，因为它在解决定义对抗性示例的优化问题时会做出近似。

由于各种原因，攻击可能无法找到对抗性图像，一个常见原因是梯度掩蔽。您可以在 blog post 和 paper 以及 paper 中了解它。

eps 步骤很重要，因为它是扰动的大小。攻击首先计算扰动图像的方向（使用模型的梯度），然后在该方向上采取 eps 大小的步长。因此，eps 大致对应于人们对攻击“威力”的直觉看法。

您可以在BasicIterativeMethod 中找到 FGSM 的多步变体

第 2 章：

y 用于在非目标攻击的情况下指定标签（任何错误的类都被视为对手成功），而 y_target 用于指定目标目标攻击案例中的类别（只有当模型在所选类别中进行特定错误分类时，对手才成功）。

通常情况下，有针对性的攻击比无针对性的攻击需要更多的扰动（即，在 FGSM 情况下，eps 值更高）。