【问题标题】：Is ArcFace strictly a loss function or an activation function?ArcFace 是严格意义上的损失函数还是激活函数？
【发布时间】：2020-04-09 13:48:26
【问题描述】：

标题中问题的答案可能非常明显，因为它通常被称为“ArcFace Loss”。

但是，有一部分让我感到困惑：

我正在阅读以下 Arcface 损失的 Keras 实现：

https://github.com/4uiiurz1/keras-arcface

在其中，请注意model.compile 行仍然指定loss='categorical_crossentropy'

此外，我看到很多消息来源将 Softmax 称为损失函数，而我之前将其理解为许多分类神经网络输出层的激活函数。

基于这两个混淆点，我目前的理解是loss函数，即网络实际如何计算代表“错误程度”的number无论如何，给定的示例都是交叉熵。而那个 ArcFace 和 Softmax 一样，是输出层的激活函数。

这是正确的吗？如果是这样，为什么将 Arcface 和 Softmax 称为损失函数？如果不是，我的困惑可能来自哪里？

【问题讨论】：

标签： tensorflow keras deep-learning computer-vision classification

【解决方案1】：

也可以定义为图层。

【讨论】：

【解决方案2】：

根据我的理解。您感到困惑的两件事如下-

ArcFace 是损失函数还是激活函数？
softmax 是损失函数还是激活函数？

ArcFace 是损失函数还是激活函数

您认为 ArcFace 是激活函数的假设是不正确的。 ArcFace 确实是一个损失函数。如果你仔细阅读研究论文，作者提到他们使用传统的 softmax 函数作为最后一层的激活函数。（您可以检查调用函数是metrics.py文件。最后一行是 out = tf.nn.softmax(logits))。这意味着在应用附加的角边距惩罚后，他们只将 logits 传递给了 softmax 函数。 ArcFace 本身就是一个损失函数，这听起来可能很令人困惑，那为什么要使用 softmax 呢？答案很简单，就是为了得到类的概率。