我是深度学习的新手，最近遇到了 Depth Wise Separable Convolutions。它们显着减少了处理数据所需的计算量，并且只需要标准卷积步骤计算量的 10%。
我很好奇这样做背后的直觉是什么？我们确实通过减少参数数量和减少计算量来实现更快的速度，但是在性能上是否存在权衡？
另外，它是仅用于某些特定的用例，例如图像等，还是可以应用于所有形式的数据？
【问题讨论】：
标签： machine-learning deep-learning conv-neural-network
直观地说，深度可分离卷积 (DSC) 分别对空间相关性和跨通道相关性进行建模，而常规卷积同时对它们进行建模。在我们最近在 BMVC 2018 上发布的 paper 中，我们给出了一个数学证明，即 DSC 只不过是常规卷积的主成分。这意味着它可以捕获常规卷积中最有效的部分并丢弃其他冗余部分，从而使其超级高效。为了权衡取舍，在我们的论文中，我们给出了一些关于 VGG16 无数据正则卷积分解的实证结果。但是，通过足够的微调，我们几乎可以减少精度下降。希望我们的论文能帮助您进一步了解 DSC。
【讨论】：
直觉
这样做背后的直觉是解耦空间信息（宽度和高度）和深度信息（通道）。常规卷积层将合并输入通道数量上的特征图，而深度可分离卷积将在将它们相加之前执行另一个 1x1 卷积。
性能
使用深度可分离卷积层代替常规卷积层将大大减少模型中的权重数量。由于权重数量少得多，它也很可能会损害准确性。但是，如果您更改架构的宽度和深度以再次增加权重，您可能会以更少的参数达到与原始模型相同的精度。同时，与原始模型相比，具有相同权重的深度可分离模型可能会获得更高的精度。
应用程序
您可以在任何可以应用 CNN 的地方使用它们。我相信您会在图像相关任务之外找到深度可分离模型的用例。只是 CNN 在图像方面最受欢迎。
进一步阅读
让我无耻地指向我的article，它讨论了深度学习中不同类型的卷积，并提供了一些它们如何工作的信息。也许这也有帮助。
【讨论】：