【问题标题】：Scalar CPU vs Vector GPU vs Matrix AI vs Spatial FPGA标量 CPU 与矢量 GPU 与矩阵 AI 与空间 FPGA
【发布时间】：2020-03-12 19:51:13
【问题描述】：
“...架构的广度涵盖标量 (CPU)、向量 (GPU)、矩阵 (AI) 和空间 (FPGA)”
我没有听说过将 CPU 与 GPU 描述为标量与矢量。此外，AI 被描述为一种架构（是的，ML 肯定需要大型矩阵 - 但矩阵架构意味着什么 - 并且不是像 NVIDIA Titans 那样经常用于加速 ML 的 GPU）或 FPGA 被描述为空间架构（空间在什么意义上——不是 3D AR/VR/XR 空间计算对吗？）
有人能解释一下这样的声明（source）是什么意思吗？
【问题讨论】：
标签：
gpu
cpu
intel
spatial
fpga
【解决方案1】：
- CPU 是标量的：每个周期，1 条指令对 1 个数据字进行操作。
- GPU 是矢量：每个周期，1 条指令对多个数据字进行操作。
- 矩阵：每个周期，1 条指令将矩阵相乘（通常是小矩阵，例如 2x4 * 4x2 以产生大小为 2x2 的输出矩阵）。
- 空间架构：与指令流经管道的传统架构 (CPU/GPU) 相比，这里的数据流经处理元素网格。
现代 CPU 具有一些矢量功能 (AVX)，并且可能具有专门的矩阵处理硬件（英特尔 Nervana）。现代 GPU 除了是传统的矢量处理器外，还融入了专门的矩阵处理硬件（NVIDIA Volta/Turing）。