目录
前言
GPU（Graphics Processing Unit，图形处理器）是计算机里的另一个处理器，同样可以进行计算；其是显卡中的最核心组件，由于显卡主要是通过GPU来工作的，因而通常有人把GPU直接当做显卡。
为什么不能直接改造CPU进行图形渲染呢？或直接改造CPU进行深度学习呢？
为什么玩游戏需要GPU？
GPU是否能替代CPU？
一、GPU 的发展
GPU 是随着在计算机里面需要渲染三维图形的出现而发展起来的设备。
要知道过去其实我们所看到的3D图形可能是伪3D，并不是通过图形渲染形成的，而是通过多个不同视角构成的图形，从而让人产生3D的视角。由于要实现逼真的成像效果需要的计算量太大，因而3D游戏之类的产品在GPU没有出现之前没能流行起来。
图形处理的过程
如下图所示一般分成：顶点处理 -> 图元处理 -> 栅格化 -> 片段处理 -> 像素操作
通俗的来说就是先确定要显示的点，把点连接起来并转化成一个个像素点，再对单独像素点上色，最终进行像素处理也就是像素的显示效果呈现。
由于要显示的效果越逼真，那么所需要的计算量就越大，这对于通用的CPU来说是无法承受了。
最主要的一点就是这些操作是可并行的并且处理流程是固定的。竟然流程是固定的那么是否可直接将这些过程放到硬件上去运行呢？
因此聪明的科学家们就生产出Voodoo FX图形加速卡 或者 TNT 这样的显卡，只将顶点处理放到CPU其他移到硬件上运行。如
下图所示：
由于顶点处理还在CPU上处理，也就是说图形成像效果不仅受限于显卡也受限于CPU，因此1999 年 NVidia 推出的 GeForce 256 显卡，就把顶点处理的计算能力，也从 CPU 里挪到了显卡里。这个时候整个图形渲染过程都是在硬件里面固定的管线来完成的。
从 2001 年的 Direct3D 8.0 开始，微软第一次引入了可编程管线（Programable Function Pipeline）的概念。编程人员可通过编码的方式对图形渲染进行处理而不仅限于固定的硬件配置。
二、GPU架构
现代GPU的核心优化
1、芯片瘦身
现代CPU 里的晶体管变得越来越多，越来越复杂，“计算”已经不是其核心功能，而是拿来实现处理乱序执行、进行分支预测、高速缓存。
因为整个计算流程是完全固定的，不需要流水线停顿、乱序执行等等的各类导致 CPU 计算变得复杂的问题。因为GPU的处理过程类似于流式物理，可以将多余的电路给去掉。
如下图所示：
如下图直观的呈现了CPU与GPU的架构区别。
2、多核并行和 SIMT
出于GPU的电路比较简单，因此便可在将其制造成多核GPU。这也使得GPU 的运算能力天然支持并行了。
利用SIMT实现把多条数据，交给不同的线程去处理，因此一个 GPU 的核里，就可以放下更多的 ALU，同时进行更多的并行运算了。
如下图所示：
3、GPU 里的“超线程”
由于在瘦身时去掉了可执行if…else 这类分支预测，所以难免会遇到“流水线停顿”问题。
其通过提供更多的执行上下文，将“流水线停顿”问题得以解决，所以，一个 Core 里面的执行上下文的数量，需要比 ALU 多。
如下图所示：
三、GPU与CPU的区别
- GPU是擅长并行进行暴力运算的一类处理器，适用于做大批量重复运算，因此很适合运用于深度学习；
- CPU主要是负责多任务管理、调度，它是领导者，负责指挥，因而是通用型处理器。
- 同等价格的CPU与GPU的计算能力可以相关一个数据级。例如NVidia 2080 显卡的计算能力根据官方数据大概是10.06 TFLOPS，而最新的 Intel i9 9900K 的性能不到 1TFLOPS。但2080 显卡和 9900K 的价格却是差不多的。所以，在实际进行深度学习的过程中，用 GPU 所花费的时间，往往能减少一到两个数量级。
- FLOPS，即每秒浮点运算次数（亦称每秒峰值速度）是每秒所执行的浮点运算次数（英文：Floating-point operations per second；缩写：FLOPS）的简称，被用来评估电脑效能；
注：参观于极客时间徐文浩老师的深入浅出计算机组成原理