GPU（图形处理器）

 

       GPU 是显卡的核心部件，英文全名叫 Graphics Processing Unit，图形处理单元（图形处理器）。

 

       GPU 并不能和显卡划等号。显卡除了 GPU 之外，还包括显存、VRM 稳压模块、MRAM 芯片、总线、风扇、外围设备接口等。

 

       1999 年，英伟达（NVIDIA）公司率先提出了 GPU 的概念。

 

       之所以要提出 GPU，是因为 90 年代游戏和多媒体业务高速发展。这些业务给计算机的 3D 图形处理和渲染能力提出了更高的要求。传统 CPU 搞不定，所以引入了 GPU，分担这方面的工作。

 

       根据形态，GPU 可分为独立 GPU（dGPU，discrete / dedicated GPU）和集成 GPU（iGPU，integrated GPU），也就是常说的独显、集显。

 

       GPU 也是计算芯片。所以，它和 CPU 一样，包括了运算器、控制器和寄存器等组件。

 

       因为 GPU 主要负责图形处理任务，所以，它的内部架构和 CPU 存在很大的不同。

 

       GPU 的核，称为流式多处理器（Stream Multi-processor，SM），是一个独立的任务处理单元。

 

       在整个 GPU 中，会划分为多个流式处理区。每个处理区，包含数百个内核。每个内核，相当于一颗简化版的 CPU，具备整数运算和浮点运算的功能，以及排队和结果收集功能。

 

       GPU 的控制器功能简单，缓存也比较少。它的 ALU 占比，可以达到 80% 以上。

 

       虽然 GPU 单核的处理能力弱于 CPU，但是数量庞大，非常适合高强度并行计算。同等晶体管规模条件下，它的算力，反而比 CPU 更强。

 

       GPU 与 AI 计算
 

       现在的 AI 计算，都在抢购 GPU。英伟达也因此赚得盆满钵满。为什么会这样呢？

 

       原因很简单，因为 AI 计算和图形计算一样，也包含了大量的高强度并行计算任务。

 

       深度学习是目前最主流的人工智能算法。从过程来看，包括训练（training）和推理（inference）两个环节。

 

       在训练环节，通过投喂大量的数据，训练出一个复杂的神经网络模型。在推理环节，利用训练好的模型，使用大量数据推理出各种结论。

 

       训练环节由于涉及海量的训练数据，以及复杂的深度神经网络结构，所以需要的计算规模非常庞大，对芯片的算力性能要求比较高。而推理环节，对简单指定的重复计算和低延迟的要求很高。

 

       它们所采用的具体算法，包括矩阵相乘、卷积、循环层、梯度运算等，分解为大量并行任务，可以有效缩短任务完成的时间。

 

       GPU 凭借自身强悍的并行计算能力以及内存带宽，可以很好地应对训练和推理任务，已经成为业界在深度学习领域的首选解决方案。

 

       目前，大部分企业的 AI 训练，采用的是英伟达的 GPU 集群。如果进行合理优化，一块 GPU 卡，可以提供相当于数十其至上百台 CPU 服务器的算力。