GPU编程 | 你了解 CUDA 和 GPU 的基本知识吗？

最近有个同学请教了我关于CUDA的问题以及Caffe源码中的.cu文件是什么样的问题。说实话，在面对这类技术问题时我觉得自己还有许多不足之处。想着想着就有点愧疚感，在充满愧疚感之下. 抽出时间来恶补了一下吧。

为了更好地理解这一对比，请问大家首先想了解的是什么呢？CUDA的推出正是英伟达公司为了满足那些需要高性能并行计算能力的需求者而推出的工具，请问大家对这一背景还有疑问吗？在讨论GPU与CPU之间的异同之前，请先明确一下大家对这两个概念的基本认知： GPU和CPU都被称为计算机的核心组件，在架构设计上有着许多相似之处。如图所示：

绿色：计算单元
橙色：存储单元（硬盘+缓存）
黄色：控制单元

从图中我们可以发现：

• CPU不仅拥有强大的控制器系统，并且配备有功能卓越的高速缓存（Cache）。
  • GPU配备有众多高性能处理器以及大量并行计算核心，在每一个处理器上都布置了独立配置有高效缓存的空间。

从两者的架构出发可以看出，两者的设计理念存在显著差异。CPU的核心理念是以最低延迟为核心，在保证计算效率的同时最