CUDA GPU计算的starting point

科学研究与实际业务分析不断催生对计算资源日益增长的需求。诸多应用场景，包括气象预测、计算流体力学仿真，以及近期兴起的机器学习与深度学习技术，均要求的计算能力远超当前可用水平，而更为复杂的算法也对计算资源提出了更高的要求。

为满足性能需求，计算领域采用多种手段，如提升晶体管密度、引入指令级并行性以及Dennard scaling等策略。

根据摩尔定律的预测，晶体管密度的持续提升推动了计算能力的发展，并使得芯片上的晶体管数量每18个月翻倍。指令级并行等技术在初期显著提升了性能表现，但自2001年起其带来的收益开始逐渐减弱。直到2005年电压缩放技术终止时，Dennard scaling仍与摩尔定律共同发挥作用。然而，在2005年前后，整体计算能力的增长趋势出现明显放缓，行业迫切需要新的解决方案以应对不断上升的计算需求。显然，未来性能的提升将依赖于并行处理能力的发展。

此外，电力消耗与通信效率也是关键因素之一。相关研究表明，电力主要用于支持通信过程，因此通信量的增加意味着更高的能耗，并限制了设备中可集成的计算单元数量。这表明未来计算机系统应注重节能设计，并优先考虑局部性原则