并行编程性能解析：加速比与阿姆达尔定律（俄勒冈州立大学教学材料）

并行编程性能剖析：加速比及阿姆达尔定律（俄勒冈州立大学教学资料）

加速比的界定

• 加速比
  若采用 ( n ) 个内核，那么加速比 ( \text{Speedup}(n) ) 的计算方式为：

其中，( T_1 ) 表示单个内核的执行时长，( T_n ) 为 ( n ) 个内核的执行时长；( P_1 ) 是单个内核的性能，( P_n ) 是 ( n ) 个内核的性能。需注意，( \text{Speedup}(n) ) 应大于 1。

• 效率
  最大值为 1

阿姆达尔定律（Amdahl's Law）

阿姆达尔定律是计算机科学界的一条经验性准则，用于评估并行计算系统性能提升的可能性。它表明，当对系统的某一部分进行加速时，整体系统的加速比会受到串行部分占比的限制。

在所有操作中，总有一部分操作本质上是顺序执行的，无法进行并行化。这包括读取数据、配置计算、控制逻辑、存储结果等。并行操作可通过部署多个内核来缩短执行时间，而串行部分则无法做到。

阿姆达尔定律的意义

• 并行计算的瓶颈：阿姆达尔定律显示，即便拥有数量无限多的处理器，系统的整体性能也无法无限提升。因为总会存在一些无法并行化的部分，这些串行部分会限制整体的加速比。
• 优化并行程序：借助阿姆达尔定律，可知要最大程度提升并行程序的性能，应尽量减少串行部分的占比，或探寻创新方法对这些串行部分进行并行化。
• 评估并行计算系统的性能：阿姆达尔定律可协助评估不同并行计算系统的性能，从而选出最适配的系统。

阿姆达尔定律的应用

• 计算机体系结构：设计计算机体系结构时，阿姆达尔定律能助力工程师权衡不同设计方案的性能。
• 并行算法设计：设计并行算法时，阿姆达尔定律可协助算法设计者找到性能瓶颈并进行优化。
• 高性能计算：在高性能计算领域，阿姆达尔定律能协助研究人员评估不同并行计算系统的性能，进而选出最适配的系统来解决大规模科学计算问题。

阿姆达尔定律的局限性

• 理想化模型：阿姆达尔定律假定系统各部分相互独立，且并行化无额外开销。但实际系统中，这些假定并不总成立。
• 忽略通信开销：阿姆达尔定律未考虑并行计算中的通信开销，而通信开销往往是影响并行系统性能的关键因素。
• 不适用于所有情况：阿姆达尔定律适用于诸多并行计算问题，但并非适用于所有情形。对一些特殊算法或问题，阿姆达尔定律可能不适用。

Gustafson - Barsis（古斯塔夫森）定律

古斯塔夫森定律是计算机科学中另一个关键的并行计算性能模型，它与阿姆达尔定律在看待并行计算性能提升方面视角不同。加速比的计算公式为：加速比 = ( S + (1 - S)N )

阿姆达尔定律主要聚焦固定大小问题在不同处理器数量下的加速比，而古斯塔夫森定律更关注随着处理器数量增加、问题规模相应扩大时的加速比。

简单来说，阿姆达尔定律强调问题规模固定，古斯塔夫森定律强调问题规模可变。

更乐观地看待阿姆达尔定律：古斯塔夫森 - 巴里斯观察