并行开销

并行开销(Parallel Overhead)：指的是相对于做实际计算，做协调并行任务所需要花费的时间总数。影响并行开销的因素主要包括：1）任务启动时间；2）同步；3）数据通讯；4）由并行语言，链接库，操作系统等因素而导致的软件开销；5）任务终止时间

可扩展性是

可扩展性是随着问题规模和计算资源的增加，对算法执行时间的一种定量描述，或指某个算法在某个机器上的可扩放性反映该算法是否能有效利用不断增加的CPU。研究可扩展性的目的就是要使算法尽可能的利用最多的处理器，并且也可以预测当某个算法移植到大规模处理机上后的运行效果（即问题规模扩大时对处理器的利用情况）。一个好的可扩展度量方法可以反映算法和机器组合体匹配程度的信息，也可以预测并行系统的性能。可扩展性度量方法的基本要求有：它必须提供系统规模如何影响性能的信息；它必须是描述并行算法与机器组合的函数。这是因为系统规模增加了，并行开销也会增加，使得性能降低。引起性能降低的原因在于算法与机器两个方面，如算法中负载不平衡、处理机通信费用增加等；它是可评估的、可比较的、定量的性能度量。为了尽可能最优地匹配实际的并行体系结构，通常采用与体系结构相结合的算法设计。相同的算法在不同体系结构上的性能是不同的。因此，在可扩展性研究方面，通常研究的是这两者相结合的可扩展性