1、2018/9/7,并行计算概述,1,并行计算概述,安俊秀 软件工程学院 并行计算实验室6412 云计算云搜索中心（成都）,如何满足不断增长的计算力需求？,用速度更快的硬件，也就是减少每一条指令所需时间优化算法（或者优化编译）用多个处理机(器)同时解决一个问题 并行计算,2,并行计算概述,并行计算概述,3,并行:古老的思想!,“.并行计算并不是什么新的思想,只是将它扩展应用于计算机而已”. 作者也不认为这种扩展应用会存在什么无法克服的困难. 但也不要期待有效的并行编程方法与技术能够在一夜之间诞生. 期间还需要有许多的工作和实验要做. 毕竟, 今天的编程技术(串行)是若干年来艰苦的探索才取得的.
2、 现在编程工作似乎成了一种令人单调乏味的工作,事实上,并行编程的出现将会使重新恢复编程工作者们的探索精神 .” (Gill, S. (1958), “Parallel Programming” The Computer Journal, vol. 1, April, pp. 2-10.),Parallel Programming with MPI by Peter Pacheco(2000),并行计算-高性能计算,并行计算(Parallel Computing）高端计算(High-end Parallel Computing)高性能计算(High Performance Computing)超
3、级计算(Super Computing)任何高性能计算和超级计算都离不开使用并行技术The simultaneous use of more than one computer to solve a problem. 由由运行在多个部件上的小任务合作来求解一个规模很大的计算问题的一种方法,4,什么是高性能并行计算机,由多个计算单元组成，运算速度快、存储容量大、可靠性高的计算机系统。,也称为：巨型计算机、超级计算机目前任何高性能计算和超级计算都离不开使用并行技术，所以高性能计算机肯定是并行计算机。,5,并行计算的概念,6,串行计算与并行计算,并行计算概述,7,为什么要做并行计算？ 应用需求,8,
4、9,计算科学与传统的两种科学，即理论科学和实验科学，并列被认为是人类认识自然的三大支柱，他们彼此相辅相成地推动科学发展与社会进步。在许多情况下，或者是理论模型复杂甚至理论尚未建立，或者实验费用昂贵甚至无法进行时，计算就成了求解问题的唯一或主要的手段。,为什么要做并行计算？ 应用需求,10,为什么要做并行计算？,人类对计算及性能的要求是无止境的 从系统的角度：集成系统资源，以满足不断增长的对性能和功能的要求 从应用的角度：适当分解应用，以实现更大规模或更细致的计算,11,为什么要做并行计算？,问题: 科学和工程问题的数值模拟与仿真 计算密集 数据密集 网络密集 三种混合要求:在合理的时限内完成计
5、算任务 秒级 制造业 分钟级 短时天气预报(当天) 小时级 中期天气预报(310日) 尽可能快 长期天气预报(气候) 可计算 湍流模拟,12,13,其发展历程可以简单的分为两个时代,专用时代 包括向量机，MPP系统，SGI NUMA 系统，SUN大型SMP系统，也包括我国的神威，银河，曙光1000等。 之所以称为“专用”，并不是说它们只能运行某种应用，是指它们的组成部件是专门设计的，它们的CPU板，内存板，I/O板，甚至操作系统，都是不能在其它系统中使用的。由于技术上桌面系统与高端系统的巨大差异，和用户群窄小。普及时代 高性能计算机价格下降，应用门槛降低，应用开始普及。两个技术趋势起到重要作用
6、。 商品化趋势使得大量生产的商品部件接近了高性能计算机专有部件 标准化趋势使得这些部件之间能够集成一个系统中，其中X86处理器、以太网、内存部件、Linux都起到决定性作用。 机群系统是高性能计算机的一种，它的技术基础和工业基础都是商品化和标准化。,14,Top500中的超级计算机,地球模拟器 ASCI Q ASCI White,15,Earth Simulator,Earth simulator center Nec Rmax:35.86Tflops 8*8*640,Earth Simulator,Earth Simulator,ASCI Q,1024 nodes 8cpu/node 102
7、40Gflops 7727Gflops,ASCI white,LLNL IBM SP power3 Rmax 7.22Tflops,曙光1000,曙光1000有36个结点机; 峰值计算速度为浮点25.6亿次/秒，实际达到15.8 亿次/秒； 内存容量为1024兆字节； 基于Wormhole机制的二维Mesh通讯网，结点与网络通讯总带宽为2.88GB/秒； 采用基于UNIX的并行操作系统和并行文件系统；,并行计算机-CRAY,System Name Jaguar 1059000 GFlops System Family Cray XT Operating System CNL Interconn
8、ect XT4 Internal Interconnect Processor AMD Opteron Quad Core 2300 MHz (9.2 GFlops),并行计算机-IBM,System Name Roadrunner 1105000 GFlops System Family IBM Cluster Operating System Linux Interconnect Infiniband Processor PowerXCell 8i 3200 MHz (12.8 GFlops),并行计算机-DAWNING,System Name Dawning 5000A 180600 G
9、Flops System Family Dawning Cluster Operating System Windows HPC server 2008 and SUSE Interconnect Infiniband DDR Processor AMD Opteron Quad Core 1900 MHz (7.6 GFlops),并行计算机所用的处理器,AMD Opteron Xeon Nocona Intel Itanium Compaq Alpha HP PA-RISC Sun UltraSPARC IBM POWER5+,POWER6 IBM BlueGene processor MIPS R10000 龙芯,最新TOP500cpu分布,并行机处理器-AMD,并行机处理器-Intel,RISC 与大型机 现代化,并行机处理器-龙芯,Godson意思为“教子”，相对于此的另一个词叫教父（Godfather）,
