1、基于多 GPU 的 FDTD 并行算法及其在电磁仿真中的应用单位代码:分类号:.矿密级:学号:切跏国.罗紊只孥 夕办/,博士学位论文论文题目:蓉哥锣沙自勺矽丁黄名二蛑派辰复钷之蠕磊厶钙多、中钠盏阕/【绒如户弘廖粥卢比化彤狻绷彳冶矽二嘶 丸 , 锨励帆矿彬衙跏纱么磊坨,作专导 师合作导师 ;歹甚原创性声明本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究所取得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡献的个人和集体,均已在文中以明确方式标明。本声明的法律责任由本人承担。日论文作者签名:血垒:关于学位论文使用
2、授权的声明本人完全了解山东大学有关保留、使用学位论文的规定,同意学校保留或向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅;本人授权山东大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或其他复制手段保存论文和汇编本学位论文。保密论文在解密后应遵守此规定论文作者签名:勿堕墨: 季/导师签名山东大学博士学位论文目 录摘 要?.缩略名词索引。第一章绪论?.电磁计算方法及其应用有限元法.矩量法?时域有限差分法.并行计算技术?.论文的研究意义及内容安排?第二章并行计算及通用图形处理器技术?.并行计算技术?并行计算硬件系统?一并行计算软件开发模型并行计算算法
3、?.通用图形处理器技术。图形处理器通用图形处理器并行程序开发.计算统一设备架构?的硬件环境编程模型软件结构.本章小结?第三章时域有限差分算法.网格及麦克斯韦旋度方程的差分山东大学博士学位论文.数值稳定性和数值色散?一.激励源一时域形式空间形式.时谐场振幅和相位的提取.吸收边界条件.吸收边界条件?各向异性完全匹配层?.卷积完全匹配层.并行计算.基于的并行计算.基于可编程硬件的并行计算?基于的并行计算.本章小结第四章单的并行算法及其应用.基于的并行算法.二维并行算法?线程组织基本算法边界条件?边界条件.三维并行算法?线程组织基本算法边界条件?边界条件边界条件平面波入射.单的算法的仿真应用?参数测试
4、仿真?.本章小结第六章总结与展望.本文的主要研究工作及结果.本课题可继续研究的内容?一参考文献.致谢.博士期间发表的论文?附英文论文两篇山东大学博士学位论文?”.?.?一.?一。”?.?. ?。?.”.山东大学博士学位论文:;.:;?.?.?.?.?.?.?.?.?.:;.?.?.?.?.?.?.?.?.?.?一.?.?.?.?.?.?.?.?.?.?.?.?.?.?. .?。?。. ?. ?.:;.?.?.?.?.?.?.:;.?.?.?.?.?.?.?.?.?.?.?.?.?.?.山东大学博士学位论文?.?.?.?.?一。?.?。?.硼。.?.?.?.?.?.?】, ?一山东大学博士学位论
5、文摘要理论、实验与计算相结合已成为科学研究的基本模式,在电磁科学与工程领域中,时域有限差分算法已成为进行电磁场分析的重要方法。算法是一种麦克斯韦方程组的时域求解方法,直接将电磁场按照网格的方式进行离散,在空间及时域上利用中心差分近似旋度方程中的偏微分,就可以实现电磁场在时域的交替递推。其实现简洁,易于理解,对各种形状以及各种材料的介质有着广泛的适应性;因为方法直接求解方程组,所以各种电磁现象均隐含其中,因此其适用于求解电磁场的辐射、传输及散射等各种问题。自从年由提出以来,也在不断地发展并已广泛地应用于各频段的电磁场仿真领域。作为一种差分方法,受到数值色散及数值稳定性的影响,为保证算法的精度,对
6、网格划分有着较为严格的限制。一般其空间步长要小于波长的/,当物体结构更为复杂时,空间取样点更要足够多以尽可能真实地模拟物体,而时间步长要满足稳定性条件,与空间步长相关。因此进行电大问题或者精细结构问题的计算时,方法往往是十分耗时的。算法具有天然可并行优势,因此进行并行计算可有效地减少计算时间,加速仿真设计进度。并行计算主要集中在基于网络设备的并行算法上,如超级计算机以及个人计算机集群,但由于成本及网络速度影响,这种并行方式的性价比并不高;基于可编程器件的并行算法也得到部分研究者关注,不过由于可编程器件的复杂性以及器件发展问题也并未得到广泛应用。近年来,图形处理器受到游戏市场需求的带动以超过摩尔
7、定律的速度发展,而且其浮点运算能力远高于同时期的运算能力,所以在通用科学计算领域中的应用也逐渐受到关注,如今随着通用图形处理器技术的迅速发展,已广泛应用于各种通用算法以及各领域的科学计算中,在电磁计算方面特别是算法上的应用得到了研究者的广泛关注。计算统一设备架构模型出现以后,使得通用图形处理器并行程序的开发更为快速高效,山东大学博士学位论文受到科学研究者的欢迎并迅速应用于各学科的计算领域。本论文研究课题来源于国家重点基础研究发展计划项目:金属/介质纳米异质结构中的局域耦合效应及其在光电转换器件中的应用,本论文研究内容为其中的应用技术进行发光二极管并行仿真计算系统研究部分,主要研究了基于的并行算
8、法,最终实现了多平台上的混合并行运算,极大地提高了利用算法进行电磁仿真的运算速度,已应用于的仿真设计中,进行了发光增强研究。论文主要分为以下几个部分:首先,本论文对研究相关的基础做了介绍,包括电磁计算以及并行计算基础,说明了本文的研究意义以及主要内容,然后对并行计算技术进行了研究,分析了各种并行方法的特点,并对以及通用图形处理器技术的发展应用作深入探讨,研究了模型的软硬件基础以及编程模型,最终选择模型作为研究并行算法的基础。其次,本文研究了基本算法原理以及相关知识,如数值色散、边界条件以及激励源等,然后讨论了并行计算的发展现状,引出本文所要研究的具体内容。论文提出了一种在架构下二维及三维并行算
9、法的实现方式,并实现了二维算法的各向异性完全匹配层吸收边界条件,以及三维算法的和卷积完全匹配层池吸收边界条件,实现的入射源包括二维线电流源,三维偶极子源以及平面波入射源,并且在平面波入射源的加入中也实现了一维吸收边界条件的并行算法。本文提出利用二维线程组 织控制电磁场的递推的方式处理二维问题,并提出了多种存储器访问优化方案,包括共享存储器的两种访问方式以及纹理存储器的使用等。在处理三维问题时,本文提出并实现了两种线程组织方案,并对两种方案进行了优化,对比了其计算速度,相对于传统串行算法均达到了倍以上的加速比。针对和的不同特点,本文采取了扩展以及分立计算的不同处理方式,并采取了相应的优化方式,在
10、保证计算精度的前提下,均实现了较高的计算速度,与串行算法相比普遍达到倍以上的速度提升,最高达到了倍的加速比。在单并行计算的基础上,本文将并行算法扩展到多平台。采用山东大学博士学位论文区域分解以及合理的边界交换方案,并利用与内存之间的同步数据传输方案实现了算法的多并行,为降低数据传输的影响,本文针对多的算法提出了异步数据传输方案,经验证本方案能够有效地提升多的并行效率。首次实现了内部并行计算,之间并行计算以及数据传输与计算之间的任务并行的混合并行计算。本文对多算法进行性能测试,包含层的算法,在块组成的计算平台上达到了/以上的运算速度。本文利用运算平台研究了三维算法中各参数对其吸收效果的影响,进行
11、了微带天线以及滤波器的仿真分析。本文提出了利用算法计算偶极子辐射功率的方法,在多平台上进行了验证,并利用此方法计算了模型的辐射光功率,并利用顶部光子晶体提高了其辐射功率。关键词:图形处理器;时域有限差分;计算统一设备架构;并行计算;电磁仿真山东大学博士学位论文 . ,?. . . .、析,. /., . ,谢 . .璐玛 , 山东大学博士学位论文. ., .?缸. 、析 . 谢. /. ?,、析 .: .,. . . 托.山东大学博士学位论文. ,.,.,? ? .、谢 ,. , 、,. . ,. . , .? , ., , ?,.,.? ,山东大学博士学位论文/ . .? .: ; ;山东大
12、学博士学位论文缩略名词索引吸收边界条件。 卷积完全匹配层中央处理器计算统一设备架构时域有限差分 有限元法可编程逻辑阵列 通用图形处理器 图形处理器 发光二极管 矩量法光子晶体一完全匹配层流式多处理器 流处理器 线程对行组织模式线程对点组织模式 各项异性完全匹配层山东大学博士学位论文第一章绪论.电磁计算方法及其应用自麦克斯韦建立电磁场基本方程以来,电磁场与电磁波理论已经应用于各个研究领域,不仅仅限于传统物理方面,已涉及地质学、生命科学、医学、材料科学和信息科学等技术科学领域,如无线电传播、天线、雷达、光纤通信、移动通信、地质探测、生物电磁等,】 。而在实际问题的电磁分析往往是十分复杂的,求解麦克
13、斯韦方程的边值问题通常无法得到解析解,进行具体实验也比较困难而且往往成本昂贵并需要很长时间完成,因此通过电磁计算即求解电磁理论方程的数值解得到具体环境下的电磁,场特性更为实际【,】 。早期电磁计算方法的研究主要集中在针对静电场以及时谐稳态方程,从结构力学计算延伸来的组的有限差分法】有限元法】 ,高频渐进方法【】,等积分方法【】 。年、矩量法提出了直接求解时域方程组的时域有限差分算法【】,上世纪七十年代之后又有几种电磁计算方法及改进方法相继被提出,如传输矩阵法】 ,离散偶极子近似】,快速多极子方法】,等。,边界元法】下面对对几种广泛应用的电磁计算方法进行简要介绍。有限元法有限元法以变分原理为基础
14、,广泛地应用于各类物理场的数值计算中。世纪年代在文献【】 、在文献【】以及在文献【】中就分别提出了最初的网格离散元的思想,但他们的处理方式差别很大,年利用这种离散元的方式对重力坝进行了应力分析】,世纪山东大学博士学位论文年代航空工业公司用这种方法将连续体的机翼离散为三角形板块的集合来进行应力分析【】 。年,在文献【】中首次提出了“有限元”的概念。此后,该方法广泛应用于结构力学、流体力学、热学等物理问题中。年,将有限元法思想引入电磁问题计算,而后等人用有限元法计算了一台的直流电机的磁场分布,从此有限元法得到进一步发展并在电磁场工程领域广泛应用。有限元法采用剖分插值的方式将连续结构划分为有限个不重
15、叠的单元,并选择节点作为求解函数的插值点,将微分方程中的变量改写成由各变量或其导数的节点值与所选用的插值函数组成的线性表达式,借助于变分原理或加权余量法,将微分方程离散求解。采用不同的权函数和插值函数形式,会构成不同的有限元方法,如应用瑞利.里兹方法的有限元以变分原理为基础称为里兹有限元,将加权余量法中的伽辽金法应用于有限元法称为伽辽金有限元法【】 。有限元法采用的网格单元形状有一定的任意性,可以处理复杂边界的结构,对于不同材料也有很强的适应性,且有限元法生成的是带状稀疏矩阵,可高效存储及求解,在静电磁场及时谐稳态场的计算上得到广泛应用。但是有限元法扩展到三维问题后,在单元形状、剖分及方程组的
16、求解各方面都有一定的复杂性,且有限元法对于无限区域的边界条件难于处理,所以在处理开域电磁问题时误差较大,虽然将其与其他算法相结合.】可以在一定程度上解决这一问题,但这会使算法更为复杂,且对激励源或者材料的适应性变差。矩量法矩量法是将连续方程离散化为代数方程组的方法,它既适用于微分方程又适用于积分方程,但微分方程的数值计算方法已有多种有效方法,所以矩量法常用来求解积分方程。 提出了这种方法用来解年,在其博士论文及文献决积分方程,在利用矩量法求解电磁场问题方面做了全面深入的分析,并出版专著【,从上世纪七十年代起,矩量法广泛应用于线天线辐射及波导散射等各种问题的电磁仿真. 。矩量法就是将需要求解的未
17、知量在微分或者积分算子定义域内展开成一组基山东大学博士学位论文函数的线性组合,然后选定合适的权函数取内积建立矩阵方程代数方程组,最后的工作就是矩阵方程的求解。积分方程的矩量法不受辐射边界条件的限制,比较适合解决开域问题,如散射及天线辐射问题。矩量法的解析部分较简单,但是其生成的矩阵为大型病态稀疏矩阵微分方程的求解或者满矩阵积分方程的求解,计算工作量很大,特别是三维问题的求解,其存储需求量与为离散点数,其计算量与成正比,计算任务很难完成。所以近年来矩量法的发展主要集中在确保精度的前提下对三维结构有效地稀疏化方法上,比如被研究者普遍认可的快速多极子算法,】以及更为快速的多层快速多极子算法】 ,可以
18、将储存使用量降低到,计算量降至级别。.时域有限差分法时域有限差分算法是年由提出的一种直接求解时域方程组的电磁数值计算方法,对这种算法进行了数值稳定性分析并成功模拟了电磁波对理想导体的时域相应,直到年才修正了算法的数值稳定性条件【,并利用其进行了二维及三维的电磁波对介质人的作用仿真】,而的广泛应用还是在年针对网格提出了稳定吸收边界条件之后【】随后针对利用进行电磁场仿真中的一系列关键问题也逐渐得到解决,如散射问题处里,、近一远场外推以及更加有效地边界条件【】等。 将空间电磁场按照后来被称为网格或元胞, 的方式抽样,并在空间和时间上将微分方程转化为二阶精度的中心差分方程,得到一组与时间和空间均相关的
19、差分方程组,将此方程组在时间上交替推进就可求解出空间电磁场随时间变化的情况】 。算法是时域迭代方式的求解过程,不需要求解矩阵方程组,原始算法存储需求与计算量与成正比;时域求解可通过对宽频信号激励的一次计算进行傅里叶变换得出频带的整体响应;算法将介质参数赋予空间中的每一个网格,因此建模过程简单且对于各种材料及形状的物体均具有良好的适应性;时域计算特点使其能通过计算机的色彩输出动态显示电磁波在空间及各种结构中的传播过程,使研究者更便捷地理解电磁作用过程【,。山东大学博士学位论文早在上世纪七十年代就利用时域有限差分算法分析了微波照射人眼对其温度的影响【】,在加入更为有效的边界条件之后,在各种电磁现象
20、的仿真分析及微波与光器件的设计中有着广泛应用。其中包括辐射天线的分析与设计【,微波器件仿真【】,散射和雷达截面截面计算【】,光波导,、光子晶体,】及发光二极管,等光器件设计,生物电磁学研究【】,以及近年来的新研究领域如负折射材料,】及表面等离激元【】应用研究等。虽然算法能有效地用于很多电磁问题的仿真中,但是其作为一种差分算法本身就受到数值色散及数值稳定性的限制,为达到收敛条件并保证计算精度,需要在计算过程中较为严格地限制空间步长与时间步长的大小,在模拟复杂的曲面结构时,利用方形网格更要十分密集,而空间步长与时间步长减小就意味着计算量的增加,当目标结构远大于入射源的波长时,计算需求也将更大。近年
21、来,研究者为解决这一问题提出了多种方案,如高阶精度的算法,利用.,以及小波函数的时域多分辨分析法】.,无稳定条件的交替方向隐式,】 ?等方法,在一定程度上解决了数值色散和稳定性问题,但是却将复杂化,针对其计算存储及时间需求更为有效地方式是将并行计算技术应用于算法,近年来也一直受到研究者关注.】 。.并行计算技术随着计算机技术的发展,“计算 在科学研究和实际应用中发挥的作用越来越大,已成为与“实验“理论分析”并列的研究手段之一。但随着研究问题的实际化及深入化,科学计算对于计算机运算能力的需求也在不断增加,而单个计算单元受制造工艺及功耗散热等问题的限制引发了并行计算技术的产生,并行计算技术能有效利
22、用现有的计算机资源,解决众多科学研究领域内高要求的计算问题。相对于单个计算设备串行计算而言的,并行计算就是将计算任务分配于多个计算单元同时进行处理的计算方式。并行计算技术依赖的硬件设施是并行计算系统,包括专用于科学计算、包含数百至数千个中央处理器 ,计算单元且利用高速光纤网络连接的超级计算机,利用局域网或因特网方山东大学博士学位论文式互联的多台个人计算机,以及如今普遍使用的多计算核心的,图形处理器,。要利用这些并行计算系统,就需要将原始的串行算法改写为并行算法,由于各种计算系统架构不尽相同,因此需要针对计算系统设计并行算法【】 。并行计算可以充分利用现有硬件的数据处理能力,目前在气象预报、生物
23、医药研发、金融数据分析、石油资源勘探、航空航天设备研制、新型武器装备研制、等领域得到广泛应用,其中不乏电磁场问题的仿真分析。.论文的研究意义及内容安排电磁计算是对复杂体系的电磁规律、电磁性质研究的重要手段。方法作为其中的方法之一有着广泛的应用。但是受到浮点运算能力的限制,利用单计算,算法仅能解决一部分电小尺寸问题的仿真分析,且其计算过程可能持续数小时甚至数天,电大尺寸目标的仿真更为困难。因此,的并行运算成为解决这一问题的有效方式并成为研究的热门领域。其中有基于集群及高性能计算机 ,的并行,需要对计算目标进行区域分解,每个计算单元负责其中一部分的工作,并利用等数据传输模型进行分割边界的数据交换的
24、方式是一种基于消息传递模型的粗粒度并行;还有利用逻辑上的线程或流等概念抽象化概念进行并行计算的方式,这种方式隐藏了计算任务细节,研究者不需要知道哪一个计算单元负责具体哪些任务,只需要将任务分配到线程,且每个计算任务的计算量较小,这种细粒度的并行方式需要在特殊硬件上实现,如可编程逻辑阵列 处理器及图形处理器,、,等。基于集群的系统可以实现较低成本的速度提升,但其并行效率往往受到网络设备的传输速度限制;成本及运行费用都过于昂贵而且并不是普通的研究人员都能在日常工作接触到,并不能广泛应用于的并行。为适应更加复杂操作的处理,其并行浮点运算能力相对较弱,而作为一种与生俱来的并行运算器件,近年来规模不断扩
25、展,浮点运算能力迅速提升,山东大学博士学位论文已远高于同期的浮点运算能力。基于的并行算法已成为各领域的研究热点,而的天然数据并行性也是其实现并行的优势,但是由于利用的并行编程模式实现算法特别是三维算法还存在一些困难,而且实现的广泛应用必须对相应各种边界条件特别是吸收边界条件进行处理,在上并行计算也更为复杂。利用提高算法的计算速度以满足各种实际问题的计算需求,并在电磁仿真中得到广泛应用在电磁理论发展领域内有着重要意义,这也是本文研究的主要内容。本文的主要工作是利用计算统一设备架构,切模型在单上实现了细粒度的二维及三维并行算法,并实现了及吸收边界条件的并行化;基于区域分解的粗粒度模型,在单并行基础
26、上实现了单机多的并行。全文共分?.:/、覃:第一章,绪论。概述了电磁计算意义与应用,简要介绍了常用的几种方法,并分析了算法目前在应用方面所面临的困难及解决方案,引出了本文研究的内容为加速算法并应用于电磁仿真问题。第二章,并行计算及通用图形处理器技术。介绍了并行计算的分类与通用处理器技术的发展与现状,研究了几种技术的特点与区别,详细介绍了的硬件基础和软件环境及其编程模型。第三章,时域有限差分算法。概述了算法的基本原理及相关知识,分析了的可并行优势,并介绍了现有的并行方案及特点。第四章,单的并行算法及其应用。基于模型,提出了单上的并行算法实现方式。利用二维线程块构成的控制二维情况下的电磁场的推进,
27、并有效利用各种存储器优化运算速度,实现了二维算法的单并行,并通过全空间扩展实现了吸收边界条件。随后测试了算法在各种网格数量的情况下的计算速度,并验证了算法的正确性。为解决并行三维仿真计算,提出并实现了两种线程组织方式,结合二维的优化方案,进一步提高了三维的运算速度,并实现了吸收边界条件;为降低显存消耗,本文又实现了分立计算的吸收边界条件;在此基础山东大学博士学位论文上结合一维并行算法实现了平面波入射源的加入,扩展了算法的应用范围。本文对上述各种条件下的运算速度进行了测试,结果显示本文提出的并行计算方式在 显卡上的速度比传统的串行算法在高端上的速度快倍以上,对于含有吸收边界条件的算法普遍能达到倍
28、以上的加速比,最高达到倍的速度提升;最后本文研究了在微波频段下三维算法中材料各参数对吸收层效果的影响,并将含吸收边界条件的并行算法有效运用到微带天线和滤波器的仿真中。第五章,多的并行算法及其应用。为进一步提高的运算速度并扩大可仿真问题的尺寸,在单并行的基础上,本文又实现了多并行。根据与内存交换数据的特点,提出了同步数据传输方案与异步数据传输方案,其中异步数据传输方案实现了计算任务与数据传输的任务级并行,提高了多的并行效率。首次实现了内部并行计算,之间并行计算以及数据传输与计算之间的任务并行的混合并行计算,并在本文组建的块组成的计算平台上达到了/以上的运算速度。利用多的仿真平台,研究了在光频段下
29、各参数对于吸收效果的影响。最后本文进行了发光增强的相关仿真,利用顶部光子晶体提高了辐射光功率。第六章,总结与展望。对本文完成的工作进行总结,并指出今后研究中应该进一步解决的问题。山东大学博士学位论文第二章并行计算及通用图形处理器技术由于需要满足数值色散和稳定性条件,在应用算法进行电磁仿真计算过程中,计算网格及时间步长必须足够小,所以其计算需求会随着计算区域以及结构复杂程度增加而加大,为减少仿真计算时间,其并行算法的研究一直受到关注。是一种具有天然的数据并行性,为其并行计算的实现提供了良好的基础。进行并行计算首先要选择合适并行系统,基于并行编程模型设计并行算法,最终在并行系统上实现并行计算。.并
30、行计算技术并行计算硬件系统根据的指令流和数据流分类,计算机系统结构可以分为单指令流单数据,、 流 单指令流多数据流,、,、多指令流单数据流 ,四类多指令流多数据流 【】 。传统的就是一种典型的架构,所有的指令都是串行的且在某个时钟周期内仅能处理一个数据流;虽然通过流水线机制实现了不同指令和不同数据在时间上的重叠处理,但这种并非架构对单数据流执行不同的指令,实际上在现实中并不存在;单核心逐渐发展,如今可以通过多媒体扩展,、扩展,等指令集针对某些数据运算实现,即在单个时钟周期内实现了对多数据单元的处理,此外本文并行计算系统中所使用的统一计算架构中的流式多处理器 ,也可称为一种架构的处理器;多核心及
31、在单个芯片中集成多个内核,可以看做架构的处理器,集群及超级计算机都属于架构【】 。按照内存及计算单元的分布方式又可分为共享存储器,山东大学博士学位论文或对称多处理器 ?,架构、分布存储器,架构以及分布式共享存储器 ,架构】 。传统的单核的集群化及分布式计算就是典型的架构并行计算系统,如图所示,这种结构的并行系统十分适合不需要计算单元通信的并行算法实现,如果算法中需要进行各计算单元问的数据通信就需要通过其他设备中转进行消息传递,所以其性能受互连网络设备的影响较大,而架构并行计算系统规模扩充较为方便,应用十分广泛。图分布存储器架构的并行计算系统多核心与都属于共享内存架构并行计算系统,如图其所有的计
32、算单元均可以通过设备总线访问同一区域的内存,各计算单元中还可以有各自的缓存设备用于加速数据访问速度,对于任何算法都不需要数据传递的过程,仅需要考虑各计算单元的同步问题。计算单元计算单元 计算单冠 计算单元 计算单元 计算单元缓存 缓存 缓存 缓存缓存 缓存总线存储器图共享存储器架构的并行计算系统山东大学博士学位论文而将多核心通过网络连接并行以及本文所研究的多平台都属于架构,如图所示,其中内各计算单元可访问同一内存区域,当然每个计算单元可以有私有缓存或者公用缓存,然后由多个通过互联设备组成架构。在本文所研究的多平台中,每个内的上百个核心共享卡上显存,而之间可通过主机内存或网络设备进行数据传递。计算单元 计算单元计算单元 计算单元 计算单元 计算单元存储器存储器 存储器互连网络图分布式共享存储器架构的并行计算系统并行计算系统还有其他的分类方式,如按照执行程序与数据流划分、根据互联方式划分等,本文不再赘述。并行计算软件开发模型具备了并行计算系统的硬件基础,选择合适的软件开发模型设计并行算法并通过编程实现才是最终目的,针对不同的并行计算系统可以选择不同开发模型设一
