盐城生物工程高等职业技术学校
天河二号——我国的巨型计算机
由国防科大研制的天河二号超级计算机系统,以峰值计算速度每秒5.49亿亿次、持续计算速度每秒3.39亿亿次双精度浮点运算的优异性能位居榜首,成为全球最快超级计算机。2010年11月,天河一号曾以每秒4.7千万亿次的峰值速度,首次将五星红旗插上超级计算领域的世界之巅。2013年11月18日,国际TOP500组织公布了最新全球超级计算机500强排行榜榜单,中国国防科学技术大学研制的“天河二号”以比第二名—美国的“泰坦”快近一倍的速度再度登上榜首。广州大学城广州超算中心。
组成结构
天河2号由16000个节点组成,每个节点有2颗基于Ivy Bridge-E Xeon E5 2692处理器和3个Xeon Phi,累计共有32000颗Ivy Bridge处理器和48000个Xeon Phi,总计有312万个计算核心。
每个Xeon Phi使用其中的57个核心,使用57个核心能够加速4个执行线程,运行在1.1GHz的Xeon Phi可以生产1003 Tflops的双精度运算能力。单个节点可以有3.431 Tflops运算能力,16000个节点总计可达54.9PFlops性能。每个运算节点有64GB主存、而每个Xeon Phi板载8GB内存,因此每个节点共有88GB内存,总计16000个节点一共有1.404 PB内存,而外部存储器容量方面更是高达12.4PB.
在每个主板上有2个计算节点,而每个框架则有16个主板,4个框架组成一个机柜,整个系统由125个机柜组成。每个计算节点主板分为两块,一块CPM一块APU,CPM上有4核Ivy Bridge、内存和一个Xeon Phi,而APU基板上则承载着5个Xeon Phi.CPM和APU之间有5个水平插入的链接口,由Ivy Bridge内置的PCI-E 2.0进行连接,虽然Ivy Bridge内置为PCI Express 3.0接口,但Xeon Phi仅支持2.0,单个通路为10Gbps带宽。
计算节点的前端处理器为4096个FT-1500处理器, FT-1500处理器是由国防科技大学为天河1研发,其可以说是天河1项目的最大收获,其为16核心的Sparc V9架构处理器,在40nm工艺情况下运行频率为1.8Ghz,峰值性能为144 Fflops/s,功耗为65W,但相比英特尔22nm 12核 2.2GHz 211Gflops/s性能的Ivy Bridge还是有明显差距。
盐城生物工程高等职业技术学校
天河2互联方面采用自主研发的 Express-2 内部互联网络,其为有13个交换机,而每个交换机有576个端口。连接介质为光电混合。具体控制器是名为NRC的ASIC专用目的集成电路,其采用90nm工艺,封装尺寸为17.16x17.16 mm,共有2577引脚。单个NRC的吞吐能力为2.56Tbps.而在终端方面网络接口也采用类似结构的NIC,但规模稍小,为10.76x10.76 mm, 675 pin,其采用PCIE 2.0方式连接,传输速率为6.36GB/s.并且在在12000节点的情况下延迟也很低,仅为85us.
而在计算能力方面,使用14336个节点 总计50GB内存进行LINPACK测试,理论性能为49.19Pflops,而实际测试性能为30.65Pflops,效率为62.3%.这个效率并不算高,还有很大优化提升潜力。当然也可能是被Xeon phi仅支持PCI Express 2.0带宽不足限制。
天河2的性能部件(处理器、内存、互联)整体功耗为17.6MW,而整体的运算能力为30.65PFlops,这样计算每瓦的性能为1.935Gflops。如果考虑上整体功耗将高达24MW,广州国家超算中心将采用城市供水系统构建高散热效能的冷却系统,有能力可以提供80KW系统的散热能力。
天河二号超级计算机系统由170个机柜组成,包括125个计算机柜、8个服务机柜、13个通信机柜和24个存储机柜,占地面积720平方米,内存总容量1400万亿字节,存储总容量12400万亿字节,最大运行功耗17.8兆瓦。天河二号运算1小时,相当于13亿人同时用计算器计算一千年,其存储总容量相当于存储每册10万字的图书600亿册。
技术参数
处理器
16,000个运算节点,每节点配备两颗Xeon E5 12核心的中央处理器、三个Xeon Phi 57核心的协处理器(运算加速卡)。累计32,000颗Xeon E5主处理器和48,000个Xeon Phi协处理器,共312万个计算核心。
中央处理器为英特尔提供的,运作时钟频率为2.2GHz的Xeon E5-2692 12核心处理器,基于英特尔Ivy Bridge微架构(Ivy Bridge-EX核心),采用22纳米制程,峰值性能0.2112TFLOPS。
运算加速上,使用基于英特尔集成众核架构的Xeon Phi 31S1P协处理器,运行时钟为1.1GHz,每个使用61个核心中的57个(因为使用61个会存在运算周期协调问题),每核心籍由特殊的超线程技术能运作4个线程,产生峰值性能为1.003TFLOPS。
内存
每个节点拥有64GB主存,而每个Xeon Phi协处理器板载8GB内存,故每节点共88GB内存,整体总计内存1.408PB。
外存
12.4PB容量的硬盘阵列 主板、机架、机柜
主板、机架与机柜均由浪潮集团制造,共有125个机柜,每个机柜容纳4个机架,每个机架容纳16块主板,每个主板设置有两个计算节点。每个机柜还装有负载指示灯,根据机柜内主机的运算负载变更发光二极管的发光颜色。
盐城生物工程高等职业技术学校
每块主板上分为APU模块和CPM模块两部分,APU部分承载5块Xeon Phi,CPM部分承载1块Xeon Phi+4颗Xeon E5。
APU模块和CPM模块之间以CPU内部提供的PCI-E 3.0 16x接口进行连接,但实际由于Xeon Phi的硬件限制,仅支持至PCI-E 2.0 16x,单通道数据传输速率为10Gbps。
前端处理器
计算节点前端处理器为4096颗FT-1500 16核心SPARC V9架构的处理器,40纳米制程,运作时钟频率1.8GHz,热设计功耗65瓦,峰值性能144GFLOPS。
连接
使用光电混合传输技术(Optoelectronics Hybrid Transport Technology),使用自制的TH Express-2主干拓扑结构网络连接,以13个大型路由器通过576个连接端口以光电传输介质与各个运算节点互联,控制器名为NRC,使用90纳米制程,单个控制器的数据吞吐量2.56Tbps,终端网络接口使用名为NIC的控制器,以PCI-E 2.0接口链接,数据传送速率6.36GB/s。
操作系统
麒麟操作系统、基于SLURM的全局资源管理。 能耗
整机功耗17,808千瓦,在搭载水冷散热系统以后,功耗将达到24兆瓦。
应用领域
天河二号已应用于生物医药、新材料、 工程设计与仿真分析、天气预报、智慧城市、电子商务、云计算与大数据、数字媒体和动漫设计等多个领域,还将广泛应用于大科学、大工程、信息化等领域,为经济社会转型升级提供重要支撑。天河二号逐步在生命科学、材料科学、大气科学、地球物理、宇宙、经济学,以及大型基因组组装、基因测序、污染治理等一系列事关国计民生的大科学、大工程中“大显身手”。此外,国家超算广州中心积极推动国际交流与合作,利用天河二号为国外研究机构提供高性能计算服务。
在高端通用芯片方向,\核高基\专项重点部署了高性能服务器多核CPU、安全适用计算机CPU及嵌入式CPU;在基础软件产品方向,重点部署了操作系统、数据库、办公软件、中间件、重大信息化应用等基础软件。
研究进展
从2010年11月14日天河一号排名世界第一到2013年6月17日天河二号再登世界超算之巅,从天河一号4.7千万亿次到天河二号5.49亿亿次,从超级计算机由千万亿次级(1015)迈入亿亿次级(1016)计算速度,这是国防科技大学天河团队再次创造的“中国速度”!
天河二号取得了一系列技术创新和突破,涉及到体系结构、芯片技术、高速互连、存储架构、编程模型、能耗控制、系统管理、结构工艺等诸多方面,使得天河二号综合技术取得了国际领先地位。在研制过程中,我们立足自主创新,突破亿亿次级超级计算机系统的一系列核心关键技术,使国产超级计算机自主创新、自主可控能力显著提升。”谈起天河二号的优越性能,天河二号工程总指挥、总设计师廖湘科研究员说:“与国外同类先进超级计算机系统相比,天河二号的
盐城生物工程高等职业技术学校
计算速度领先,互连技术领先,计算密度领先,应用面更广。”
天河二号的体系结构设计,创新发展了天河一号“异构协同计算”的技术路线。自主创新的新型异构多态体系结构、新一代高性能通用CPU、高速互连技术、新型层次式加速存储架构等,可高效支撑大数据处理、高吞吐率和高安全的信息服务等多领域应用。
高吞吐率和高安全信息服务功能主要是由国家核高基重大专项支持、该校自主研制的新一代FT-1500CPU来完成的。这是当前国内主频率最高的自主高性能通用CPU。1片FT-1500计算1小时,相当于1亿人同时计算60天。
研发资金
研发耗资约1亿美元,由国家科技部、广东省人民政府、广州市人民政府共同出资建设。
“天河二号”的系统存储总容量相当于600亿册每册10万字的图书。假设每人每秒钟进行一次运算,“天河二号”运算一小时,相当于 13亿人同时用计算器算上1000年。
“天河二号”由280人历时两年多研制完成,耗资约1亿美元。2013年下半年,它将在广州超级计算中心投入运行,其先导系统已开始为生物医药、新材料等领域用户提供服务。
天河二号
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)
![](/skin/haowen/images/icon_star.png)