Fugaku-基于ARM架构的超算集群

系统-Fugaku System

名字的来源就是Mount Fuji，简单翻译就是富士山或者富岳的意思

一个系统有396个满配的Rack和36个半配的Rack；

一个Rack有384个Node(CPU)；

那么Node数目就是396Full *384+36Half*192=152064+6912=158976个CPU;

Rack高度2000mm，宽度800mm，深度是1400mm；

存储分为三层

第一层是全局文件系统的cache；

第二层是Lustre Based 文件系统；

第三层是还没实现的Off Site的云存储服务；

互联-TofuD网络

Tofu代表 Torus Fusion，环形融合；

最后的一个D代表，High Density的节点和Dynamic packet slicing for Dual-rail （双导轨）transfer。

6D网络使用六个坐标系表示，X,Y,Z,A,B,C，其中 A,C坐标可以是0或者1；B坐标可以是0,1,2；X,Y,Z的坐标值取决于系统的规模；（所谓1图胜千言，请看下图）

X,Y,Z,B使用2个Port，A,C使用1个Port；每个Port的Link提供5GB/s的峰值吞吐(其中每个Link是8个6.25Gb/s的差分速率的lan组成的( 这句话不是很懂))；

6D mesh/torus 网络实现了计算节点的高扩展性；
虚拟的3D torus rank mapping scheme同时提供了高可用和topology-aware的可编程性；

单个节点：1个TofuD Link有10个Port合计20个Lane，Data rate可以达到28Gbps， (28 Gbps x 2 lane x 10port=28Gbps*20Lanes=70GB/s)

单个Link的带宽是：28.05Gbps*2 lane* /8=7.0125GB/s

那么6个Link的带宽一共是：6.8GB/s*6= 40.8GB/s

实际可以达到38.GB/s，转化效率是38.1/40.8=93%；

TNI Tofu Network Interface

	C	Z*A	B	X*Y
CPU	CMU	BoB	Shelf	Rack	System
	2	8=4*2	3	8=24 4=22	284full +36half
		16 CPU	48 CPU	384 CPU

那么单个的CMU的规模就是X*Y*Z*A*B*C=1*1*1*1*1*2

那么单个的SHELF的规模就是 X*Y*Z*A*B*C=1*1*4*2*3*2

那么半框的RACK的规模就是： X*Y*Z*A*B*C=2*2*4*2*3*2

其他的就暂时没看懂了。

CPU-A64FX

A64FX实物

芯片的大小是60mm*60mm， TSMC 7 nm FinFET & CoWoS封装；

芯片布局

可以看到四边是四个HBM2的片上内存，上边是IO接口，其他大部分是Core和Cache，一共48个计算核心；另外4个Core不做计算；

片上内存部分，每个Stack是8GB，带宽是1024GB/s；

IO部分有两个，一个是TofuD Interface，一个是X16 PCIe Gen 3；

Core部分，是ARM V8.2 64bit的核心，实现了2个512bit的向量指令单元SVE（scalable vector extensions）(2*512*2MA/64=32FLOPS)；

说是CPU的基础频率是2GHz，睿频是2.2GHz;

理论的FLOPS是488PFLOPS，睿频下的FLOPS是537PFLOPS；不考虑半宽的Rack的话，理论的PFLOPS是514PFLOPS；计算如下：

考虑152064个CPU的话，每个CPU48Core，运行在2.2GHZ，每个周期可以完成32个FP64的运算，理论性能是152064*48*2.2G*32/1000000=514PFLOPS

96%的节点的实际的HPL的性能是415PFLOPS，那么转化率就是415/514= 81 %；

功耗和散热的设计

跑HPL的压力的时候的耗电是28.33MW(7.33*3.863)。或者是14.7GFLOPS per Watt，这个要再看一下是什么负载。

节点的大小是：

最后看一下实物集群：

参考文献：

PPT地址：https://www.bnl.gov/modsim2019/files/talks/SatoshiMatsuoka.pdf
论文地址：https://www.icl.utk.edu/files/publications/2020/icl-utk-1379-2020.pdf
系统主页：https://postk-web.r-ccs.riken.jp/
系统的SPEC地址：https://postk-web.r-ccs.riken.jp/spec.html
A64FX的芯片手册：https://github.com/fujitsu/A64FX
TofuD的论文：https://ieeexplore.ieee.org/document/8514929
tofuD的胶片：https://www.fujitsu.com/jp/Images/the-tofu-interconnect-d.pdf