高性能計(jì)算和人工智能的新興發(fā)展顯著擴(kuò)展了三維卷積神經(jīng)網(wǎng)絡(luò)(3D CNN)的應(yīng)用。然而在實(shí)際的需求應(yīng)用中,復(fù)雜的3D卷積計(jì)算是影響性能的主要因素。
近日,中心高性能計(jì)算部科研人員基于新一代SW26010Pro處理器提出了一種高效的3D卷積算法。新一代神威(Sumway)超級計(jì)算機(jī)在HPC+AI領(lǐng)域表現(xiàn)出卓越的計(jì)算能力,該工作依托Sunway平臺對三維卷積算子進(jìn)行了詳細(xì)的分析與優(yōu)化,針對SW26010Pro架構(gòu)的設(shè)計(jì)了三級分塊算法(圖1),并進(jìn)行了訪存優(yōu)化,同時(shí)提出了一種新穎的散點(diǎn)通信策略(圖2),充分利用片上網(wǎng)絡(luò)帶寬。實(shí)驗(yàn)結(jié)果表明,與基于xMath2.0庫的Sgemm實(shí)現(xiàn)方法相比,我們的三維卷積算法實(shí)現(xiàn)了平均2.54x的加速比,并且實(shí)現(xiàn)了高達(dá)2.12 Tflop/s的單精度浮點(diǎn)性能,達(dá)到理論峰值性能的92%。
?3D卷積三級分塊算法
?RMA散點(diǎn)通信策略
該研究成果已被International Conference on Parallel Processing(ICPP)(CCF B)會(huì)議錄用并發(fā)表,論文第一作者為我中心高性能部博士研究生李佳霖,通訊作者為我中心高性能計(jì)算部張鑒研究員。該成果得到中國科學(xué)院先導(dǎo)專項(xiàng)(XDB0500101)的支持。
相關(guān)成果:
Li J, Feng Z, Gao Y, et al. High-Performance 3D convolution on the Latest Generation Sunway Processor[C]//Proceedings of the 53rd International Conference on Parallel Processing. 2024: 241-251.
責(zé)任編輯:郎楊琴