高性能計(jì)算和人工智能的新興發(fā)展顯著擴(kuò)展了三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNN）的應(yīng)用。然而在實(shí)際的需求應(yīng)用中，復(fù)雜的3D卷積計(jì)算是影響性能的主要因素。

近日，中心高性能計(jì)算部科研人員基于新一代SW26010Pro處理器提出了一種高效的3D卷積算法。新一代神威(Sumway)超級(jí)計(jì)算機(jī)在HPC+AI領(lǐng)域表現(xiàn)出卓越的計(jì)算能力，該工作依托Sunway平臺(tái)對(duì)三維卷積算子進(jìn)行了詳細(xì)的分析與優(yōu)化，針對(duì)SW26010Pro架構(gòu)的設(shè)計(jì)了三級(jí)分塊算法（圖1），并進(jìn)行了訪存優(yōu)化，同時(shí)提出了一種新穎的散點(diǎn)通信策略（圖2），充分利用片上網(wǎng)絡(luò)帶寬。實(shí)驗(yàn)結(jié)果表明，與基于xMath2.0庫的Sgemm實(shí)現(xiàn)方法相比，我們的三維卷積算法實(shí)現(xiàn)了平均2.54x的加速比，并且實(shí)現(xiàn)了高達(dá)2.12 Tflop/s的單精度浮點(diǎn)性能，達(dá)到理論峰值性能的92%。

?3D卷積三級(jí)分塊算法

?RMA散點(diǎn)通信策略

該研究成果已被International Conference on Parallel Processing（ICPP）（CCF B）會(huì)議錄用并發(fā)表，論文第一作者為我中心高性能部博士研究生李佳霖，通訊作者為我中心高性能計(jì)算部張鑒研究員。該成果得到中國科學(xué)院先導(dǎo)專項(xiàng)(XDB0500101)的支持。

相關(guān)成果：

Li J, Feng Z, Gao Y, et al. High-Performance 3D convolution on the Latest Generation Sunway Processor[C]//Proceedings of the 53rd International Conference on Parallel Processing. 2024: 241-251.

責(zé)任編輯：郎楊琴